2026年3月17日,一个做机械配件的客户把后台账号给我,说谷歌那条线的收录卡了两周,新上的四十多个页面一条都没进。我先没动配置,把这两周的日志按天拉出来对,发现抓取其实一直在,只是全停在入口页。

复盘的第一步是还原现场

很多复盘一上来就讲结论,讲完还是不知道当时到底发生了什么。我的习惯是把现场写清楚:什么时间、改了什么、改完第几天出现变化。这份记录后来成了判断改对没改对的唯一依据。

这次的时间线是:3月3日换新模板,3月5日入口页改版,3月6日开始收录停滞。三件事挨得太近,一开始我以为是模板的问题,后来发现改版才是主因。

第一处:入口页的内链太散

改版后入口页多了六个栏目位,每个位子往不同方向指。看起来内容丰富,实际把权重摊薄了。爬虫进来顺着链接走到四五个不相干的页面,真正要收录的正文页反而排不上。

我把出口收到三个:一个主列表、一个专题、一个最新更新。两周后,目标页被抓比例从17%回到43%。

第二处:模板重复度

这批站点用同一套模板,只换了标题和首图。文本相似度我粗算过,正文部分重合超过七成。谷歌对重复的处理比较直接,不抓,或者抓了不收录。

改法是每站至少改三处:版式结构、正文首段、侧栏模块。工程量不大,但必须逐站改,批量替换没有意义。

第三处:站点地图的时间戳

这一处最容易被忽略。地图在读,但时间戳是批量生成的同一个值。爬虫看到所有页面同一秒更新,会认为地图不可信,回访频率就压下来了。改成按实际发布时间写之后,地图回访从三天一次变成每天两次。

头条这条线为什么没受影响

同一个池子,头条的抓取在停滞期依然正常,日均进了120多次。差别在于头条更看重内容新鲜度和正文完整度,对入口页结构没那么敏感。这也提醒我,同一套站在不同引擎上的表现可以完全不同,复盘不能只看一条线。谷歌卡住的时候头条还在跑,反过来帮我们确认了站点本身没坏。

改动前后的数据

指标 改动前 改动后两周
目标页被抓比例 17% 43%
地图回访频率 3天1次 1天2次
新页收录数 0 31
头条日抓取 120次 135次

三处改完,第9天开始有新页进库,第14天累计31条。整个过程没有换域名,也没有重装池子。

这次复盘的完整版本收在客户真实复盘栏目;改动前那版配置留下的教训,可以对着搭建流程里踩过的坑一起看。

复盘做完,我把流程固定成三步

第一步,出事当天先存日志,别等修复后再回头找,日志滚得很快。第二步,一次只动一处,并在表格里写明时间和预期。第三步,观察满七天再决定下一步,中途不动手。三步看着笨,但这套池子后来又出过两次类似情况,都是两天内定位。

也有一次例外。2026年4月同一个客户的新池子上线,入口页又改了一次版,这次我在上线前就把出口数量写进规范,只留三个。收录没再卡,说明复盘的价值不在当时解决了什么,而在下一次不再犯。

顺带说一句,复盘里最容易写错的是因果。三件事挨得近,不代表都是原因。判断办法是单项回滚看变化,而不是按时间顺序推测。这一次如果先回滚模板,大概率会误判成模板问题,白白折腾一周。

另外提醒一句,改动记录应该包含版本。模板改了几个版本、地图改了几次,都要留档,不然两周后连自己都说不清当时用的是哪一版。

常见问题

收录卡住一定要改模板吗

不一定。先看抓取停在哪个层级,停在入口页才考虑结构,进了正文还不收录才看内容重复。

改动要一次全改还是分批

分批。三处一起改,出了问题判断不出是哪一处起的作用。

复盘记录要记多细

记到天就够,但要包含改动内容和当天三项指标。记得太细,反而没人愿意坚持。