后台给一个收录总数,看起来最省事,也最容易骗自己。2026年8月我复盘了十七个站的收录数据,把总数拆成发现、抓取、入库三段之后,有九个站的结论直接反了过来:总数在涨,实际有效收录在跌。

三段拆法:发现、抓取、入库

发现看日志里有没有请求,抓取看请求是否返回200并抓到正文,入库看索引里能否用标题精确搜到。三段任何一段断了,总数都会虚高。

为什么总数会骗人

因为很多工具统计的是抓取过的URL数量,不是真正入库的页面。一个页面被抓十次,可能一次都没入库,数字却算了十次。我见过最夸张的一个站,后台显示收录两万三,按标题精确搜只搜到一千一百多。

神马和360的差异在入口深度

同样一批目标页,神马更依赖入口页的层级深度,两跳以内收录明显更快;360对入口页的更新频率更敏感,页面半年不动,请求会掉到接近零。这两家在2026年6月的一组对照里差得很清楚。

同批资源两组投喂的结果

一组把入口压到一跳,另一组保持四跳。神马组一跳的入库率是四跳的二点八倍,360组只差一点四倍,但360组把入口更新频率提到每周一次后,入库率追平甚至反超。所以对360,更新频率比层级更重要,这个结论我后来在另外五个站上复验过。

一份可以直接用的数据表

指标 怎么取 健康区间 异常信号
发现率 有请求的目标页占比 70%以上 低于40%说明入口不足
抓取成功率 200响应占比 90%以上 404超过10%要查入口页
入库率 标题可精确搜到的占比 60%以上 抓了不入库多为模板重复
有效收录增速 每周入库净增 持续为正 连续三周为负需停手排查

我常用的每周复盘节奏

每周固定一天导出日志,按目录分组,只比四个数:发现率、200占比、入库率、净增。四周连成一条线再判断趋势,单周波动一律忽略。这套节奏我在2026年3月定下后,误判少了八成。

复盘时别做的事

别在数据下滑的当周就改配置。抓取本身有波动,一周的数据不足以判断,当周就改往往把原本正常的部分也改坏。我一般要求连续两周同向下滑才动手。

拆完之后,预算该往哪投

三段拆开,投入方向就清楚了。发现率低,钱花在入口;抓取成功率低,钱花在入口页的健康度;入库率低,钱花在内容和模板。三个方向的花费差着量级,搞错了就是白花。

一个真实的拆解过程

2026年7月有个站,后台收录总数三万,看着不错。拆开发现发现率八成、200占比九成二,但入库率只有一成九。也就是说预算基本花在了前两段,最后一段是漏的。我们把投入从入口挪到模板重构,五周后入库率提到四成一,总数没怎么涨,有效流量涨了六成。

这件事之后,我给所有客户加了一条规矩:每月先出三段数据,再谈加不加资源。数据没拆完就谈预算,等于蒙着眼睛花钱。

常见问题

收录总数涨了还要拆吗

要。总数只能说明抓取活跃,不能说明有效页面变多,拆开才知道钱花在哪一层。

入库率低一定是内容问题吗

不全是。模板重复、正文过短、缺少独立标题都会拉低,先排除这三项再看内容质量。

神马的数据在哪看

站点后台只能看总量,分引擎要看服务器日志的UA,按UA分组统计才准。

完整的收录数据拆解我都归在收录效果数据栏目;入口层级的做法可以参考这篇软件选择后的配置记录。