2026年7月,一个做本地服务的小站找到我,三个月里收录页面停在十一页,抓取日志断断续续。站点不大,一共六十多个页面,内容也不算差。我先没动内容,只把日志按天拉出来看,问题很快就露出来了。
起点:抓取曲线是断的
正常情况下,一个六十页的站,抓取应该每天都有记录。他的站是抓两天停五天,停的时候一条记录都没有。这种曲线不是抓取预算少,是入口断了。抓取器进来一次,发现没有新东西可走,下一次就不来了。
先看日志,不看宣传
我没有先看他的内容,也没看所谓的优化记录,只看三样:每天抓取次数、被抓页面的分布、重复抓取比例。三样一摆,结论很清楚:八成抓取都停在首页和列表页,内容页几乎没进过。
第一个月:只做减法和入口
第一步删掉重复页面。站里有二十多个页面标题几乎一样,只是换了城市名,这类页面留着只会摊薄抓取。删完剩四十二页。第二步给每个内容页补两条站内入口:一条来自栏目列表,一条来自相关推荐。第三步把站点地图重新生成,确认可访问。
一个月后的变化
抓取从每周两天变成每天都有,内容页被抓比例从两成升到六成,收录从十一页涨到二十三页。这个阶段内容一个字没改,变化全部来自入口和结构。
第二个月:调内容下限
入口通了以后,新问题出来了:抓得多了,但进索引的少。抽查十页发现,有六页正文不到六百字,还有几页是把同一段介绍换个顺序。这个月做的是补内容,把十页扩到九百字以上,每页加一段只有这个站才有的信息,比如本地服务流程和常见问题。补完两周,十页里进了七页。
第三个月:稳定后的数据
| 指标 | 接手时 | 第一个月末 | 第三个月末 |
|---|---|---|---|
| 收录页面 | 11 | 23 | 38 |
| 日均抓取 | 断档 | 每天有 | 每天3次以上 |
| 内容页抓取占比 | 20% | 60% | 75% |
| 四周留存率 | 未统计 | 约五成 | 约七成 |
三个月不算快,但曲线是持续向上的,没有大起大落。对一个小站来说,稳定比爆发更有价值。
三个动作里最关键的一个
如果只能留一个动作,我留入口。删重复页和补内容都有用,但入口是前提,没有入口,内容再好也进不去。这个站在第三个月还能继续涨,靠的是入口一直在维护,不是一次补完就完事。
入口要跟着发布走
新页面发布当天就要挂链,不要等周末统一处理。我见过太多站,页面发出去五天再补入口,那五天等于白等。补内容也要有节奏,一次改十页比一次改五十页更容易观察效果,改完两周再看留存,别当天就下结论。
这个案例不适合谁
不适合内容量很大的站。六十页的站可以逐页修,六百页的站要先做结构分层,不然人工成本压不住。也不适合刚上线的新站,新站先解决基础收录,再谈入口密度。
常见问题
删页面会不会影响已有收录
删重复页短期会掉一点收录量,但抓取预算会集中到有效页面,一个月后总量通常更高。关键是别把有入口的有效页一起删了。
三个月是固定周期吗
不是。这个站底子还行,所以三个月见效。底子差的站,第一个月可能只看到抓取变化,收录要更久。
要不要配合付费工具
这个案例全程没用付费工具,只用了日志和站点地图。工具能省时间,但替代不了判断。
同类过程记录我放在案例栏目;入口的定义可以先看蜘蛛池是什么。
