由 快蜘蛛官方平台 
今天这篇是一份客户复盘。池子跑了整整一个月,收录不但没涨反而掉了,客户差点弃坑,复盘到最后发现原因有点意外。
现象:收录不升反降
客户的站是新内容站,池子跑起来后抓取一直正常,但收录曲线一个月内反而往下走。查日志、查页面,都看不出大问题。
原因:robots 文件误伤
最后定位到,客户的 robots 文件把带参数的部分页面拦了,蜘蛛池导过来的新页面正好撞上。必应站长工具里的抓取报告把这个拦截面标得清清楚楚,一查一个准。
| 排查项 | 结果 | 处理 |
|---|---|---|
| 日志抓取 | 正常 | 无需动 |
| robots规则 | 误伤新页 | 修正规则 |
| 页面状态码 | 正常 | 无需动 |
复盘结论
池子没错,站也没大错,错在一个容易被忽略的技术细节。这个案例提醒我:收录波动先查 robots 和抓取拦截,别一上来就怀疑池子。
这份复盘的完整过程,我记录在客户收录下降复盘。
更多客户经手记录在客户真实复盘专区。
FAQ
收录下降第一时间查什么
先查抓取报告和 robots 规则,再查页面状态。
robots 误伤常见吗
比想象中常见,尤其规则写得比较宽的时候。
这算池子失败吗
不算,是站点侧配置问题,修完收录就回来了。