由 快蜘蛛官方平台 
蜘蛛池配置方法的教程不少,但多数只讲一套通用参数,这是最大的误区。百度口径下过火容易触发过滤,谷歌口径下则看内容质量更多,两套逻辑要分开调。这篇把四类核心参数的百度、谷歌对照列出来,照表调省事很多。
第一类:抓取频率
频率决定爬虫回访节奏。百度口径下,频率过火会被判定为异常,建议中频稳定,每天增量控制在20%以内;谷歌口径下,频率的弹性大一些,但新URL要控制节奏,避免一夜之间大量上新被当成内容农场。
频率调整的观测窗口
每次调完频率,至少观察一周的收录曲线再动下一轮,别一天一调,数据根本来不及反馈。
| 参数 | 百度口径 | 谷歌口径 |
|---|---|---|
| 抓取频率 | 中频稳定 | 可稍高频 |
| 并发数 | 3-5 | 5-8 |
| UA池 | 50种+ | 80种+ |
| URL优先级 | 新URL优先 | 优质页优先 |
第二类:并发数
并发数决定同一时刻跑多少抓取任务。百度口径下并发给到3到5就够,高了容易触发异常;谷歌口径可以给到5到8,但要盯着服务器负载,别把带宽吃满导致超时。
第三类:UA池
UA池的规模直接影响信任度积累。百度口径下50种以上比较稳,谷歌口径建议80种以上,并且按权重轮换,别让某几种UA长期高频出现。UA池要定期更新,浏览器版本会变旧。
第四类:URL优先级
百度口径下新URL优先,因为它对新内容收录意愿强;谷歌口径下优质页优先,先保权重页,再带新页。优先级排错了,资源就喂到了不对的地方。
常见疑问
配置参数后多久见效?
频率和并发这类参数,一般3到7天体现在收录曲线上;UA池的更新则要一到两周才看得出差异。
参数可以照着别人的抄吗?
可以当起点,但别照抄。站点结构、内容量、服务器配置都不同,参数要按自己的日志反馈来调。
百度谷歌之外还要单独配吗?
如果主吃单一入口,可以先把那套调稳,再逐步覆盖其他入口,别一次全开。
配置调好后要验证效果,记录方法参考蜘蛛池配置方法那篇的观测思路,更多参数细节在蜘蛛池配置方法栏目。