由 快蜘蛛官方平台 
后台经常有人拿着一张别人晒的参数截图来问我照着填行不行。我的回答很直接:大概率不行。参数是给站量身定的,你得先看懂它。
指标一:抓取频率
单位时间触发抓取的次数,和你的内容更新量强相关。内容天天更,频率可以高;内容一周一更,频率调高就是在空转。
指标二:并发数
同时发起的抓取任务数,直接吃服务器资源。并发拉太高,服务器先扛不住,日志全是超时,效果反而更差。
| 指标 | 含义 | 调高后果 |
|---|---|---|
| 抓取频率 | 触发节奏 | 空转/触雷 |
| 并发数 | 同时任务量 | 服务器扛不住 |
| 权重比 | 抓取偏向 | 页面失衡 |
| 刷新间隔 | 页面新鲜度 | 资源浪费 |
指标三:权重比和刷新间隔
权重比决定抓取往哪些页面偏,按页面优先级调;刷新间隔决定页面多久算新,新站短、老站长,别一刀切。
正确的调参姿势
一次只动一个参数,跑两三天看日志再动下一个。四个指标里,优先调的是权重比,因为它影响面最广。360对抓取频率过高的容忍度一般,如果主做360渠道,频率参数保守点。
各指标的具体取值思路,我整理在这篇蜘蛛池参数调整方法,配置类内容都在配置方法专区。
FAQ
别人的参数完全不能用吗
可以当起点,但必须按自己的站观察调整,不能当终局。
一次调两个参数行不行
不建议,那样分不清是哪个参数起的作用。
调完多久能看结果
两三天一个观察周期,别当天就下结论。