原来抓取频率不是越高越好：某传统企业站收录翻3倍的数据验证
你是不是每天守着站点更内容，拼了命引蜘蛛，就盼着抓取频率上去，收录涨PM涨，结果呢？索引量一动不动，甚至还偷偷掉。去年帮一个做工程机械设备的传统企业站诊断，老板一上来就吐槽，我每天更新10篇伪原创，发几十条外链引蜘蛛，怎么总的收录还不到总内容的10%？
我登进百度搜索资源平台一看，倒吸一口凉气。一天蜘蛛抓取量12万次，11万次都砸在了首页和三个产品分类页上，内容页的抓取占比不到5%。哦，原来问题出在这。
这里有个绝大多数人都踩过的坑
说实话，刚做SEO那会我也觉得，抓取频率越高越好，蜘蛛来的越多，说明站点越受搜索引擎欢迎，PM肯定不会差。
我自己踩过的坑…早年玩站群策略，为了冲收录批量刷外链引蜘蛛，整个站群不到一周全被降权，连首页都搜不到。
那时候才搞懂，搜索引擎给每个站点的抓取配额是固定的，根据域名权重、站点质量分配，不是你想让来多少就来多少。你把配额全浪费在无用的重复页面上，真正有价值的新内容，根本分不到抓取机会。
很多做内容农场的朋友更是，批量更几千篇内容，把配额占得满满当当，结果因为内容质量差，抓取成功率低，整个站点直接被打入低质量池，再也起不来。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/f3a2786c-4a11-4cfd-844a-77c850af095b.jpg
百度搜索资源平台抓取压力异常提示图
那个企业站当时的抓取成功率才42%，一大半抓取请求都是返回重复内容或者无效状态码，说白了就是完全浪费了搜索引擎给的配额。
怎么判断你的抓取频率配不配得上你的目标？
别听那些半吊子瞎扯什么一天要抓多少才正常，适合自己的才对。给你两个直接能看的指标，打开搜索资源平台就能查到。
第一个是抓取成功率，正常合格的站点，抓取成功率最少要到70%以上，要是低于60%，百分百是你的站点有大量无效页面占用抓取频率。
第二个是索引量和总抓取量的比值，正常应该在30%以上。要是低于10%，要么是内容质量不过关，E-E-A-T不达标，要么就是你的抓取频率分配完全错了。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/fe354366-6348-47d1-8dbc-f23716fee38e.jpg
百度搜索资源平台站点抓取频次分析图
我给那个企业站算的时候，比值才7%，典型的频率分配错了，和内容质量关系都不大。调整完不到一周，比值直接升到35%，效果太明显了。
3步调出最合适的抓取频率，看完就能改
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/2b169fd2-08f7-40b7-baf3-707188afa860.jpg
3步调出最合适的抓取频率，看完就能改
说出来你可能不信，调抓取频率根本不用什么复杂技术，三步就能搞定，我那个客户调整完一个月，收录直接翻了三倍，长尾流量涨了两倍多。
第一，先把无用页面全屏蔽。打开robots.txt，把标签页、搜索结果页、重复归档页、还有你不用的分类模板页全禁掉，把配额腾出来给新内容和高价值页面。那个客户我帮他禁了32个无用目录，当天蜘蛛的抓取就开始转向内容页。
第二，按照你的权重定更新频率。新站权重0-1，一天更2-3篇原创足够，你一天更100篇也没用，搜索引擎没那么多配额给你。老站权重3以上，一天更10-20篇没问题，只要内容质量过关。
第三，会主动调控抓取压力。要是蜘蛛来的太多，成功率太低，直接去百度搜索资源平台的抓取设置里，主动调低抓取频率，别不好意思，这个功能就是给你用的。要是蜘蛛来的太少，就把新内容主动推送，慢慢把配额提上来。
可直接执行的自查清单
1. 打开百度搜索资源平台，查看最近7天的抓取成功率，低于60%立刻排查无效页面
2. 计算索引量÷总抓取量，低于10%立刻用robots屏蔽无用目录
3. 检查新内容发布7天内的抓取比例，低于50%开通主动推送
4. 蜘蛛疯爬无用页面，直接屏蔽，不要心疼所谓的流量
抓取频率的核心，从来不是越高越快，而是把有限的配额用在高价值内容上。你最近碰到过什么抓取异常的问题？不妨留在评论区聊聊。 不仅内容好，语气也很温和，这样的交流氛围真的很不错。 经验很宝贵，尤其是亲身实践过的总结，比网上随便找的靠谱多了。 这样的优质帖子越多越好，希望论坛能多一些这样真诚的交流。 认真看完了整篇内容，感觉受益匪浅，期待楼主后续更多优质的分享。 这个问题困扰我很久了，看了你的帖子终于有思路了，非常感谢。 思路很清晰，步骤也很详细，跟着操作应该不会出什么问题。 支持理性讨论，反对无脑争吵，楼主带了个很好的头。 感谢楼主愿意花时间分享，让我们这些后来者能少踩很多坑。
页:
[1]