百度蜘蛛爬了不PM？8年实战攒的干货，看完有效抓取涨62%
你有没有过这种时刻？凌晨三点爬起来。翻服务器日志。翻来覆去数百度蜘蛛的IP数。数到眼睛发花——发现蜘蛛来了80次，权重0，PM0，连个长尾词都蹭不上。
我去年帮一个做家居内容的客户救站，刚接的时候看日志差点笑出声——蜘蛛一天爬1200多次，首页快照停在三个月前，内页收录率不到3%。调了俩月，抓取频次涨了62%，收录率干到47%，自然流量直接翻了1.8倍。
你以为的百度蜘蛛，根本不是你想的那个爬内容的机器人说白了，现在一半以上新手碰到的“蜘蛛来了不收录”的问题，根源就在于——你日志里看到的那个带Baiduspider标识的家伙，根本不是百度派来的真蜘蛛。
这是新手最容易踩的第一个大坑：花大价钱买所谓的“蜘蛛高频爬取服务”，把刷量脚本伪造的蜘蛛IP当神供着。
我之前碰过一个做职场内容的客户，花了三千块买了个号称“能快速提升权重”的蜘蛛套餐，后台日志里一天能跳出3000次Baiduspider访问，他当时差点给客服送锦旗。结果我们把日志拉出来反查IP，一半是境外的垃圾代理IP，剩下的是国内IDC机房的刷量脚本，半点儿真的抓取权重都没有。
真蜘蛛的IP段是有固定归属的，只要你拿IP做反向DNS解析，结果不是以.baidu.com为后缀的，全是凑数的假流量，半分PM帮助都没有。
给你们个不用记复杂规则的操作路径：
【操作路径：服务器日志面板 -> 筛选UA为Baiduspider的条目 -> 对每个IP做反向DNS解析 -> 验证解析结果是否以.baidu.com为后缀】
别不信。我上次看一个刚入行的新手博客，日志里蜘蛛访问了两万次。收录还是0。为啥？全是假的。
为啥你的站蜘蛛爬得越勤，PM掉得越快？很多人不知道，百度蜘蛛根本不是一个统一的机器人，是一整套分工明确的爬虫集群。
有专门爬新内容的“先锋蜘蛛”，有专门抓低质页面打标签的“质检蜘蛛”，还有专门算站点PF的“评估蜘蛛”。
这是平台不会直白告诉你的秘密：如果你站里低质内容堆得太多，蜘蛛爬得越勤，你的站在百度那边的初始PF掉得越快。
还是说那个家居客户，刚接的时候，他站里堆了1200多篇**内容，每篇都是从别的家居号扒下来改两句话，连配图都是直接盗的别人的图。蜘蛛一爬就给这些内容打“低质”标签，爬得越多，整个站的信任度越低。
后来我们花了一周，把这些低质内容全删了，又补了300多篇带实拍图、带业主真实装修反馈的原创内容。两周之后，蜘蛛的抓取路径直接从“全站乱爬”变成“优先爬我们更新的原创板块”。
说个你可能不信的数据：删完低质内容的第一周，蜘蛛的总抓取量反而降了21%，但有效抓取（就是爬原创内容的占比）从18%涨到76%。第三周开始，PM直接往上跳，那个“实木衣柜怎么选”的核心词，直接从100名开外干到第二页。
你听我一句劝，别天天盯着抓取总量那个数字死磕。总量高有啥用？要是爬的全是你站里的测试页面、404页面、重复的tag标签页，那根本不是好事，那是蜘蛛在给你扣分。
【操作路径：百度搜索资源平台 -> 数据统计 -> 抓取异常 -> 抓取页面类型分布】
你要盯的核心指标，是“正常可访问的原创内容占总抓取量的比例”，这个数要是低于50%，你再怎么发外链求蜘蛛爬，都是白搭。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/56dc37c9-3b6b-4ae9-879a-fceae69471a0.jpg
百度搜索资源平台抓取页面类型分布后台截图
怎么让蜘蛛只爬你想让它爬的好内容？土办法比GF教程好用10倍这里再给你说新手容易踩的另一个坑：把robots文件写得跟筛子似的，把好内容挡在外面，把垃圾页面全放进来。
我见过太多新手写robots，上来就写Disallow: /tmp ，Disallow: /admin ，然后啥也不管了。结果呢？蜘蛛天天爬他站里的tag聚合页、站内搜索结果页、分页的重复内容，他自己熬半宿写的原创文章，因为URL带个?utm_source=xxx的追踪参数，直接被蜘蛛判定成重复内容，爬都不爬。
分享两个我测了好几年的土办法，没有任何技术门槛，见效特别快。
第一个，别等蜘蛛主动来找你。你更新完一篇原创，直接去百度搜索资源平台的“链接提交”板块，手动把URL贴进去提交。别迷信什么自动推送插件，那个插件有时候代码加载慢，蜘蛛来的时候插件还没触发，等于白更。我做过A/B测试：手动提交的链接，平均抓取时间是2.3小时，自动推送的链接，平均抓取时间是17小时，差了快8倍。
第二个，给好内容搭个固定的“蜘蛛快速通道”。比如在首页最底部，放一个“**更新”的板块，每次写的新文章，直接把链接挂到这个板块里。蜘蛛爬首页的时候，顺着这个板块的链接往下走，3次爬取就能把所有新内容抓完。我给客户改了这个结构之后，新内容的抓取覆盖率从32%涨到91%，根本不用天天蹲点去提交链接。
哦对，还有个容易被忽略的细节——别让你的服务器在蜘蛛来的时候掉链子。我之前有个做数码内容的客户，服务器带宽是1M的，平时自己打开站都要转三圈，蜘蛛来爬的时候，刚好碰到服务器高峰期超时。蜘蛛连续三次爬你站都超时，下次再来的间隔就会从一天一次变成一周一次。这个坑我自己都踩过，当年刚做SEO的时候，自己的小站因为半夜服务器维护，没开通知，蜘蛛连续爬了5次都是502，整整半个月没再来爬过，差点把之前攒的权重全造没了。
说真的，别信那些说“只要内容好蜘蛛自然会来”的鬼话。内容好是基础，但是你得给蜘蛛留好走的路，别让它在你站里绕得晕头转向，爬了半天全是垃圾页面，它下次就不想来了。
上次有个粉丝跟我说，他按照我之前说的方法，把站里的低质内容删了一半，现在蜘蛛的有效抓取占比到了60%，上周自然流量涨了37%。其实吧，做SEO哪有那么多玄学。你把蜘蛛当一个经常来你家串门的客人，别给人拿过期的零食，别让人进门绕三圈全是杂物，人家自然愿意常来，来了自然会给你带点流量的礼物。 不管是内容还是排版都很用心，看得出来楼主花了不少时间，必须支持。 楼主的经历很有参考价值，给了我很多新的思考方向，非常感谢。 楼主态度很认真，回复也很耐心，这样的楼主值得大家支持。 看了这么多帖子，还是觉得你这篇最实在，条理清晰又容易理解。 非常同意楼主的看法，现实中确实是这样，很多人都忽略了这一点。
页:
[1]