蜘蛛爬取：为什么你的好内容百度根本不理会？
做了三年SEO，我觉得最玄学的事就是蜘蛛爬取。有时候你写篇垃圾，它秒收；你精心打磨的长文，它看都不看。我有次气不过，在服务器日志里盯着蜘蛛IP发呆，发现它一天来八百次，全在目录页打转...这合理吗？说实话，蜘蛛的脑回路你得顺着摸，不然真的会吐血。以前我以为只要内容牛，蜘蛛自然来。后来被现实打脸——有个站，首页放了好几周，蜘蛛来是来了，但爬行深度只有1。内页？不存在的。查了下，抓取预算全被耗在那些带参数的筛选页上了，什么?sort=price，蜘蛛像进了迷宫，出不来了。那感觉，就像你请客吃饭，结果客人全在门口把瓜子嗑完了，正菜一口没动。
蜘蛛的“工作日程”你干涉不了——抓取预算的真相
抓取预算（Crawl Budget）这个鬼东西，官方文档说得云山雾罩，其实就是蜘蛛在你这愿意花多少时间和流量。两个因素：抓取速度上限和抓取需求。上限是怕把你压垮，需求是看你页面的价值和更新频率。但是——这里有个巨大的“但是”！很多时候不是你内容不好，是蜘蛛觉得不值得爬。比如你的站响应慢，它来一次就扣分；比如你的页面之间链接层级太深，它懒得翻。
我记得有个电商站，商品详情页收录率不到30%。看日志，蜘蛛天天在分类页和翻页上转悠。怒！直接加了个XML网站地图，还把那些无意义的参数页加canonical。结果呢？第三天收录曲线像吃了药一样往上窜。所以啊，引导蜘蛛比你跪求收录有用得多。你得告诉它哪里是精华，别让它自己猜。猜错了，你的优质内容就石沉大海。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/3317a049-98f8-4361-a36e-fee9001c5660.jpg
搜索引擎蜘蛛抓取预算分配机制示意图
还有个坑——移动优先索引。百度谷歌都搞这个，但很多人PC版资源爆表，移动版却缺胳膊少腿。蜘蛛现在拿手机视角看你，发现移动端页面结构散架了，直接降权。我见过一个站，PC端标题正常，移动端因为自适应短板，标题直接被截断，蜘蛛抓到的就是一堆残缺文字，那还能指望排名？可笑吧。
被忽视的robots.txt和它的坑
robots.txt，说实话，我踩过最大的坑就来自它。有一次手贱，想屏蔽某个无用目录，结果写错通配符，把整个/wp-content/挡了。然后呢？CSS、JS全进不去，蜘蛛渲染页面时看到的是一片裸奔乱码。收录暴跌，流量腰斩。查了两天日志才发现，那个Disallow: /wp-content/ 下面没加例外，蜘蛛抓不到资源文件，直接判断页面质量差。真的，当时想扇自己两耳光。
还有个经典案例：某大站改版，把旧URL做了301跳转，但忘了在robots里放行新URL模式，蜘蛛过来发现新链接被禁，直接懵逼。整整一个月，新页面没有一个被收录。所以robots这东西，不是写对就行，是写错要命。建议定期检查搜索控制台的“抓取统计信息”和“已抓取的网页”，看看有没有突增的拒绝访问错误。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/d965c0f8-ce71-42e5-83cc-a64516311d7f.jpg
网站根目录robots.txt文件禁止规则常见错误示例
另外，别信那些通配符教程瞎写User-agent: *。有时候某些蜘蛛（比如百度的Baiduspider-render）需要特殊的抓取规则，如果你不分青红皂白全禁了，它就不会渲染你的JS。对，要区分对待。我现在习惯给主流蜘蛛单独设置规则，虽然麻烦，但保险。
JS渲染那点事——你以为是网页，蜘蛛以为是空气
这年头，单页应用（SPA）满天飞，好看是真好看，但蜘蛛哭了。它来抓你的页面，请求个HTML，里面就一个，连个屁文字都没有。你的内容全靠React/Vue在客户端渲染，蜘蛛可不会等你加载数据。于是，你的首页在它眼里就是空白。收录？做梦。
我有个朋友，创业项目用了一套超酷的前端框架，页面动效惊艳，结果上线三个月，搜索流量为0。找我诊断，我打开爬虫抓取方式一看——源文件里连meta description都是空的，因为那东西也是JS动态插的。彻底成空气站。后来我们被迫搞了服务器端渲染（SSR），又配了动态渲染（给蜘蛛一套预渲染静态HTML），流量才慢慢回来。烧钱又费时间，教训血淋淋的。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/568643ad-e770-4cdb-86de-afb327f3dfed.jpg
搜索引擎蜘蛛抓取JavaScript渲染SPA页面内容缺失示意图
现在即使不是SPA，很多网站用大量Ajax加载评论、相关文章，这些内容蜘蛛往往抓不到，也就无法计入页面丰富度。所以，关键内容一定要直接出现在初始HTML里。别指望蜘蛛能翻你的API。也别全指望Google能渲染，它也有预算，复杂页面直接跳过。百度对JS支持更弱，别冒险。
当蜘蛛爱上你的站——爬取频率过高的烦恼
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/db36105b-1d19-406a-87de-1d5bf48df604.jpg
当蜘蛛爱上你的站——爬取频率过高的烦恼
世界不只有不被抓的痛，还有过度抓的苦。蜘蛛太爱你，也不是好事。我有个资讯站，因为更新频繁，蜘蛛疯狂抓，高峰时一秒十几次请求，服务器差点崩掉。普通虚拟主机根本扛不住，CPU长期100%，加载速度变慢，用户体验差，然后蜘蛛判定你慢，接着降权...恶性循环。
这时候就要谈爬取速率控制了。在搜索控制台可以设置，但更直接的是在robots里加Crawl-delay，或者在服务器端对蜘蛛限频。我一般用nginx对特定user-agent加请求频率限制。不过你得小心，限太狠，蜘蛛可能会减少来访，甚至放弃你。需要找到一个平衡点，结合日志分析，看蜘蛛抓取后服务器负载情况。另外，缓存做好，避免重复抓同一静态资源。
还有些时候，蜘蛛抓取大量重复页面，比如打印友好版本、跟踪参数、Session ID，这些要用canonical、noindex或URL参数工具整理干净。不然蜘蛛的时间都浪费在垃圾上，你真正的好页面反而没机会。
别以为蜘蛛好糊弄。现在的搜索算法越来越聪明，但蜘蛛本身还是很死板。它就是按URL爬，按响应解析。你的任务就是让它轻松愉快地吃完你的精华，然后满意而归。那些指望“酒香不怕巷子深”的，醒醒吧，巷子太深蜘蛛不愿意钻。做好内链结构，提升服务器响应，管好抓取预算，你才有资格谈排名。
最后说个真实的——我上周刚把一个两年老站重新梳理了下抓取逻辑，三天后核心词进了首页。看似简单，其实就改了sitemap频率和删掉了大量无用的索引。蜘蛛爬取，真的不是技术问题，是饭喂到嘴边的那点心思。 讲得很透彻，把复杂的问题简单化，理解起来轻松了很多。 观点很成熟，分析也很理性，值得大家静下心来认真看一看。 虽然有些地方不太懂，但整体看完还是收获很多，慢慢消化一下。 经验很宝贵，尤其是亲身实践过的总结，比网上随便找的靠谱多了。
页:
[1]