蜘蛛爬取那点破事儿：一个老SEO的血泪经验
干了十年SEO，最烦的就是一大早看日志——百度蜘蛛跟吃了兴奋剂似的，一晚上爬了80万次，99%都是/user/login?redirect=xxxx这种垃圾链接。服务器快崩了，真实页面收录纹丝不动。你说气人不气人？说实话，蜘蛛爬取这玩意儿，看起来基础，但能把它玩明白的SEO真不多。很多人天天盯着site:域名，却不知道蜘蛛在背后都干了些什么蠢事。
我先扔个结论：蜘蛛的爬行资源是有限的，它不会无限制地抓你的网站。Google管这个叫“爬取预算”（Crawl Budget），百度官方虽然不提这个词，但道理一样——蜘蛛每天来你站点的次数、深度，大概固定。你把这个预算浪费在低质量页面上，重要的页面反而轮不到抓取，排名就凉了。
爬虫预算被浪费的痛
举个例子。去年我接手一个电商站，几十万产品，URL参数乱七八糟，什么?sort=price、?color=red、?utm_source=weixin……蜘蛛进来就陷在参数迷宫里，乐此不疲地爬，结果真正的新品详情页，猴年马月才能被看到。
更惨的是，网站还配置了弱智的内部搜索功能，类似“本店搜索”那种，蜘蛛点进去，自动生成一堆/search?q=cheap+shoes+size+8，无穷无尽。我查日志时差点把咖啡喷屏幕上——百度蜘蛛竟然在这些页面上耗了60%的抓取量，而首页却三天才被重抓一次。首页权重多高啊，就这么被拖累了。
所以，你懂的，第一件事就是管好URL参数。robots.txt要狠狠心，Disallow掉动态参数路径；URL规范化必须做到位——要么用canonical标签，要么301重定向，告诉蜘蛛哪个才是真身。对那种无限扩张的搜索页面，直接noindex或者robots禁止抓取，别手软。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/bbcd73ca-6ea9-4651-92e9-d6e0cfe34d50.jpg
网站robots.txt配置禁止抓取动态参数截图
不过话说回来，有个坑新手经常踩：robots.txt里大笔一挥Disallow: /*?*，把整个带参数的URL全禁了。结果发现自己带跟踪码的广告落地页、分页查询全被block，流量断崖式下跌。蜘蛛不抓，搜索展现就没了。教训啊，写规则之前一定要用百度站长工具的robots检测跑一遍。
那些年我和百度蜘蛛的拉扯
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/c6ac3f80-1246-47ce-be10-a00172649d9b.jpg?tbpicau=2024-08-28-05_55536595aee711dca2142a28d0abae0c
那些年我和百度蜘蛛的拉扯
百度蜘蛛和大谷歌不一样，脾性古怪得很。我遇到过，网站突然大面积降权，查来查去，发现蜘蛛抓取返回的大部分是空白页——因为页面里有异步加载的关键内容，蜘蛛解析不了JavaScript，只抓了个寂寞。后来不得不做服务端渲染，给蜘蛛单独吐一套完整HTML。这叫SSR（Server-Side Rendering），那些年为了伺候百度蜘蛛，前端头发都掉光了。
还有个事更让我吐血。有一次网站改版，URL结构全变了，我做了一堆301跳转，旧链接跳新链接。自以为天衣无缝，结果百度就是迟迟不更新索引，sitemap提交了八遍都没用。三个月后我才琢磨出来——旧URL里有一部分之前被百度标记为作弊，301跳转不但没传递权重，反而把新链接也污染了。我……当时真想删库跑路。后来忍痛重新换域名，从头再来。
所以，改版的时候，务必先排查历史垃圾外链和
死链情况。百度资源平台有个抓取异常工具，每天盯着点，但凡出现大量404或慢速抓取，立刻处理。服务器响应时间超过1秒，蜘蛛就不耐烦了，它可不等人。实操：让蜘蛛爱上你的网站
说了这么多烦躁的事，讲点真正有用的。怎么让蜘蛛高效爬取，而且专抓你想让它们抓的页面？
第一，内链结构要扁平，但要聪明。别迷信“三次点击达到所有页面”这种古话，现实中蜘蛛更依赖XML sitemap和内链锚文本的权重传递。把重要的分类页、专题页，在首页或者导航里给个显眼的位置，最好用文字链，别整花里胡哨的图片、JS跳转。蜘蛛是瞎子，它只认a标签href。
第二，更新频率是蜘蛛的春药。一个站点长期不更新，蜘蛛来的次数会越来越少。我经常用一个小技巧：每天定点更新一篇高质量文章，哪怕几百字，只要内容新鲜，蜘蛛就像闻到血腥的鲨鱼，到点就来。而且记得在首页或者列表页露出最近更新的链接，让蜘蛛每次来访都能发现新东西，它会觉得你网站“活”着
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/d51439b4-7b9f-4366-b8d7-ed3b04fd6602.jpg
网站内链结构优化示意图，重要页面通过首页链接
第三，速度，还是速度。除了前面说的服务器响应，页面本身别太臃肿。别把几张2MB的原图直接堆上去，蜘蛛下载超时直接放弃。我一般要求首屏HTML文档控制在100KB以内，非关键资源异步加载。用PageSpeed Insights查，移动端性能分得上了90才安心。
第四，日志分析是SEO的眼睛。别只依赖工具，自己架个ELK或者简单grep命令，每天看蜘蛛抓取状态码分布。200占比多少？304占比多少？错误码突增马上排查。尤其注意蜘蛛抓取的高频路径和时间段，可以针对性优化服务器资源。比如我发现百度蜘蛛喜欢凌晨2点到4点疯狂抓取，那段时间我就让运维调高服务器并发数。
最后吐槽一句：很多人成天纠结关键词密度、H1标签这些细枝末节，却对蜘蛛爬取不管不顾。网站都没抓全，谈什么排名？真是把力气使错了地方。好了，今天就扯到这，我得去盯着日志了——刚刚刷新，蜘蛛又在爬/category/page/999/，这破分页早该加noindex了…… 内容真实不做作，没有多余套路，都是实实在在的经验之谈。 看完很有启发，也引发了我不少思考，有空也想分享下自己的看法。 说得很有道理，很多观点都说到点子上了，希望以后能多看到这类帖子。 看了这么多帖子，还是觉得你这篇最实在，条理清晰又容易理解。 思路很清晰，步骤也很详细，跟着操作应该不会出什么问题。 楼主考虑得很全面，不仅讲了方法，还提到了注意事项，非常贴心。 感谢楼主带来这么好的内容，在论坛里能学到东西真的很开心。 经验很宝贵，尤其是亲身实践过的总结，比网上随便找的靠谱多了。 讨论氛围很好，大家都在理性交流，这样的论坛环境太舒服了。 很多点我之前都没想到，楼主一提醒才恍然大悟，收获很大。 观点很新颖，角度也很独特，打破了我之前的固有认知，很有启发。 楼主态度很认真，回复也很耐心，这样的楼主值得大家支持。 每一段都很有分量，认真读完全篇感觉整个人都提升了不少。 帖子内容很扎实，不浮夸不炒作，真正有用的信息都在里面。 这样用心的帖子不多见，必须顶上去让更多人看到优质内容。 内容写得很详细，逻辑也很清晰，对新手来说非常友好，支持一下楼主。
页:
[1]