SEO抓取诊断：实战踩过坑才懂的3个反常识干货
你遇见过这种怪事不？site域名有几千条收录，搜索控制台里索引量也对得上，自然流量就是连100ip都破不了。你花大价钱做内容，买外链，改TDK，折腾了大半年，数据纹丝不动。说白了，你从根上就错了。
为啥你site有收录，真实流量却只有个位数？
其实吧，90%的新手都错把收录当抓取完成了。搜索引擎抓了你的页面，存了缓存，不代表它认可你的页面质量可以放出去给用户搜。
新手容易犯的第一个错：做完robots就不管了，连抓取错误统计都不打开看一眼。
我去年接的一个垂直厨具电商站，老板改版删了一千多个旧分类页，全扔那儿没人管，我一查后台，404错误攒了1200多个，还有300多个是被错误封禁的产品页。
【操作路径：Google Search Console -> 索引 -> 页面 -> 查看未编入索引内容】
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/865b3e0e-7e47-40f4-ae7c-0000ae3e2bdf.jpg
Google Search Console抓取错误统计页面截图
把错误页面该301的301，该解除封禁的解除封禁，30天自然流量涨了47%，搜索结果页CTR涨了12%。就这么点事，之前那个运营做了半年都没发现。
别觉得错误页面不影响啥，你错了，错误页面占了你的抓取配额，好页面搜索引擎根本没功夫来爬。
为什么服务器天天正常，抓取成功率就是上不去？
你是不是拍着胸脯说我服务器都是大厂的，99.99%可用性，怎么抓取诊断里成功率连90%都达不到？
说实话，我刚入行的时候也栽过这个一模一样的坑。
新手容易犯的第二个错：误以为自己打开快就等于爬虫打开也快，乱开防护规则把爬虫给拦了。
我之前待的那个日活千万的内容平台，之前为了防CC攻击，开了云防护的速率限制，默认规则是10秒10次请求。正常人刷页面根本碰不到这个阈值，可搜索引擎爬虫是批量来爬的啊，直接把谷歌爬虫的IP段拦了三分之一。
调整完IP白名单和爬速规则之后，单日抓取量直接涨了62%，一周后整站索引量涨了21%。这个秘密真的没人主动告诉你。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/ae648675-65f6-4966-96dd-552b7f31b447.jpg
网站服务器爬虫IP访问限速规则设置截图
平台不希望你知道的是，搜索引擎爬虫也是分三六九等的。新站本来权重低，分给你的抓取配额就少，你再拦掉一半，半年能做起来流量才怪。
别仗着服务器稳定就大意。多去看看抓取状态码统计，200之外的都得一个个清。
你天天做抓取诊断，其实最该查的地方你从来没碰过
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/e04d18d7-18c0-45b1-856b-5197be7b6db9.jpg
你天天做抓取诊断，其实最该查的地方你从来没碰过
你做抓取诊断是不是只盯着红色的错误看，从来不去看那些显示「抓取成功」的页面，到底爬对了内容吗？
新手容易犯的第三个错：根本没做过爬虫模拟抓取，被搜索引擎缓存坑了半年都不知道。
前年接的一个职业教育咨询站，所有咨询师卡片和课程大纲全是JS动态加载，网站自己打开啥都正常，搜索引擎爬过来拿到的HTML全是空body，收了一千多页，全是没内容的空白页。你说这种页面能给你流量吗？
说白了，现在很多前端程序员图省事，全用异步加载，根本不管爬虫能不能抓到内容。你做抓取诊断的时候，不去看爬出来的内容，根本发现不了这个问题。
你听我一句劝，现在就去查。用GSC的网址检查工具，拉出来看「查看抓取的HTML」，对比一下你自己浏览器打开的页面，核心内容一模一样不？
我测过无数次的土办法：要是你非要用动态加载，把核心内容直接输出在初始HTML里，非核心的评论、相关推荐再懒加载。这么改完之后，我手上一个测试站的新内容索引成功率从32%涨到了89%。效果立竿见影。
不过话说回来，还有个潜规则你得记住。搜索引擎的抓取配额是浮动的。你要是每次让它抓过来都是没用的空白页或者错误页，下次它就给你降配额，越抓越少，越降越抓不到，恶性循环。反过来，你每次都让它抓到新鲜有用的内容，配额越给越多，收录越快，流量涨得也就越快。
我见过太多新手，天天蹲在站长群求换外链，天天更垃圾内容凑数量，就是不肯花一下午时间，认认真真做一次完整的抓取诊断。
就这点事，做好了，比你瞎忙活三个月有用。真的。 观点很新颖，角度也很独特，打破了我之前的固有认知，很有启发。 希望楼主常来发帖，持续输出优质内容，我们都会一直支持你。 观点很成熟，分析也很理性，值得大家静下心来认真看一看。 逻辑严谨，条理分明，一看就是经过认真思考和整理的内容。 内容干货满满，没有多余废话，对有需要的人来说帮助真的很大。 感谢楼主带来这么好的内容，在论坛里能学到东西真的很开心。 说得很客观中立，没有偏激言论，理性讨论就该是这个样子。 内容全面又细致，几乎把相关问题都覆盖到了，非常用心。 非常有建设性的意见，对解决实际问题有很大的参考意义。
非常同意楼主的看法，现实中确实是这样，很多人都忽略了这一点。 每一条都很实用，已经记下来了，以后遇到类似问题就能用上。 楼主的经历很有参考价值，给了我很多新的思考方向，非常感谢。 不仅内容好，语气也很温和，这样的交流氛围真的很不错。 认真看完了整篇内容，感觉受益匪浅，期待楼主后续更多优质的分享。 这样的优质帖子越多越好，希望论坛能多一些这样真诚的交流。 很多点我之前都没想到，楼主一提醒才恍然大悟，收获很大。 支持楼主继续更新，这么好的内容值得让更多人看到和学习。
页:
[1]
2