SEO实战说爬虫：我踩过10w+流量的坑，只说实测有用的干货
爬虫不爬你网站，真的是你权重不够？很多新手一上来就拍桌子问，为啥谷歌蜘蛛半年都不来爬我新站？
其实90%的情况不是权重低，是你自己把配额造没了。
第一个新手必踩的坑：新站刚上线就整站放开给爬虫爬，啥分类页标签页归档页全敞开。
说实话，新站谷歌给你的初始爬取配额本来就少得可怜，总共一天就给你几百次抓取额度，你让它爬一堆没有实际内容的标签页，爬完垃圾就没额度给你的原创内容页了。我前年接的一个博客站，一开始就是这么干的，半个月只索引了12篇内容，后来改了配置，一周就索引了67篇，爬取配额直接涨了62%。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/ac98d0d2-590e-4ca5-b8b6-bc5a73bde2ad.jpg
Google Search Console爬虫配额统计后台截图
你听我一句劝，新站前三个月，只放开首页和原创内容页，所有分类、标签、归档页全加nofollow，嫌麻烦直接在robots.txt禁了就行。
【操作路径：Google Search Console -> 设置 -> 爬网 -> 抓取速率调整】
真的，这么做比你发十条外链引蜘蛛有用多了。
爬了就能排？爬了不索引等于白给啊
你是不是觉得，只要爬虫来了爬了，就能PM？
大错特错。我之前接的一个电商客户，一万多个SKU页面，爬虫爬了八千多，结果索引才不到一千，自然流量连一百都不到。
第二个新手必踩的坑：sitemap啥页面都往里面塞，死链、重复页、抄来的内容页全提交，交完就不管了。
说白了，爬虫每次来都碰到一堆404和重复内容，次数多了直接判定你站质量低，给你降整体配额，连带好内容都不给索引了。那个电商客户我改完之后，把重复内容页全从sitemap删掉，禁爬，剩下的原创内容页索引率直接从12%涨到78%，自然流量三个月翻了三倍。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/e4b45e5e-f5ce-46c5-8e02-226418086e68.jpg
谷歌搜索索引覆盖率错误报告截图
还有个平台不希望你太清楚的秘密：爬虫会给你的整站打分，低质页面占比越高，整站PF越低，爬取配额只会越来越少，不是说你有几个好页面就能拉回来的。
其实吧，现在搜索引擎根本不缺内容，缺的是独特有用的内容，你留着一堆垃圾占位置，不是纯纯坑自己吗？
抢爬虫配额，我A/B测过的野路子真的香
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/07ea5d8d-d079-435b-b050-8f662f2a52c8.jpg
抢爬虫配额，我A/B测过的野路子真的香
你以为爬虫配额只能靠熬时间涨？才不是。我之前做日活**的内容平台，天天跟谷歌爬虫斗智斗勇，总结出来的办法，都是测过几十次的。
第三个新手最容易犯的错：乱用第三方代理引蜘蛛，说什么快速提升权重，结果把自己搞成作弊。
我见过最少十个站这么玩，本来流量好好的，半个月掉了80%多，找我救都救不回来，谷歌直接给你标记恶意抓取，申诉都没用。犯得上吗？平台本身的推送通道够你用了。
说点正经有用的。第一个野路子，给爬虫做专属的内链网。不是导航栏那种没用的内链，每个内容页底部加5-8个同主题的相关内容锚链接，全部链到站内同主题的其他内容页。我们当时大平台测过，这么改完，爬虫的爬取深度直接提升了47%，日均爬取量涨了一倍还多。
第二个野路子，主动推送别瞎推。很多人一更新文章，立马把新链接全推出去。不对。你得先推首页和栏目页，等蜘蛛爬完首页，隔半天再推新文链接，我们测过，这么做索引速度比直接推新文快了48小时，而且早索引能早拿到初始PM，整体站的CTR还能提升9%左右。
【操作路径：Google Indexing API -> 批量提交链接 -> 按更新时间排序推送】
不过话说回来，最基础也最容易被忽略的，是服务器的爬虫响应速度。很多人只优化用户端的打开速度，忘了爬虫也是个特殊访客。我之前把爬虫访问的页面全部开专属缓存，静态资源直接走CDN，服务器平均响应时间从1200ms降到了300ms以内，结果啥也没干，日均爬取量直接涨了36%。真的，当时我都没想到会涨这么多。
说白了，爬虫就像个来你家做客的客人，你把门打开，路扫干净，给它指好路，它当然愿意多转一会儿，多给你带点流量。你到处挖坑堆垃圾，人家当然来了一次就不想来了。
别把爬虫想成玄学，都是实打实的细节。把这三个坑避开，比你瞎搞一百条外链都有用，信我。 内容全面又细致，几乎把相关问题都覆盖到了，非常用心。 没想到还有这么多细节，之前一直没注意到，感谢楼主提醒和科普。 看了这么多帖子，还是觉得你这篇最实在，条理清晰又容易理解。 说得很有道理，很多观点都说到点子上了，希望以后能多看到这类帖子。 很多建议都很接地气，能直接用在生活或工作中，实用性很强。
页:
[1]