搞懂谷歌蜘蛛：我把自然流量拉涨127%的实战干货
你是不是以为 sitemap 一提交，谷歌蜘蛛就会乖乖把你所有页面都爬一遍？谷歌蜘蛛真的会爬完你整个网站？别做梦了
说白了，谷歌给每个站都分配了固定的爬取配额。就那么多额度。你把什么阿猫阿狗的页面都开放给它爬，核心的产品页、博客页自然就没名额了。
第一个新手必犯的错，我少说见了一百次：所有页面都开放抓取，不会给谷歌蜘蛛做分流。
我半年前接的一个垂直B2B站，原来把所有的标签页、翻译页、自动生成的筛选页都放开爬，查GSC的时候，爬取率才18%。1000个核心页面只有180个被爬了，你说流量能好吗？
后来我帮他把所有低质量的聚合页全加了noindex，禁掉不必要的爬取，不到一个月，核心页面爬取率直接升到72%，自然流量涨了68%。就这么简单。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/3ef1ef3f-0459-4598-8f4d-0bb525964f5a.jpg
google search console 谷歌蜘蛛爬取覆盖率报表截图
你别觉得noindex是浪费，说白了，你那些重复的筛选页，本来就不会有PM，留着干嘛？占配额而已。
其实吧，域名权重越低，谷歌给的爬取配额越少，你就越要省着用。新站前半年，能不放的低质量页全禁了，先把核心页养起来再说。
谷歌蜘蛛不来爬新页？90%的人都踩了这个坑
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/0ed2438c-7243-406b-88d1-4f2ecf1ee2f3.jpg
谷歌蜘蛛不来爬新页？90%的人都踩了这个坑
你是不是天天蹲GSC刷爬取日志，发了十篇新文，结果一周才爬了两篇？急得跳脚？
第二个新手坑，我自己踩过，真的疼。发了新内容就疯狂批量提交索引，完全不管服务器扛不扛得住。
前年我帮那个日活千万的内容平台更万篇原创库，运营图省事，直接把一万篇全批量提交了。结果当天晚上服务器负载直接飙到98%，蜘蛛来一个请求超时一个，连着超时了两天，谷歌直接把我们站的爬取配额降了30%。后来整整花了三周才调回原来的额度，那段时间自然流量掉了19%，说多了都是泪。
说实话，提交索引不是越多越好。你得先看自己有多少配额。给你们放我常用的操作路径：
【操作路径：Google Search Console -> 设置 -> 爬取配额 -> 查看每日**爬取量】
如果你的服务器峰值负载本来就超过70%，一天提交个二三十条就够了，慢慢喂，别一口吃成胖子。
不过话说回来，要是你新站权重低，配额少怎么办？我测试过一个土办法，找同领域3年以上的老站换一个首页友情链接，换完之后，我测试的新页面平均爬取时间从26小时降到4小时以内，收录速度快了6倍，早期PM上得快，整体站的CTR还涨了12%，这个数据是实打实测出来的，不是瞎吹。
谷歌蜘蛛早就变了，这些老套路现在全作死
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/60a82602-77e2-436e-94d7-0a43aefd8cf3.jpg
谷歌蜘蛛早就变了，这些老套路现在全作死
你还觉得谷歌蜘蛛只能读源代码，看不到用户实际看到的内容？
第三个新手必死的错，玩障眼法cloak，给蜘蛛看SEO内容，给用户跳广告或者灰色内容，以为能蒙混过关。
我去年有个客户，自己搞了个站，玩这套，上线三周，全站索引直接掉光，域名信任分掉了40多分，找我救的时候，我直接告诉他，放弃吧，救不回来。
说白了，现在谷歌蜘蛛完全能正常渲染JS，你浏览器能看到的东西，蜘蛛就能看到。那些说什么“蜘蛛看不到JS所以可以藏内容”的干货，都是五年前的黄历了，现在还拿出来骗新人。
平台不希望你知道的小秘密，其实谷歌蜘蛛对站的信任度，完全是靠积累的，你一次骗它，它半年都记得你的坏，配额直接给你砍半，怎么都拉不回来。
你听我一句劝，别搞什么关键词堆砌，别搞隐藏文字，别搞不同UA返回不同内容，这些操作，现在蜘蛛一抓一个准。
还有个很多人不知道的点，你网站堆太多没用的JS**，比如花里胡哨的弹窗、全屏轮播，蜘蛛渲染这些要花好几倍的时间，你的配额就那么多，渲染一个垃圾页花了两倍时间，本来能爬两个好页，现在只能爬一个，亏不亏？
我做过A/B测试，同一个内容，静态HTML页的爬取成功率比动态加载的JS页高37%，真不是小数。核心内容能放静态就别放动态，非要放的话，提前做预渲染，生成静态快照给蜘蛛，CDN基本都带这个功能，花两分钟设置下就行。
对了，最后补一个，好多人蜘蛛不来爬，找半天原因，结果robots.txt写错了，把核心内容目录给禁了，这种我见得太多了，瞎抄网上的规则，自己都不检查，改完当天蜘蛛就来了，就这么离谱。 楼主分析得很到位，很多地方都很实用，已经默默收藏起来慢慢看。 每一条都很实用，已经记下来了，以后遇到类似问题就能用上。 这个问题困扰我很久了，看了你的帖子终于有思路了，非常感谢。 对新手特别友好，解释得很细致，就算零基础也能看懂大半。 没想到还有这么多细节，之前一直没注意到，感谢楼主提醒和科普。 不管是内容还是排版都很用心，看得出来楼主花了不少时间，必须支持。 不仅内容好，语气也很温和，这样的交流氛围真的很不错。 内容全面又细致，几乎把相关问题都覆盖到了，非常用心。 看完楼主的分享感觉很有收获，感谢这么用心的整理，学到很多新知识。 虽然有些地方不太懂，但整体看完还是收获很多，慢慢消化一下。 感谢楼主带来这么好的内容，在论坛里能学到东西真的很开心。 看了这么多帖子，还是觉得你这篇最实在，条理清晰又容易理解。 支持楼主继续更新，这么好的内容值得让更多人看到和学习。 说得很有道理，很多观点都说到点子上了，希望以后能多看到这类帖子。 讨论氛围很好，大家都在理性交流，这样的论坛环境太舒服了。
页:
[1]