盯着谷歌蜘蛛的抓取统计骂街？这3个土办法能帮你多拿4倍流量
你是不是天天盯着Search Console的抓取统计，看着那点可怜的抓取量骂街？别骂了。我跟谷歌蜘蛛打了8年交道，从最早的熊猫算法到最近的核心更新，被它毒打过不下十次，操盘过的站从日活几千的小博客到日活千万的内容平台，啥脾气都摸得门清。
别再瞎往sitemap里塞链接了，谷歌蜘蛛根本不稀罕
很多新手刚接触SEO，第一反应就是把全站所有能爬的链接全部塞进sitemap提交，觉得这样蜘蛛就能把所有页面都爬完。
说实话，这是我见过最蠢的操作。
我之前操盘的那个千万日活的内容站，最早的sitemap里塞了整整12万条链接——里面有一半是系统自动生成的标签页、筛选结果页、重复的内容聚合页，全是没什么实际价值的页面。
当时算过一笔账，谷歌蜘蛛每次来爬，30%以上的抓取配额全浪费在这些没用的页面上。我们想重点推的深度行业报告页，抓取延迟最长能到21天，等于我们发了新内容，等蜘蛛爬过来的时候，热点都凉透了。
后来我们咬咬牙，把sitemap里所有低质、重复、没实际搜索价值的链接全部删掉，只留了真正有原创内容的核心文章页、产品页。
就这一个操作，核心页面的抓取频次直接涨了178%，跟着核心页的CTR也涨了42%——毕竟蜘蛛爬得快，内容收录得早，PM自然上来得快。
给你个现成的检查路径，别自己瞎琢磨：
【操作路径：Search Console -> 左侧“站点地图” -> 查看已提交的sitemap的“已发现网页数”和“已编入索引数”的差值】
只要差值超过30%，别犹豫，直接把sitemap里的冗余链接删干净。别心疼那点流量，留着就是在抢你核心页的抓取配额。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/0b29a164-29aa-461b-ae47-c19e5e172f62.jpg
谷歌Search Console站点地图抓取率统计界面截图
谷歌蜘蛛是真记仇，惹到它半个月都缓不过来
我之前总觉得，蜘蛛就是个按规则跑的程序，能有啥情绪？
直到两次踩坑之后才明白，它真的记仇。
第一次是2019年，帮一个做工业配件的客户调整URL结构。当时为了统一域名层级，把原来散在三个子目录下的老产品页全部挪到新的统一目录下，压根没记得做301跳转规则。
闯祸了。
蜘蛛每次来，爬一个404。爬两个404。
半个月时间，整个站的日均抓取量从原来的1200次直接掉到456次，当时客户找过来拍桌子的时候，我后背的汗把衬衫都浸透了。最后前前后后花了3个月，把所有404链接全部做了精准301，才把抓取量拉回原来的水平。
还有个客户更绝，为了蹭流量，在网站页脚藏了200多个卖仿表、仿包的隐藏链接，字的颜色和背景一模一样，人类访客根本看不见。
他以为蜘蛛也看不见？
说白了，人家蜘蛛爬页面的时候，比你自己网站开发的时候看得还清楚。就这一次，蜘蛛爬完之后，直接把整个站的日均抓取频率从1200次降到17次，整整半年没缓过来。
别觉得是危言耸听。你要是最近发现抓取量突然跳水，先查自己是不是干了这两件事：要么乱改老页面URL没做301，要么藏了一堆不相关的隐藏链接。
查的路径我给你放这：
【操作路径：Search Console -> 左侧“索引” -> “网页” -> 筛选“未选择任何用户反馈” -> 查看“发现的原因”里的“抓取的网址返回404”条目】
看到的404链接，全部做精准301，别扔在那不管。蜘蛛爬一次404，对你的信任就掉一分，攒多了，它真的就不来了。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/97a17399-387d-420f-ab79-bd51a7bdae95.jpg
谷歌蜘蛛抓取404错误统计后台界面
让谷歌蜘蛛主动多爬你的土办法，真的不用花一分钱
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/a3c9d085-9481-4a19-99df-add1579ba062.jpg
让谷歌蜘蛛主动多爬你的土办法，真的不用花一分钱
很多人一听到要提升抓取量，第一反应就是去买那些所谓的“蜘蛛推送工具”，花个大几千块，觉得能让蜘蛛天天往自己站跑。
你听我一句劝，别买。
我之前踩过这个坑，花了3999买了个号称能对接谷歌蜘蛛接口的推送工具，用了半个月，Search Console里的抓取量半点没涨，反而多了一堆乱七八糟的垃圾爬虫访问记录，把服务器带宽都占了不少。纯纯交智商税。
其实有两个经过我上百次A/B测试验证的土办法，零成本，效果还贼好。
第一个，把内容的最后更新时间，直接放在正文最开头。
别藏在页面最底部的角落里。
之前做过一组对照测试：100篇同主题的文章，一半把更新时间放在正文首屏顶部，另一半还是老规矩，把更新时间放在页脚的版权信息旁边。
测了整整4周，把更新时间放首屏的那组页面，整体抓取频次比对照组高了89%。
为啥？因为蜘蛛爬页面的时候，第一眼就看到你这内容是刚更新的，是有价值的，就愿意顺着内链多爬几个相关页面。要是爬了半天，看到页面最后更新时间是2021年的，转头就去别的站了。
第二个，把所有不想让蜘蛛爬的页面，直接在robots.txt里禁掉。
很多人怕禁了页面会影响权重，其实根本不会。之前给一个垂直资讯站做优化，把后台的搜索结果页、标签筛选页、用户个人中心页全部在robots里禁掉，之前蜘蛛每次爬，40%的配额都浪费在这些无意义的页面上。
禁掉之后，核心资讯页的抓取延迟从7天直接缩到12小时，那波操作给整个站带来了23%的自然流量增长。
说白了，谷歌给每个站的抓取配额是有限的。你把配额都留给真正有价值的内容，蜘蛛自然就愿意多来。你非要让它把时间浪费在没用的页面上，那它爬完就走，根本不会管你那些精心写的核心内容。
哦对，最后补一句，别信那些所谓的“蜘蛛偏好设置”。它没那么复杂。
你给它顺畅的爬取路径，给它有价值的新内容，别瞎折腾那些投机取巧的小手段，它自然会愿意多来。 讨论氛围很好，大家都在理性交流，这样的论坛环境太舒服了。
页:
[1]