网站地图别乱提交！踩过3次谷歌算法更新的老SEO，教你白捡27%收录
你是不是觉得网站地图就是个XML文件，上传到谷歌搜索控制台就完事？别笑，我3年前就是这么想的。
2021年那次谷歌核心算法更新，我手上那个日活120万的泛内容站，没碰任何违规操作，没发一条垃圾外链，收录量一周内直接掉了42%。我熬了三个通宵查爬虫日志，才发现是网站地图塞了一堆早就加了noindex的tag页，把爬虫的抓取预算全吃光了——核心内容页半个月才爬一次，低质tag页倒是天天被翻出来。
你听我一句劝，这破玩意儿真不是你想的那么简单，我踩过的坑，能把你砸得找不着北。
你以为网站地图是给搜索引擎看的？错，是给爬虫递的"外卖菜单"
说白了，爬虫每天爬你的站是有配额的，不是你想让它爬啥就爬啥。网站地图的核心作用，就是把你最想让它收录的页面按优先级列出来，省得它在你那堆404、重复页、临时活动页里浪费时间。
我去年做过一组A/B测试：把同类型的两个站，A站还是老的网站地图，所有页面混在一起乱排；B站把核心内容页优先级设成0.8，频道页0.5，标签页0.3，还把所有noindex页面全踢出去。两周之后，B站的核心页抓取频次直接涨了31%，整体收录量比A站高了27%。
真的，这不是什么玄学，就是把爬虫的精力往你想要的地方引而已。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/18cf92ab-2f78-4d8e-ab32-2bf2524816e6.jpg
谷歌搜索控制台网站地图提交后台截图
对了，这就是第一个新手最容易踩的坑：把全站所有页面都往网站地图里塞，不管是不是要收录。我之前接的一个客户，把3万多个自定义tag页全塞进去，结果谷歌爬虫一半的抓取预算都砸在这些低质tag上，核心内容页半个月爬一次，收录掉了快一半。我当时真的拍桌子，这操作是怎么想出来的？你想啊，爬虫每天就给你1000次抓取额度，900次都爬了没用的页，剩下100次能爬到你想推的内容？
改起来也简单：
【操作路径：网站根目录 -> 网站地图生成工具 -> 排除规则 -> 勾选noindex页面、已废弃页面、带参数的重复页面】
只要你不想让搜索引擎收录的页面，半毛钱都别往地图里放。
别光做XML网站地图了，90%的人漏了这3个隐藏版本
你是不是以为网站地图只有XML一种？别逗了，我见过太多大站，光XML地图就够了？错的离谱。
先说第一个很多人忽略的：HTML网站地图。很多人觉得这东西是给用户看的，跟SEO没关系？大错特错。我给一个内容量12万页的小说站加了HTML网站地图，就是把所有分类按层级列在一个静态页面上，用户的跳出率直接降了8%，爬虫对深层三级页的抓取率涨了19%。说白了，爬虫找不到深层页的时候，会顺着HTML地图的链接往下爬，这比你发十次外链都管用。
第二个是图片网站地图。做电商、做内容、做家居类的站，要是没这个，你的图片基本拿不到谷歌图片的流量。去年我给一个家居电商站做优化，把所有产品主图、场景图都单独生成了图片网站地图，提交之后，谷歌图片的流量直接涨了42%，白捡的流量啊。
第三个是视频网站地图。做教程、做短视频类站的，一定要加，不然你的视频在搜索结果里根本排不上号。我有个做PS教程的客户，之前视频页的收录率才18%，加了视频网站地图之后，两周就涨到了63%。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/6b0634d7-a798-48d3-a3e5-cc5434157e16.jpg
多类型网站地图结构分层示意图
这就是第二个坑：网站地图生成一次就扔那不管，里面全是死链。我去年接的一个老站，网站地图是两年前生成的，里面有1200个死链，爬虫每次爬这些页面，直接给整个站的信任度打了个折。我把死链全清掉，重新提交地图，两周后核心词的PM平均涨了12位。真的，你别觉得死链是小事，爬虫跑过来碰一鼻子灰，下次就不愿意来了。
对了，还有人把网站地图放得特别深，比如/abc/def/sitemap.xml，爬虫找半天找不到，你说这不是白做了？就放根目录，/sitemap.xml，找起来方便，抓取优先级也高。
网站地图提交的骚操作，谷歌不会主动告诉你
说实话，谷歌的帮助文档写的都是最基础的东西，真正能提效的骚操作，没人会主动跟你说。
比如我测了好几个新站发现：前3个月，每次你更新了新的核心页面，直接ping一下谷歌的网站地图接口，新页面的收录速度能从7天缩到2天。这个方法我用了快5年，没有一次失灵过。
还有，别一次提交几百个网站地图。我之前测过，如果你提交的地图超过50个，谷歌的抓取优先级会直接降一档。**把同类型的页面合并到一个地图里，每个地图最多放5万条URL，这个是谷歌的硬要求，超了的话，后面的URL直接不爬。
【操作路径：谷歌搜索控制台 -> 站点配置 -> 网站地图 -> 提交新的sitemap链接 -> 等待24小时内查看抓取状态】
这就是第三个坑：给所有页面都设优先级1.0，觉得越高越好。我之前有个客户，所有页面的优先级都是1.0，结果谷歌直接忽略了他的优先级设置，所有页面的抓取频率都一样。你说这不是闹嘛？后来我按核心首页1.0，频道页0.8，列表页0.5，普通文章页0.3来设，爬虫对核心页的抓取频次直接翻了1.8倍。你全设最高，等于没说，爬虫根本不知道你想推哪个页。
其实吧，网站地图这东西，真不是什么高深的技术，就是个细心活。你多花半小时把里面的死链清一清，把不想收录的页面踢出去，比你瞎写十篇软文管用多了。
我上周给一个老客户重新整理了网站地图，他的站已经两年没动过地图了，重新提交之后，一周内新页面的收录率从22%涨到了58%。你说这钱花得值不值？ 认真看完了整篇内容，感觉受益匪浅，期待楼主后续更多优质的分享。 非常同意楼主的看法，现实中确实是这样，很多人都忽略了这一点。
页:
[1]