网站地图：这玩意儿真不是建了就完事儿
给网站装个地图？听着特像城市规划——得把每条大街小巷都标出来，让蜘蛛们别迷路。可现实是，大多数人扔个XML文件到根目录，就觉得自己完事了，完美了，等着收录暴涨了。呵。真这么简单，我就不会半夜三点爬起来改sitemap报错了。
网站地图是啥？别只告诉我是给搜索引擎看的
对，你想的是对的。它就是一张清单，把站内重要的页面列出来。但——我遇到过不止一个客户，觉得这玩意就是做做样子。“反正百度谷歌自己能爬”，他们这么说。听气人不？
事实上，对于那种动辄几百万页的大站，或者页面藏得十八层地狱深的，没有sitemap，搜索引擎可能根本不知道你某些宝贝内容存在。尤其是新站，抓取资源本来就抠抠索索，你还不主动递个地图，等着蜘蛛自我觉醒么？
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/66f23d67-8cbc-49df-9b4e-47b88e736bb9.jpg
网站地图XML文件代码截图
而且，包括视频、图片、新闻之类的，最好用对应的专用sitemap。说真的，视频sitemap这个功能，救过我的命——一个纯视频页面，没多少文字，Google死活不索引，加上视频sitemap后，有段时间排名蹭蹭涨，虽然最近又掉了…算法心海底针。
搞个网站地图，你以为提交就完了？
错。提交给Google Search Console或者百度站长平台，只是第一步。你得盯着索引状态啊朋友！
我以前就犯过蠢：sitemap里还有一堆被robots.txt屏蔽的URL，或者noindex的页面，还天天疑惑为啥索引率只有30%。搜索引擎直接困惑了：你让我来，又不让我进，闹呢？
还有那个“最后修改时间”，多少人写个固定的日期骗自己？其实，你要是经常更新内容，这个字段能告诉蜘蛛来抓更新的页面，节约抓取配额。不过，别乱填——有的网站故意填成未来时间，以为能让蜘蛛频繁来，结果被判定作弊，谁试谁后悔。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/2e715e3c-3f6a-4217-9f93-d9b5162f718c.jpg
Google Search Console网站地图提交界面
重要提醒：别把重定向链接、404页面、非规范页塞进sitemap。只放你想被索引的、状态码200的规范链接。想放精品，别当垃圾收容站。
那些年我踩过的网站地图的坑
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/41724683-cfb3-4da6-aa60-f21d9fe8503a.jpg
那些年我踩过的网站地图的坑
坑一：sitemap太大。单文件不超过50MB或5万个URL，超标就拆分成多个，再搞个sitemap索引文件。我见过一个电商站，把几百万商品全堆在一个文件里，下载都费劲。
坑二：编码问题。链接里有中文字符记得URL编码，不然Google Search Console报错你看不懂。这个细节，折腾过我半天。
坑三：动态生成策略。有些CMS自动生成的sitemap，把所有垃圾页都包进来了——标签页、按价格排序组合页、无内容空页。搜索引擎看到几千个低质量URL，会对整个站的印象分打折扣。所以，要自己过滤！别傻乎乎全接受。
坑四：不更新。网站改版，旧URL不删，新URL不添，地图过时得跟文物似的。定期检查。WordPress用户可以用插件，但有时插件抽风，生成一半就卡死。我就遇到过Yoast SEO突然不给生成图片sitemap了，不得已自己写代码。
写到这突然想到：很多开发者喜欢在robots.txt里指定sitemap路径，挺好。但注意，如果sitemap地址变动了，robots里的也要同步。有个客户迁移站点，sitemap URL从/sitemap.xml变成了/sitemap_index.xml，robots里没改，搜索引擎来一看路径不对，不读了。低级错误，一犯就是大损失。
HTML网站地图要不要？别听那些一刀切的说法
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/1ce44a7e-f620-44b7-80c0-7f1b2cdc96f1.jpg
HTML网站地图要不要？别听那些一刀切的说法
HTML网站地图给用户看。曾经是SEO必备，现在嘛…对大型站点，一个结构清晰的HTML sitemap能帮用户发现深度内容，而且传递一些权重（如果内链合理）。但别指望它救你排名。有些站把它做成网站底部导航那种，我就当它是辅助索引。
如果你网站小，几十个页面，弄一个HTML sitemap挺好，用户友好。但如果你网站百万级，你还做一个堆积几千个链接的页面？用户体验极差，还可能被搜索引擎当成链接农场。所以，按需来。
好了，唠了这么多。最后说一句：网站地图不是万能的，但没有它是万万不能的。别等网站上了线，几个月都没收录几条才想起来检查这玩意儿——那时候你可能已经浪费了一波关键窗口期。
现在就去看看你的sitemap，是不是真的没毛病？ 说得很客观中立，没有偏激言论，理性讨论就该是这个样子。 非常同意楼主的看法，现实中确实是这样，很多人都忽略了这一点。 帖子内容很扎实，不浮夸不炒作，真正有用的信息都在里面。 内容干货满满，没有多余废话，对有需要的人来说帮助真的很大。 楼主考虑得很全面，不仅讲了方法，还提到了注意事项，非常贴心。 很多点我之前都没想到，楼主一提醒才恍然大悟，收获很大。 感谢楼主无私分享经验，少走了很多弯路，对我们帮助特别大。
页:
[1]