站长实操干货：正确的robots设置，帮你省出一半SEO精力
我刚做站长那会，踩过最蠢的坑，就是robots设置写错了。整整半个月，新站一条收录都没有，我天天骂百度搜索不干活，骂完还去论坛发帖吐槽，结果被老站长一句点醒——去看你自己的robots.txt。打开一看，我把Disallow写了个斜杠，等于告诉所有蜘蛛，滚，别来我站。那脸疼的，现在想起来都发烫。
这么多年下来，见了无数新手甚至老站长，在robots设置上翻船，其实真没那么难，搞懂核心规则，避开坑，完事。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/4cfcb111-12cd-4651-bc5a-7b510c295545.jpg
网站根目录robots.txt文件示例图
先搞透核心：robots.txt到底管什么用？
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/095e6c8e-b127-40f6-a41a-c903c5cd9fd6.jpg
先搞透核心：robots.txt到底管什么用？
说白了，就是给搜索引擎蜘蛛看的「进门须知」。蜘蛛输入你域名，爬的第一个文件，就是根目录下的robots.txt，这里写了哪些地方能进，哪些地方不能进。
别信那些玄乎的说法，说什么写错robots直接K站，其实不会，顶多就是该收录的不收录，不该收录的占了你爬取配额。
很多人搞反了robots的作用，以为它就是用来拦垃圾页面的。不对。它最大的作用，其实是帮你节约搜索引擎的爬取配额。尤其是新站、权重低的站，百度一天给你几百次爬取机会就不错了，你让蜘蛛全爬去没用的登录页、搜索页、参数筛选页，真正要收录的文章页、产品页，反而没机会爬，这不纯纯给自己找不痛快吗？
还有人问，我用了SEO插件，自动生成robots，是不是就不用管了？那你可太心大了。自动生成的模板，不一定适配你的站点类型，错拦有用页面的情况，我见得太多了。
90%的人踩过的robots设置大坑，你中了几个？
第一个坑，拦了CSS和JS静态资源。
早十年前可能还有人说要拦，现在不管是百度还是谷歌，都要求蜘蛛能正常爬你的静态资源，人家要判断你网站有没有挂黑链、有没有作弊，能不能正常打开，你把CSSJS拦了，人家判定你站有问题，不给你排名，怪谁？
我去年接了个企业站的SEO咨询，老板说上线半年了，核心词排在百名开外，怎么推都上不去。我打开robots一看，静态资源全拦了，改完之后半个月，核心词直接冲进前20，就这么简单。
第二个坑，规则顺序写错了。
robots的匹配规则是，从上往下读，读到第一个匹配的规则就生效，后面的规则直接忽略。很多人想允许某个子目录爬，又拦了整个父目录，结果白写。比如你写：
Disallow: /category/Allow: /category/hot/没用。蜘蛛读到第一条就匹配了，直接走了，根本看不到第二条允许的规则。把顺序反过来写才对，先写允许，再写禁止。懂了吧？
第三个坑，放错位置。
robots必须放在你域名的根目录，也就是https://你的域名/robots.txt，蜘蛛只会来这里找。你放去二级目录，放去后台，等于没写，人家根本找不到。我上周还遇到一个客户，找本地网络公司做的站，robots放在/web/config/目录里，上线一年了，蜘蛛从来没读到过，离谱不离谱？
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/4947746e-7698-4125-a7b5-42714be3f84c.jpg
中文企业站robots设置正确模板截图
不同类型站点，直接能用的robots设置参考
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/8c27d967-6ef5-467c-8143-8d5c1d32bc61.jpg
不同类型站点，直接能用的robots设置参考
我把常见站点的规则整理出来了，你照着改就行，不用瞎抄网上的老模板。
首先是通用规则，所有站点都要加的：
- User-agent: * （这行就代表所有蜘蛛，不用分开列百度谷歌什么的，画蛇添足）
- Disallow: /admin/ （后台必须拦，没人要收录你的后台对吧）
- Disallow: /search/ （网站内部搜索结果页，全是重复内容，拦了不亏）
- Disallow: /login/ （登录注册页，不用收录）
- Sitemap: https://你的域名/sitemap.xml （把sitemap地址写在这，方便蜘蛛找，好习惯一定要养）
接下来分类型说。
个人博客/内容站，额外加这几条：
Disallow: /tag/ （如果标签页内容重复度高就拦，要是你标签页做了独特内容可以不用）
Disallow: /page/ （多余的分页，要是你的分页是正常内容就不用拦，自己看情况）
Disallow: /wp-json/ （用WordPress的，这个拦了，没用）企业站，额外加：
Disallow: /preview/ （产品预览页，不用收录）
Disallow: /print/ （打印页，同理）
Disallow: /cgi-bin/ 很多服务器默认的后台目录，直接拦电商站，这个坑最多，必须加：
Disallow: /*?* （所有带问号的参数页，不管是筛选还是排序，全是重复内容，直接拦，要是你有需要收录的参数页，再单独开Allow就行）
Disallow: /cart/ 购物车页，不用收录
Disallow: /order/ 订单页，不拦留着过年？
Disallow: /my/ 用户中心，全拦说实话，电商站最容易出问题就是参数页，我见过一个日销十万的电商站，光带参数的垃圾页面就被收录了十几万，把整个站的权重都拉低了，改完robots三个月，权重涨了两个，自然搜索流量翻了一倍，就这么夸张。
哦对了，别忘了还有个东西叫meta robots标签，很多人只知道根目录的robots.txt，不知道这个。要是你只有个别页面不想收录，不用改整个robots，直接在这个页面的头部加一行代码就行：<meta name='robots' content='noindex,nofollow'>，比改robots方便多了，灵活得很。
不过话说回来，也不用太焦虑，就算robots写错了，改完去百度搜索资源平台提交一下更新，蜘蛛三五天就能读到新规则，该收录的还是会放出来，没那么可怕。
我见过太多人，robots设置搞半天，纠结一堆没用的规则，最后把有用的页面给拦了，真的没必要。核心就一句话：把爬取机会留给你想让用户看到的页面，剩下没用的全拦住，就够了。 这样的优质帖子越多越好，希望论坛能多一些这样真诚的交流。 讨论氛围很好，大家都在理性交流，这样的论坛环境太舒服了。 观点很新颖，角度也很独特，打破了我之前的固有认知，很有启发。 很多细节都考虑到了，看得出来是真正懂行的人在认真分享。 感谢楼主无私分享经验，少走了很多弯路，对我们帮助特别大。 内容干货满满，没有多余废话，对有需要的人来说帮助真的很大。 非常有建设性的意见，对解决实际问题有很大的参考意义。
楼主的经历很有参考价值，给了我很多新的思考方向，非常感谢。 这个话题确实很值得讨论，我也有类似的经历，非常认同楼主的观点。 之前一直半知半解，看了你的解释一下子就明白了，讲得通俗易懂。 讲得很透彻，把复杂的问题简单化，理解起来轻松了很多。 这样用心的帖子不多见，必须顶上去让更多人看到优质内容。 没想到还有这么多细节，之前一直没注意到，感谢楼主提醒和科普。 不仅内容好，语气也很温和，这样的交流氛围真的很不错。 很多建议都很接地气，能直接用在生活或工作中，实用性很强。 内容写得很详细，逻辑也很清晰，对新手来说非常友好，支持一下楼主。 说得很有道理，很多观点都说到点子上了，希望以后能多看到这类帖子。 对这个话题有了更全面的认识，不再只停留在表面理解。
页:
[1]