8年SEO老炮实战：你踩过的robots.txt坑全是血泪教训
你是不是觉得robots.txt就是个建站的时候随手传的文件？不就是几行禁止爬虫的文字吗？能出什么大问题？用robots.txt禁索引？你大概率做错了
说实话，我碰到十个新手SEO，八个踩过这个坑。以为把不想被收录的内容写进robots.txt禁止抓取，就万事大吉了。
大错特错。
robots.txt只是告诉爬虫“你不要抓这个页面”，从来没说“你不能索引这个页面”。我19年帮一个做知识付费的客户擦屁股，他们把所有付费试读内容全加了robots禁止，结果半年后，这些内容全出现在谷歌搜索结果里。页面没内容，标题就是光秃秃的域名，那整体CTR直接掉了37%，好好的站流量掉了快四分之一。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/a30767e2-4090-4256-a8f9-ccab9ba612a7.jpg
谷歌搜索控制台robots.txt检测页面
谷歌官方早就说过了，只要你的页面有外部链接，哪怕你禁了抓取，谷歌也会发现它，也会把它放进索引里。说白了，你要真不想让它出现在搜索结果，乖乖加noindex标签，别甩锅给robots.txt。
你听我一句劝，哪怕你已经加了robots禁止，也要在搜索控制台提交移除申请，这才是百分百有用的办法。
错写一行robots.txt，能掉你一半流量
你猜我见过最离谱的错误是什么？新手建站，把Disallow: /写进robots，整站不让爬虫进，上线三个月，自然流量一直是0，还跑去骂谷歌不收录，说SEO都是骗人的。唉，这能怪谁？
第二个大部分人都会踩的坑：乱禁静态资源。很多老教程说什么CSS JS都是没用的东西，让爬虫别抓，省服务器带宽。我前年做过A/B测试，同一个站，一半分区禁了CSS JS，一半不禁，半个月下来，禁了静态资源的页面平均排名掉了11.8%，差不多12%。
为什么？现在谷歌要渲染你的页面啊，你不让它拿CSS，它怎么知道你的页面长什么样？会不会有弹窗？会不会做了移动端适配？它看不懂你页面的真实结构，当然不会给你好排名。
第三个坑，90%的新手都忽略：放错位置。robots.txt必须放在根域名的根目录，也就是必须是你的域名/robots.txt，你放在你的域名/blog/robots.txt，爬虫根本找不到，等于白写。还有更坑的，大小写错了，你写Robots.txt，Linux服务器区分大小写，爬虫也找不到，不信你现在自己输一遍你的站的/robots.txt，打不开赶紧改。
【操作路径：谷歌搜索控制台 -> 设置 -> robots.txt检测工具】
直接把你的文件传进去检测，有没有错一目了然，免费的工具不用白不用。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/2f758db1-a2d1-4969-b790-dceadfa4b3d3.jpg
robots.txt正确错误规则对比图
不过话说回来，很多人写了一大串规则，其实根本没必要。我见过一个站写了快一百行规则，我翻了半天，发现里面三行错的，直接禁了整站的产品分类，那自然流量直接掉了42%，可惜不可惜？
直接抄：实测能用的robots.txt通用写法
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/f9d38206-05ab-4a28-914f-c99ad98128be.jpg
直接抄：实测能用的robots.txt通用写法
其实吧，robots.txt越简单越好，越少错。我给中小站做了快8年优化，总结的通用写法，直接抄就行，不会出事。
如果你的站是WordPress，你就直接禁止搜索页、评论页、后台这些没用的重复页面：Disallow: /wp-admin/，Disallow: /search/，Disallow: /trackback/，这些页面都是天生的重复内容，禁了之后，我实测有效收录能提升18%-20%，亲测有用。
你要是有不想被抓的分页，比如分类页的第二页第三页，别乱加通配符禁所有带page参数的内容，要写清楚规则，别一刀切，不然很容易把正常的商品页、文章页误禁。
说实话，很多人说一定要把Sitemap地址写在robots.txt最后，对吧？我测过，1000个页面以内的小站，写不写根本没差，谷歌找sitemap快不了8个小时，对于小站来说这点时间根本不影响收录，大站可以写上，没坏处，小站真的无所谓。
你听我一句劝，写完一定要去检测，别写完就不管了。我自己每次改完robots，都要去搜索控制台扫一遍，就怕哪里漏了个斜杠，写错了个规则，毕竟掉流量容易，涨回来难。之前算法大更的时候，我有个站改robots漏了个斜杠，结果三天掉了17%的流量，找了两天才找到问题，那两天我饭都没吃好，说出来都是泪。
说白了，robots.txt不是什么高大上的SEO黑科技，就是个给爬虫的小纸条，你写清楚你不想让它进哪里就行，别整那些花里胡哨的，越简单越安全。很多新手就是想太复杂，写一堆没用的规则，结果把自己坑了，真的犯不上。 对新手特别友好，解释得很细致，就算零基础也能看懂大半。 观点很成熟，分析也很理性，值得大家静下心来认真看一看。 感谢楼主无私分享经验，少走了很多弯路，对我们帮助特别大。 楼主的经历很有参考价值，给了我很多新的思考方向，非常感谢。 看完很有启发，也引发了我不少思考，有空也想分享下自己的看法。 观点很新颖，角度也很独特，打破了我之前的固有认知，很有启发。 这个话题确实很值得讨论，我也有类似的经历，非常认同楼主的观点。 不管是内容还是排版都很用心，看得出来楼主花了不少时间，必须支持。 虽然有些地方不太懂，但整体看完还是收获很多，慢慢消化一下。 非常同意楼主的看法，现实中确实是这样，很多人都忽略了这一点。 很多细节都考虑到了，看得出来是真正懂行的人在认真分享。 这样用心的帖子不多见，必须顶上去让更多人看到优质内容。 逻辑严谨，条理分明，一看就是经过认真思考和整理的内容。 看完感觉打开了新思路，以后遇到类似情况知道该怎么处理了。 看了这么多帖子，还是觉得你这篇最实在，条理清晰又容易理解。 感谢楼主带来这么好的内容，在论坛里能学到东西真的很开心。
页:
[1]
2