使用道具 举报
本版积分规则 发表回复 回帖后跳转到最后一页
手机版|企业导航|网站地图|Archiver|W10站长论坛 ( 苏ICP备2021017012号-4 )|网站地图
GMT+8, 2026-9-7 00:17
免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系362039258#qq.com(把#换成@)删除。
Powered by Discuz! X3.5 W10 bbs.w10.cn
网站根目录robots.txt文件正确示例图
还有更离谱的，把禁止和允许写反了，本来想禁止整站蜘蛛爬测试站，结果正式站抄了代码，直接凉了半年才发现。
对吧？就这么一行代码，就能废掉你大半年的功夫。
哪些内容必须禁？哪些规则别瞎写
我整理了这么多年做站的经验，直接给你说干货，不用记那些没用的复杂语法。
第一类，必须写禁止抓取的内容
网站后台目录，不管是/admin还是/wp-admin，这类本来就不是给用户看的，直接禁，没商量。
站内搜索结果页，一般路径是/search或者带?s=参数的，全都是动态生成的重复内容，蜘蛛抓一万个也没用，还占配额，直接禁。
用户中心、会员中心，不管是/member还是/u/，非公开内容，没必要收录，禁。
批量生成的低质量聚合页，比如很多流量站批量做的标签页、日期归档页，没有任何独特内容，就是堆文章，直接禁，留着只会拉低整站质量。
第二类，90%的人都会写错的规则，别瞎碰
很多教程让你写Disallow: /*?*，禁止所有带参数的页面，疯了吗？你的分类页、筛选页很多都带参数，真写了，这些页面全废了。除非你确定所有带参数的页面都没用，不然别写这个规则。
还有人写Disallow: /*.php$，禁止抓所有php后缀的页面，那你大部分文章都是php生成的，这不就是自断活路吗？真的离谱。
还有Sitemap，很多人说必须把地图地址写在robots末尾，说实话，写不写都行。你直接在百度搜索控制台或者Google站长后台提交，比写在这靠谱一万倍，当然写了也没坏处，多一个入口而已，没那么玄乎。
Google搜索控制台robots有效性检测截图
不过话说回来，很多人连robots放哪都搞错。必须放在你的域名根目录，就是xxx.com/robots.txt，你放去二级目录，蜘蛛根本找不到，等于白写。这个错误我刚做站那会就犯过，现在想起来还懊恼。
适合流量站GEO站的高级robots设置玩法
适合流量站GEO站的高级robots设置玩法
做GEO流量站的朋友都懂，我们大部分都是批量生成内容，不可能所有页面都是高质量。这时候robots就是你调整整站权重的最好工具。
我自己做英文GEO站的习惯是，把原创的文章、整理的优质专题页都放开，那些批量生成的低质量长尾聚合页，直接用robots禁掉。只把优质页面放出去拿排名，整站的权重集中度一下子就上来了。
我之前有个站，一共四千多个页面，两千八百多个是批量聚合，禁了之后，三个月整站的平均排名涨了快五成，流量直接翻了一倍，真的特别惊喜。
还有，大站最怕什么？蜘蛛抓取配额不够。你几十万上百万个页面，搜索引擎每天就给你这么多抓取量，你都让它抓没用的重复内容了，新更的文章它根本没时间爬，收录自然慢。你把没用的都禁了，配额全部留给新内容，收录速度最少快一倍。
还有一个小技巧，如果你做图片
