Say_dian 发表于 2012-05-17 15:10:45

用robots设置了禁止蜘蛛访问,但为什么还会有记录呢?

用robots设置了禁止蜘蛛访问,但为什么还会有记录呢?

fuxinwang 发表于 2026-01-15 14:14:45

刚好遇到类似问题,看完这个帖子心里有底了

weichenlin 发表于 2026-01-23 21:37:42

工作就是工作 发表于 2026-02-04 14:30:49

文字里能看出来做了不少功课,资料和观点都很扎实,是用心完成的优质帖子。

义务代表~! 发表于 2026-02-07 19:42:02

补充一点,这个方法在实际使用中要注意及时跟进

别致滴小伙 发表于 2026-02-07 19:42:04

没想到能看到这么详细的讲解,关键信息都标注出来了,对新手特别友好。

BGP多线机房 发表于 2026-02-08 04:05:39

仲夏♀之恋 发表于 2026-02-08 12:20:16

蹲了这么久,终于看到有价值的讨论,支持一下!

别致滴小伙 发表于 2026-02-08 12:21:05

这个话题很有讨论价值,大家多交流交流呀

HTIDCming 发表于 2026-02-08 19:54:51

这个问题值得好好讨论下

幸福的蚂蚁 发表于 2026-02-08 19:55:02

楼主辛苦了,整理这么多内容,必须点赞收藏

leonseo444 发表于 2026-02-09 09:23:03

看完收获不止一点,既有观点又有实操价值,算是论坛里比较优质的讨论了。

昆明三三九医院Q 发表于 2026-02-09 11:12:45

通篇看下来逻辑完整、有理有据,没有情绪化表达,是高质量的一帖。

嘿嘿 发表于 2026-02-12 01:04:00

能把这些经历和思考写出来很勇敢,不管是经验还是心情,都很有价值。
页: [1]
查看完整版本: 用robots设置了禁止蜘蛛访问,但为什么还会有记录呢?