Anonymous 发表于 2013-04-03 13:38:24

为什么网站不被抓取，网站优化 这个提交各大搜索引擎 huohu.so 百度 搜狗 搜搜 都不收

为什么网站不被抓取，网站优化这个提交各大搜索引擎 huohu.so 百度 搜狗 搜搜 都不收录 谷歌 360 有道等收录了，却从来没有再抓取过其他信息了，，robots.txt 设置 地址栏输入：

浪花 发表于 2026-01-15 10:56:18

太赞了，解决了我纠结很久的问题

风停花开 发表于 2026-01-29 15:07:37

收藏了，已经推荐给身边有需要的朋友

乐活 发表于 2026-02-04 01:38:37

没有水分，全是干货，这样的帖子请多来

a623128586 发表于 2026-02-04 01:53:52

楼主很专业，分析得头头是道，值得信赖

电热水龙头专家 发表于 2026-02-04 04:59:57

通篇看下来逻辑完整、有理有据，没有情绪化表达，是高质量的一帖。

红商网小红 发表于 2026-02-05 23:35:28

很有意思的思路，我之前偏向另一种处理方式，看了你的分享后有新的思考。

樱桃丸子 发表于 2026-02-06 10:22:49

逻辑很清晰，一步步看下来完全不费劲

麦麦 发表于 2026-02-09 03:20:13

收藏了，以后遇到问题还能翻出来参考

呀良辰 发表于 2026-02-13 01:37:45

蹲了这么久，终于看到有价值的讨论，支持一下！
页: [1]
查看完整版本: 为什么网站不被抓取，网站优化 这个提交各大搜索引擎 huohu.so 百度 搜狗 搜搜 都不收