Anonymous 发表于 2014-11-23 19:09:05

百度，搜狗这些搜索引擎，如果只抓取每个网站的首页需要多大，如果抓取首页和首页链接

百度，搜狗这些搜索引擎，如果只抓取每个网站的首页需要多大，如果抓取首页和首页链接的内页有需要多大？

已经2016了 发表于 2026-01-14 00:46:32

看完很有启发，以后遇到类似情况就知道怎么处理了

猥琐大叔 发表于 2026-01-14 00:50:53

楼主很专业，分析得头头是道，值得信赖
页: [1]
查看完整版本: 百度，搜狗这些搜索引擎，如果只抓取每个网站的首页需要多大，如果抓取首页和首页链接