“生也百度死也百度，那些年，变幻莫测的蜘蛛”
咱们都知道， 蜘蛛是沿着连接爬来爬去的，他会自动获取网站中所有的连接，保存入库，然后进行爬取，这也就是为什么咱们觉得网站的收录少了或者刚发布的文章没有被收录，咱们就会说“引爬虫”了，其实引爬虫就是发外链了，当这条链接被蜘蛛发现之后，他就会进行爬取，然后通过一系列复杂的算法之后，决定是否放出该页面的收录。为何没有的页面也会被抓取的呢?一是被对手刷外链，也就是说竞争对手恶意的给你发了很多的不存在的页面链接，当爬虫发现之后就会来爬取;二是以前做的外链，后来因为网站改版而某些连接没有及时的去除， 蜘蛛定期回访的时分爬取了这条连接;三是此种仅限老域名，之前的网站结构和我们现在的网站结构不一致，也类似于b中的说法;四是robots文件没有对爬虫进行限制;五是程序的原因，导致百度爬虫掉入黑洞，也就是一个死胡同;最后就是网址提交的时候出现了一系列的问题。转载此文章,请注明出处：不锈钢开瓶器 http://www.lxopener.com/products-detail.asp?cpid=10
页:
[1]