搜索引擎的Robots协议

爱的呼唤 · 发表于 2012-09-09 09:52:30

Robots协议，是对查找引擎进行束缚的一个文档，用于通知查找引擎的爬虫，哪些内容是不该被查找引擎的索引。上海SEO之前写了一篇文章，Robots文件标准。但查找引擎它们遵从了吗，小x写这篇文章就是对立查找引擎不遵从Robots协议，强行抓取网页页面，侵略用户隐私。
　　Robots协议并不是一个标准，而仅仅约定俗成的。关于谷歌来说，固然也不能彻底的将谷歌阻挠在页面之外，谷歌也有可能对其索引。但对准谷歌有一个META可以进行屏蔽与束缚：
　　若是Google看到某一页上有noindex的元符号，就会将此页从Google的查找成果中彻底丢掉，而不论能否还有其他页链接到此页。但关于百度来说，这个Meta就发扬不了效果。对百度也只能进行快照屏蔽，网页屏蔽暂时无法用代码去束缚。典型的比如就是淘宝抓取，百度查找“淘宝网”，第一个成果也是淘宝网首页地址，仅仅该页面没有网页快照，因而看来，网站只能制止百度的快照，而无法制止百度为网页建索引。重庆代孕 http://www.yjdaiyun.com/

小女子爱财 · 发表于 2025-11-10 21:24:41

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			加入W10

小女子爱财当前离线积分 -20 头像被屏蔽	小女子爱财发表于 2025-11-10 21:24:41 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
小女子爱财当前离线积分 -20 头像被屏蔽
	回复支持反对使用道具举报

[站长八卦] 搜索引擎的Robots协议

浏览过的版块