站长亲测有效的页面防采集措施：拦住90%爬虫薅流量
做站长快十年，被爬虫薅到心疼的经历，我能说三天三夜。辛辛苦苦熬了大半年更出来的原创资料库，人家开个免费采集器，半小时爬完所有内容。转头人家洗都不洗，直接放到自己网站，没两个月权重比你原站还高。
换你你气不气？
说实话，现在互联网就是这么个现状，原创难，采集易，你不防，就是给别人做嫁衣。
入门级页面防采集措施：零成本快速上线
如果你现在还没做任何防采集，先把这两步加上，花不了你半小时，能拦掉70%的业余采集。
第一个就是IP访问频率限制。正常用户一天能翻你几十页就不错了，要是一个IP一小时请求你上千次，那不是爬虫是什么？
用Nginx或者服务器面板就能直接配置，超过限制直接返回403就行，简单粗暴。
第二个就是UA校验，很多廉价采集器默认的UA都是乱七八糟的，要么直接标着python、curl，要么就是空的，直接把这类无效UA拦了，又能筛掉一批。
当然，这俩都是入门招，只能拦菜鸟。人家稍微专业点的爬虫，换个UA整个代理池，分分钟绕过。
聊胜于无，总比开门放强盗进来强吧？
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/0d106935-78e5-4eae-b826-7cb567c3e764.jpg
Nginx IP频率限制防采集配置示例
进阶级页面防采集措施：拿到数据也没法用
要是入门挡不住，就上点手段，让采集者就算拿到了HTML，也提取不出正确的内容，就算提取出来了，也全是乱的，根本用不了。
我最常用的一招就是CSS结构混淆。比如把你正常的正文段落，拆成几十上百个随机类名的span标签，再插一堆空的、带乱码文字的标签进去打乱顺序，最后用CSS把位置和文字排序矫正回来。
正常用户访问看，一点问题都没有，和原来一模一样。但采集器靠规则提取内容，直接就抓一堆乱码回去，他总不可能逐行解析CSS吧？那成本高到他哭。
还有一招就是核心内容异步加载。把正文、数据这些核心内容，不要直接写在HTML里，页面加载完再用Ajax请求接口拿到内容渲染。
大部分免费采集器、群发采集工具根本不会执行页面JS，直接爬源码拿到的就是一堆空标签，毛都捞不着。
对了，别忘了加隐形水印。每个访客的页面里，都藏几个只有你能识别的字符水印，不同用户不一样，就算有人带走了你的内容，你一搜就能找到是谁偷的。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/e3789284-69aa-4401-afdf-c29247efe283.jpg
CSS文字反转防采集页面代码示例
高阶对抗级页面防采集措施：专门对付定制爬虫
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/237e9beb-15c9-4470-b33b-c00334602185.jpg
高阶对抗级页面防采集措施：专门对付定制爬虫
说实话，要是你的内容价值很高，比如是付费资料、行业数据库，肯定会有人专门写定制爬虫来爬你，这个时候就得下狠手了。
第一个狠招，蜜罐陷阱。你在页面底部、CSS隐藏的地方，放几个只有爬虫能爬到的链接，正常用户根本看不到也点不着。只要谁爬了这个链接，直接拉进黑名单封IP，百试百灵。
第二个狠招，返回假数据。既然你非要爬，那我就给你错的数据。比如识别到爬虫行为之后，给他返回一堆打乱顺序、或者完全伪造的内容，他美滋滋爬了几万条，高高兴兴放到网站上，结果全是错的，搜索引擎降权，用户留不住，亏的是他。
我前年给一个做行业标准数据库的客户做防采集，一开始只用了IP限制，结果不到一周对方就换代理绕过了。后来我们加了蜜罐+假数据，半个月后对方网站核心关键词排名掉了一百多名，后来就再也没见过他爬了。
还有就是动态令牌校验，每个页面生成的时候带一个短期有效的token，请求数据必须带正确的token，token过期或者不对，直接返回错误。爬虫不可能每次都动态拉新的token，就算他做了，成本也翻了好几倍，大部分人就放弃了。
不过话说回来，世界上没有100%能防住的采集。只要内容能在浏览器里显示，人家总有办法拿到。
我们做防采集的核心，从来不是彻底杜绝采集，而是把采集的成本抬上去，抬到比他自己做内容的成本还高，他自然就不爬你了。
你要是连个基础的防护都懒得做，人家采集你花几十块买个采集器就能薅走几万内容，换谁都愿意来薅你。
你把成本抬到他花几千块都不一定能爬对，你看他还来不来？
对了，别瞎用那种把全文转图片的防采集方式，搜索引擎也认不出来，你防了爬虫，也把自己排名防没了，亏大了。 这样的优质帖子越多越好，希望论坛能多一些这样真诚的交流。 思路很清晰，步骤也很详细，跟着操作应该不会出什么问题。 感谢楼主愿意花时间分享，让我们这些后来者能少踩很多坑。 帖子内容很扎实，不浮夸不炒作，真正有用的信息都在里面。 内容写得很详细，逻辑也很清晰，对新手来说非常友好，支持一下楼主。 很多点我之前都没想到，楼主一提醒才恍然大悟，收获很大。 每一段都很有分量，认真读完全篇感觉整个人都提升了不少。 对新手特别友好，解释得很细致，就算零基础也能看懂大半。 感谢楼主无私分享经验，少走了很多弯路，对我们帮助特别大。 这个问题困扰我很久了，看了你的帖子终于有思路了，非常感谢。 非常同意楼主的看法，现实中确实是这样，很多人都忽略了这一点。 楼主的经历很有参考价值，给了我很多新的思考方向，非常感谢。 这样用心的帖子不多见，必须顶上去让更多人看到优质内容。 很多建议都很接地气，能直接用在生活或工作中，实用性很强。 看完楼主的分享感觉很有收获，感谢这么用心的整理，学到很多新知识。 之前一直半知半解，看了你的解释一下子就明白了，讲得通俗易懂。 对这个话题有了更全面的认识，不再只停留在表面理解。 没想到还有这么多细节，之前一直没注意到，感谢楼主提醒和科普。
页:
[1]
2