使用道具 举报
本版积分规则 发表回复 回帖后跳转到最后一页
手机版|企业导航|网站地图|Archiver|W10站长论坛 ( 苏ICP备2021017012号-4 )|网站地图
GMT+8, 2026-9-7 06:29
免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系362039258#qq.com(把#换成@)删除。
Powered by Discuz! X3.5 W10 bbs.w10.cn
Nginx IP频率限制防采集配置示例
进阶级页面防采集措施：拿到数据也没法用
要是入门挡不住，就上点手段，让采集者就算拿到了HTML，也提取不出正确的内容，就算提取出来了，也全是乱的，根本用不了。
我最常用的一招就是CSS结构混淆。比如把你正常的正文段落，拆成几十上百个随机类名的span标签，再插一堆空的、带乱码文字的标签进去打乱顺序，最后用CSS把位置和文字排序矫正回来。
正常用户访问看，一点问题都没有，和原来一模一样。但采集器靠规则提取内容，直接就抓一堆乱码回去，他总不可能逐行解析CSS吧？那成本高到他哭。
还有一招就是核心内容异步加载。把正文、数据这些核心内容，不要直接写在HTML里，页面加载完再用Ajax请求接口拿到内容渲染。
大部分免费采集器、群发采集工具根本不会执行页面JS，直接爬源码拿到的就是一堆空标签，毛都捞不着。
对了，别忘了加隐形水印。每个访客的页面里，都藏几个只有你能识别的字符水印，不同用户不一样，就算有人带走了你的内容，你一搜就能找到是谁偷的。
CSS文字反转防采集页面代码示例
高阶对抗级页面防采集措施：专门对付定制爬虫
高阶对抗级页面防采集措施：专门对付定制爬虫
说实话，要是你的内容价值很高，比如是付费资料、行业数据库，肯定会有人专门写定制爬虫来爬你，这个时候就得下狠手了。
第一个狠招，蜜罐陷阱。你在页面底部、CSS隐藏的地方，放几个只有爬虫能爬到的链接，正常用户根本看不到也点不着。只要谁爬了这个链接，直接拉进黑名单封IP，百试百灵。
第二个狠招，返回假数据。既然你非要爬，那我就给你错的数据。比如识别到爬虫行为之后，给他返回一堆打乱顺序、或者完全伪造的内容，他美滋滋爬了几万条，高高兴兴放到网站上，结果全是错的，搜索引擎降权，用户留不住，亏的是他。
我前年给一个做行业标准数据库的客户做防采集，一开始只用了IP限制，结果不到一周对方就换代理绕过了。后来我们加了蜜罐+假数据，半个月后对方网站核心关键词排名掉了一百多名，后来就再也没见过他爬了。
还有就是动态令牌校验，每个页面生成的时候带一个短期有效的token，请求数据必须带正确的token，token过期或者不对，直接返回错误。爬虫不可能每次都动态拉新的token，就算他做了，成本也翻了好几倍，大部分人就放弃了。
不过话说回来，世界上没有100%能防住的采集。只要内容能在浏览器里显示，人家总有办法拿到。
我们做防采集的核心，从来不是彻底杜绝采集，而是把采集的成本抬上去，抬到比他自己做内容的成本还高，他自然就不爬你了。
你要是连个基础的防护都懒得做，人家采集你花几十块买个采集器就能薅走几万内容，换谁都愿意来薅你。
你把成本抬到他花几千块都不一定能爬对，你看他还来不来？
对了，别瞎用那种把全文转图片的防采集方式，搜索引擎也认不出来，你防了爬虫，也把自己排名防没了，亏大了。
