使用道具 举报
本版积分规则 发表回复 回帖后跳转到最后一页
手机版|企业导航|网站地图|Archiver|W10站长论坛 ( 苏ICP备2021017012号-4 )|网站地图
GMT+8, 2026-9-7 00:17
免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系362039258#qq.com(把#换成@)删除。
Powered by Discuz! X3.5 W10 bbs.w10.cn
nginx页面防采集IP频率限制配置截图
还有个老方法我用了快十年，一直好使。就是把正文内容拆成几十个小span，混进去几个乱序的空span，再用CSS把顺序排对，普通的采集规则只会把span按顺序扒下来，拿到的内容是乱的，根本没法用。除非人家专门给你写规则，不然根本拿不到正确内容。成本还低，后端渲染的时候加几行代码就搞定了，不影响正常用户体验。
说实话，这些基础措施够百分之八十的中小站用了，成本几乎为零，效果还不差。
进阶级：对付专业采集工具的对抗性措施
现在很多人买那种几百块的智能采集工具，能渲染JS，能伪装请求头，还能换IP池，基础方法拦不住了对吧？得上点硬菜。
首推就是蜜罐陷阱，用了都说爽。你在页面底部藏几个display:none的链接，正常人根本点不到，也看不到，爬虫不管那个，只要是链接就爬。只要爬虫访问了这些隐藏链接，直接记录IP，永久封禁，或者直接返回一堆垃圾内容，把它的数据库塞满垃圾，够他喝一壶的。我之前做付费资料站的时候，布置了三个蜜罐链接，一天下来封了快四百个爬虫IP，那一周全站采集量直接掉了八成。
然后是动态内容拆分，关键的原创内容，别直接写到HTML返回里，拆成好几段，用JS异步加载拼起来，采集器如果不等待异步请求完成，拿到的就是半截内容。就算它会等，你给接口加个临时签名，五分钟就过期，它爬下来的接口地址过会儿就失效了，也拿不到完整内容。
页面防采集异步内容签名接口代码示例
还有个法子，就是把核心的敏感文字，比如付费资料的关键内容，直接用canvas渲染出来，爬虫爬不到文字，只能拿到图片，要提取就得用OCR，成本一下就上去了，除非你的内容特别值钱，不然没人愿意花这个成本爬你。不过这里要划重点，绝对别把所有内容都弄成canvas，会害死你的
兜底级：防不住也能留后手的反制措施
道高一尺魔高一丈，真要是碰到那种盯着你扒的专业采集者，再好的防护也有可能漏，怎么办？留后手啊。
最绝的就是隐形追踪水印。你给每个页面，甚至每个来访IP都加一点别人看不到的追踪信息，比如在正文里插入几个零宽度的特殊字符，不同的编码对应不同的来源段，要是有人把你的内容爬走发出去，你随便复制一段就能查到是谁爬的，直接去对方平台投诉侵权，一投一个准。现在绝大多数平台都支持原作者维权，只要你能拿出证据，直接把对方的内容下架，严重的还能封号。
别不把Robots协议当回事。现在国内法院已经有多个判例认可Robots协议的法律效力了，你明确写了禁止搜索引擎以外的爬虫爬取，对方还硬爬，你直接收集证据起诉，要求赔偿。我认识一个站长去年就赢了官司，拿到了三万多赔偿，够吃好几顿重庆火锅了对吧？
不过话说回来，防采集这件事，过犹不及。我见过太多人，为了防采集把网站弄的打开要十秒，正常用户点两次就弹验证码，连搜索引擎蜘蛛都被拦在外头，最后权重掉光，流量没了，防了个寂寞。
说白了，防采集是防别人偷你的成果，不是防用户也防搜索引擎。所有防采集措施，都要给正常用户和搜索引擎让路。你就是个小博客，写点原创文章，其实不用弄太复杂，拦一下普通爬虫就行，花那功夫不如多更两篇内容。要是你做的是付费站点、原创资料站，那肯定得把能上的手段都安排上，不然真的亏到姥姥家。
最后说个免费的小技巧，你定期半个月偷偷改一次页面布局的class名，那些靠匹配class扒内容的采集规则，直接就废了，不用花什么力气，对面半个月都未必反应过来，爬半个月空白内容，想想就好笑。
