实战恶意爬虫拦截：帮站长守住服务器资源的干货指南
我去年下半年差点被恶意爬虫搞崩站。那阵后台看流量莫名涨了三倍，服务器账单直接翻了五倍，进去扒访问日志一看，全是爬虫刷的请求，一半以上都是恶意的，抢带宽偷内容，那叫一个糟心。先搞懂：哪些爬虫才是你要拦的“恶意爬虫”
不是所有爬虫都需要拦。百度谷歌搜狗这些正规搜索引擎爬虫，是来给你带搜索流量的，拦了等于自断排名活路，这点一定要记牢。
我们要打的恶意爬虫，都是哪些？说直白点，一切没经过你允许，薅你资源干对你没好处的事的，全是。
- 偷你原创内容、采集你整站文章的，发出去抢你排名
- 电商站爬你商品价格，对比压价的竞品爬虫
- 扫你后台端口、找漏洞挂黑页的黑客爬虫
- 刷假流量骗广告主预算、刷点击刷排名的作弊爬虫
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/ed6b82da-500e-41f5-98b6-1cfa2bd100c2.jpg
网站访问日志恶意爬虫请求统计
说实话，我见过最夸张的，一个小资讯站，一天被爬虫爬了八十多万次，正常用户请求才不到三万，服务器直接宕机半天，损失的流量和排名，找谁说理去。
怎么快速区分？正规爬虫有规矩：UA明明白白标身份，IP段都是官方公开可查的，请求频率也控制得很友好。恶意爬虫要么改UA冒充搜索引擎，要么全是乱七八糟的空白UA，更狠的一秒发十几个请求，IP换得比衣服还勤，就是要耗死你。
入门级拦截：零代码也能搞定的基础操作
新手站长不用上来就搞复杂架构，先把这几步基础操作做好，能挡掉80%的笨爬虫。
第一，先把你的robots.txt规则写对。很多人说robots没用，那是你没写对。把你不想让爬虫爬的目录，比如后台、分类页、用户中心这些，直接写上禁止爬，大部分半吊子爬虫都会遵守，上来就能少一大半无效请求。
第二，开CDN自带的爬虫拦截。现在市面上不管是免费还是付费CDN，基本都自带恶意爬虫识别功能，你只要进去打开开关，设置好请求频率阈值，它自动帮你拦。我现在用的CDN，每个月帮我拦三四十万次恶意请求，花的钱还没我多喝一杯奶茶贵，太值了。
第三，服务器层面做基础频率限制。拿Nginx举例，加短短几行配置，就能限制单个IP一分钟内的请求次数，超过阈值直接返回403，操作十分钟都用不了。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/9e33b251-fc41-47e7-b437-8073fb89e656.jpg
CDN后台恶意爬虫拦截记录面板
不过话说回来，基础操作也就只能挡挡不入流的爬虫。碰到那种会换IP、会模拟浏览器头、专门偷内容的高阶爬虫，根本没用。我前年碰到一个家伙，每天定点爬我所有原创文章，爬完直接同步到他的站，还因为他服务器快，比我先收录，硬生生抢了我一半的关键词排名，给我气炸了，那时候基础拦截全放开了也没用，必须上硬手段。
进阶拦截：专治高阶恶意爬虫的实战方法
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/fd61b8ea-4a2a-4c26-a595-4772896bee26.jpg
进阶拦截：专治高阶恶意爬虫的实战方法
亲测好用的几个方法，都是我踩过坑总结出来的，拿过去就能用。
第一个，做多重身份校验。把UA验证、Cookie验证、IP段验证结合起来，恶意爬虫很多不会保存和携带你网站种下的正常Cookie，也不会模拟完整的浏览器身份，只要校验不通过，直接403拉黑，一拦一个准。网上还有现成的恶意爬虫UA库，直接下载导入到你的服务器规则里，碰到对应UA直接拦，不用你自己一个个整理。
第二个，布置蜜罐陷阱。这个方法我吹爆。你只要在页面里加一个普通用户看不见、只有爬虫会爬的隐藏链接，只要有IP访问这个链接，直接永久拉黑。我当初加了这么一个链接之后，三天之内就把那个偷我内容的爬虫IP段全拉黑了，世界一下子清净了。
第三个，JS渲染+人机校验。现在很多高级爬虫会模拟浏览器，但是大部分不会执行完整的JS交互，你把核心内容放到JS加载之后，爬虫拿不到内容，自然就走了。如果碰到还不死心的，第一次访问给个几秒的轻量人机验证，大部分爬虫直接歇菜，对正常用户体验也没什么影响。
哦对了，还有个损招，如果你实在被偷烦了，给确认是爬虫的请求返回假数据，让他爬半个月全是错内容，他自己就不来了。我干过，亲测有效。
最后提个醒：别踩误拦的坑
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/dd5b2baf-da8f-40f9-b105-f096db7c1caa.jpg
最后提个醒：别踩误拦的坑
很多人拦截上瘾，什么请求都拦，最后把搜索引擎爬虫给拦了，排名掉了一大截，哭都来不及。一定要给正规搜索引擎爬虫做IP白名单，百度谷歌官方都公开了自己的爬虫IP段，导进去，永远不会误拦。
还有，要定期翻访问日志，恶意爬虫也会换套路，上个月是这个UA，这个月换个UA又来，半个月抽十分钟看一眼，更新一下规则，就能一直清净。
恶意爬虫就像网站里的蟑螂，你不主动打，他就偷偷啃你资源，慢慢把你站拖垮。花一下午配置好规则，省下来的带宽、服务器钱，还有稳定的排名，比什么都强。 看完楼主的分享感觉很有收获，感谢这么用心的整理，学到很多新知识。 对这个话题有了更全面的认识，不再只停留在表面理解。 观点很新颖，角度也很独特，打破了我之前的固有认知，很有启发。 对新手特别友好，解释得很细致，就算零基础也能看懂大半。 看了这么多帖子，还是觉得你这篇最实在，条理清晰又容易理解。 没想到还有这么多细节，之前一直没注意到，感谢楼主提醒和科普。 已经推荐给朋友来看了，好东西就应该一起分享一起学习。 支持楼主继续更新，这么好的内容值得让更多人看到和学习。 支持理性讨论，反对无脑争吵，楼主带了个很好的头。 看完之后深有感触，有些话真的说到心坎里了，很有共鸣。 内容写得很详细，逻辑也很清晰，对新手来说非常友好，支持一下楼主。 每一段都很有分量，认真读完全篇感觉整个人都提升了不少。 内容干货满满，没有多余废话，对有需要的人来说帮助真的很大。
页:
[1]