爬虫IP屏蔽：资深站长总结的实操避坑指南
你有没有半夜爬起来看服务器后台，发现带宽被跑满了，CPU占用100%？一看日志，全是不知道哪来的爬虫，整页整页扒你的内容。
钱花了不说，原创内容被抄，排名被抢，找谁说理去？
为什么爬虫IP屏蔽是中小站长的必修课
很多新站长刚上线站点，总觉得我一个没流量的小站，谁会看得上？
太天真了。
现在黑产爬数据，竞品扒内容，甚至还有那种无差别扫全网的滥爬爬虫，根本不管你站大站小，只要找到你就往死里爬。
我前年帮一个做本地美食号的朋友处理过故障，他站上线半年，刚做点收录，结果一个月流量超了180G，服务商直接寄了超流量欠费通知，一千七百多。
查了三天日志才发现，一个爬商家电话的爬虫，整整爬了四个月，他连日志都没开过，完全没发现。
除了烧钱，更坑的是内容被抄。你熬一个月写的原创干货，人家爬虫一小时扒完，转天就发到他权重比你高的站上，搜索引擎收录他的都比你快，你辛辛苦苦做的排名直接没了。
还有搜索引擎蜘蛛自己，要是你不做规则限制，它乱爬你的无效动态页，也能把你服务器拖垮。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/7a8a2237-bead-4baa-b78b-f2cf88600288.jpg
服务器恶意爬虫访问日志截图
目前主流的爬虫IP屏蔽方案，哪个适合你
手动封禁已知恶意IP
这个是最基础的方案，适合流量小的个人站，成本为零。你只要定期看访问日志，把频繁访问的恶意IP找出来，直接在Nginx或者服务器面板里加进封禁列表就行。
说实话，操作真的不难，改两行配置的事。但是弊端太明显，只能杀已经发现的敌人，那些用代理池动态换IP的爬虫，你封一个它出十个，天天封都追不上，累死你。
按IP访问频率自动封禁
这个比手动封进步太多，现在大部分服务器面板比如宝塔、云帮手都自带这个功能，设置一下同一个IP单位时间内的访问阈值，超过就自动封几个小时或者一天，点两下就能开。
但是这里要提醒你，千万别把阈值设太低。我见过有人设一分钟超过10次访问就封，结果把正常刷列表的用户、爬收录的搜索引擎蜘蛛都封了，没过半个月收录掉了八成，找我救命的时候头都大了。
一般的内容站，一分钟20-30次访问足够了，正常用户哪会一分钟点几十页？对吧。
WAF自动识别封禁
现在云服务商比如阿里云、腾讯云，还有国外的Cloudflare，都有带爬虫防护的WAF，基础版大部分都是免费的，它能自动识别恶意爬虫的特征，自动封IP，不用你天天盯着日志刷。
不过话说回来，免费版的误封率确实不低，你得每周抽十分钟看看拦截日志，把误封的正常IP和蜘蛛放出来，不然怎么死的都不知道。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/b7b8db3a-b621-47f8-94d9-2c72e507cc24.jpg
宝塔面板爬虫IP封禁设置界面
90%的站长踩过的三个坑，你千万别碰
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/2e88e7ad-c810-411a-88da-b2c6f65e74c6.jpg
90%的站长踩过的三个坑，你千万别碰
第一个坑：误封搜索引擎爬虫。
很多人做屏蔽的时候一刀切，只要访问频率高就封，搜索引擎蜘蛛本来就是批量爬你的页面，访问频率本来就比普通用户高，一不小心就被封了。封完你 site 一下，收录一天比一天少，等你发现的时候已经晚了。
解决办法也简单，把搜索引擎官方公布的IP段加到白名单里，花不了你半小时，一劳永逸。
第二个坑：只封单个IP，不封IP段。
大部分恶意爬虫都是从同一个IP段出来的，你今天封一个，明天它换个同段的IP接着爬，你封到猴年马月才能清干净？只要你确认这个段都是恶意爬虫，直接封整个C段，别心软。
第三个坑：从来不开访问日志，出问题找不到源头。
很多站长嫌日志占空间，开两天就关了，结果你发现带宽不对，内容被爬，连对方是什么时候来的、用什么IP爬的都查不到，只能干着急。哪怕你半个月清一次日志，也比完全不开强，出问题至少有迹可循。
对付动态代理池的爬虫，你还可以搭配两个小技巧，一是拦空UA和明显非浏览器的奇怪UA，能直接挡住一半滥爬的爬虫；二是对短时间访问超过阈值的IP弹个简单验证码，正常人点一下就过，爬虫直接歇菜。
我前阵子帮一个做原创网文的小站做防护，之前他每天更新的章节半小时就被竞品扒走，做完规则和验证之后，恶意爬取量直接掉了96%，服务器负载从80%多降到10%不到，站长高兴得直接给我发了个红包。
最后说点实在的，现在做站，不管大小，爬虫IP屏蔽这一步真不能省。你花一两个小时搭好规则，以后每周抽十分钟看一眼，就能给你省几千块的带宽费，保住你辛辛苦苦做的排名，怎么算都不亏。 已经推荐给朋友来看了，好东西就应该一起分享一起学习。 内容干货满满，没有多余废话，对有需要的人来说帮助真的很大。 楼主的经历很有参考价值，给了我很多新的思考方向，非常感谢。 支持理性讨论，反对无脑争吵，楼主带了个很好的头。 非常同意楼主的看法，现实中确实是这样，很多人都忽略了这一点。 楼主态度很认真，回复也很耐心，这样的楼主值得大家支持。 说得很有道理，很多观点都说到点子上了，希望以后能多看到这类帖子。 观点很成熟，分析也很理性，值得大家静下心来认真看一看。 对新手特别友好，解释得很细致，就算零基础也能看懂大半。 内容写得很详细，逻辑也很清晰，对新手来说非常友好，支持一下楼主。 虽然篇幅不长，但句句都是重点，简洁又有深度，非常不错。 讲得很透彻，把复杂的问题简单化，理解起来轻松了很多。 感谢楼主带来这么好的内容，在论坛里能学到东西真的很开心。
页:
[1]