网站防爬虫封禁：老站长踩坑总结的实战干货
开站第八年，被恶意爬虫拖垮三次服务器，也封过数不清的爬虫，见过各种奇葩的爬法。有刚入行的新手找我要方案，说自己小站刚做起来，天天被爬，服务器流量超了扣钱，原创内容第二天就被人抄走，问我怎么办。先捋明白：哪些爬虫才值得你封禁？
不是所有爬虫都要拦对吧？百度、谷歌、必应这些搜索引擎爬虫，你拦了等于自断排名，我早年干过这种蠢事，把百度爬虫的UA不小心写到拦截规则里，半个月流量掉了七成，花了三个多月才慢慢拉回来，想起来就肉疼。
需要你动手封的，只有三种：第一种，偷数据的竞品爬虫，要么爬你全量商品，要么抄你原创内容，全是损人利己的玩意。第二种，耗资源的垃圾爬虫，不管有用没用先爬一遍，一秒发十几个请求，小站的低配服务器直接就能被拖宕机，月底流量超了还得给服务商交额外的钱，纯纯冤大头。第三种，扫漏洞的恶意爬虫，天天扫你的后台登录地址、扫插件漏洞，说白了就是想找机会黑站，这种必须往死里封。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/2ce7f81a-a612-4596-820f-e10ad0710e91.jpg
网站服务器恶意爬虫访问请求日志截图
从免费到付费，不同规模站点能用的封禁方案
很多新手一上来就听人说买高级WAF，一年大几千，小站本来还没盈利，哪经得起这么造？说实话，百分之九十的中小站，用免费或者低成本的方案就足够了。
第一层，免费的robots.txt+UA拦截，百分之八十的新手爬虫、业余爬虫根本不会绕UA，你直接把常见的爬虫UA，比如python-requests、scrapy、curl这些全写进禁止规则，就能挡掉一大半，五分钟就能配置完，零成本。不过话说回来，这个方法防不了老手，人改个UA就进来了，那就上第二层。
第二层，单IP访问频率限制，不管你用的Nginx还是Apache，自带的功能就能配，不用额外花钱。我自己的规则是单个IP一分钟请求超过30次直接返回403，正常人一分钟哪点得了30个页面？对不对？这里一定要提醒你，一定要把主流搜索引擎的IP段和UA加白名单，别像我早年一样误拦了百度，哭都没地方哭。
第三层，想要防住换代理的爬虫，就加行为校验+验证码，短时间内连续访问多个不同页面、没有加载任何静态资源就继续请求的，直接弹验证码，普通爬虫根本过不了。很多免费的验证码服务就能用，不用花钱。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/1dc0e741-3769-4bf2-83e7-c54c3be0805e.jpg
Nginx配置网站爬虫访问频率限制代码截图
进阶点的玩法可以搞蜜罐，就是在页面里放一个隐藏的链接，正常用户看不见也点不到，爬虫会顺着链接爬进去，只要爬了这个链接，直接把IP标记拉黑，这个方法真的绝，我用了之后又拦了百分之十五左右的爬虫，完全不影响正常用户体验，强推。
如果站点流量上来了，有稳定收入了，再考虑开通云服务商的付费防爬WAF，大部分都自带爬虫识别功能，不用你自己天天维护规则，省不少精力。
这些坑我踩过，你别再跳进来
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/12b3aa72-6209-40df-b974-94aae33798f3.jpg
这些坑我踩过，你别再跳进来
防爬这么多年，踩的坑比吃的米还多，挑几个最常见的说。
第一个坑，误封正常用户和搜索引擎爬虫，这个是最亏的，封了爬虫没怎么样，把百度拦了，流量掉半，把正常用户拦了，人再也不来了。所以任何规则上线之前，一定要先测试，一定要单独给主流搜索引擎做白名单，别偷懒。
第二个坑，只封IP，应对不了代理池爬虫。现在很多爬虫都是用动态代理池，换IP比换衣服还快，你封一个IP根本没用。那怎么办？你可以结合Cookie、请求头特征来拦截，同一个Cookie短时间请求过多，哪怕IP不一样也拦；还有，正常浏览器的请求头是有固定顺序的，爬虫生成的请求头顺序大多是乱的，这个特征就能筛出来一大半，对吧？
第三个坑，过度防爬，影响用户体验。我见过不少站点，正常人刚进去点两个页面就弹验证码，要么就是动不动就403，换谁受得了？我直接就关页面走了，再也不会来。防爬的目的是保护网站，不是把正常用户挡在门外，一定要把握度，只拦异常请求，别折腾正常人。
哦对，还有一个很损但是很好用的招，针对那种天天抄你内容的爬虫，你可以放一点假数据进去，比如给他返回带错误关键词的内容，他直接采集走，用不了多久他的站就会被搜索引擎降权，比你天天封他IP管用多了。我之前就这么干过，有个小站天天蹲点爬我原创，我放了几次带错误关键词的假内容，不到一个月，那个站就没排名了，再也没来爬过，解气得很。
防爬虫本来就是道高一丈魔高一丈的事，没有一劳永逸的方案，你隔半个月翻一下服务器的访问日志，看看有没有新的异常请求，更新一下规则就够了，不用太焦虑。 之前一直半知半解，看了你的解释一下子就明白了，讲得通俗易懂。 楼主的经历很有参考价值，给了我很多新的思考方向，非常感谢。 非常同意楼主的看法，现实中确实是这样，很多人都忽略了这一点。 内容真实不做作，没有多余套路，都是实实在在的经验之谈。 思路很清晰，步骤也很详细，跟着操作应该不会出什么问题。 内容干货满满，没有多余废话，对有需要的人来说帮助真的很大。 楼主分析得很到位，很多地方都很实用，已经默默收藏起来慢慢看。 说得很客观中立，没有偏激言论，理性讨论就该是这个样子。 不管是内容还是排版都很用心，看得出来楼主花了不少时间，必须支持。 看完楼主的分享感觉很有收获，感谢这么用心的整理，学到很多新知识。 非常有建设性的意见，对解决实际问题有很大的参考意义。
帖子内容很扎实，不浮夸不炒作，真正有用的信息都在里面。 说得很有道理，很多观点都说到点子上了，希望以后能多看到这类帖子。 很多建议都很接地气，能直接用在生活或工作中，实用性很强。 支持楼主继续更新，这么好的内容值得让更多人看到和学习。
页:
[1]