爬虫抓取：站长必须踩了才懂的规则与实战技巧
很多新手站长刚上线查site域名，一看收录才个位数，急得掉头发。开口就问：为啥搜索引擎爬虫不来爬我的站？做了快十年站，大大小小的站做过十几个，爬虫抓取的坑我踩了没有一百也有八十。今天就把这些掏出来给大家看看。
别搞混：爬虫抓取和收录根本不是一回事
很多刚入行的朋友第一误区就是把抓取和收录绑在一起。
说白了，爬虫抓取就是搜索引擎派机器人到你网站，把页面内容拷贝一份带回它自己的服务器。收录呢，是它审核过后觉得你这内容合格，放进索引库，用户能搜索到。
也就是说，被抓取不代表一定会收录，但你要收录，必须先被抓取。没有抓取，一切都免谈。对吧？
你说你内容写的再好，搜索引擎连看都没看过，怎么可能给你流量？
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/bf380cf0-868d-4b5b-af91-3bb0f09d9df3.jpg
搜索引擎爬虫抓取网站完整流程示意图
很多新手上来就问"我的站为啥不收录"，第一步就得先去看，爬虫到底来没来过。各大搜索引擎的站长平台都能看抓取日志，一查就清楚了。别上来瞎忙活。
毁掉爬虫抓取的三个常见坑，我全踩过
说实话，大部分站点抓取差，不是什么权重不够的问题，就是基础配置错了。我刚做第二个站的时候，半个月抓取量为零，差点把服务器给砸了，最后发现就是个低级错误。
第一个坑：robots.txt配置写错。
我当年抄同行的robots，没改规则，直接把整站都Disallow了。合着我直接把爬虫拦在大门外，人家当然进不来。哦对，不止这个，还有很多人禁掉了网站的CSS、JS静态资源，现在搜索引擎爬虫必须解析这些资源判断你网站的布局和安全性，你禁了它，它根本不敢轻易收录你的页面，自然也不会频繁来爬。
第二个坑：服务器稳定性太差。
别贪便宜买那种几十块钱一年的杂牌子虚拟主机。爬虫又不是你自己，打不开就刷新，人家爬你页面超时个两三次，直接给你打个"不稳定"标签，半个月都不会再来第二次。我之前做测试，把一个站的服务器平均响应从600ms优化到120ms，一周内百度的日均抓取量直接翻了3.2倍，这就是实打实的效果。
第三个坑：网站内链乱，死链多。
爬虫是顺着链接爬的，你整个网站全是孤立页面，导航都做的乱七八糟，爬虫进来转一圈找不到别的页面，爬完首页就走了，哪来的抓取量？更别说那种改版之后一堆死链，爬虫爬一个是404，爬十个八个错，谁愿意来？
哦对，还有那种翻页全是js加载，不做锚点内链的，爬虫根本找不到下一页，也白搭。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/b10a5d36-91be-49c6-9269-61ff42105ca2.jpg
错误禁止爬虫整站抓取的robots配置示例
提升爬虫抓取效率的实战技巧，亲测有效
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/31aa7765-1528-48c1-894d-8cc90ac5330d.jpg
提升爬虫抓取效率的实战技巧，亲测有效
解决了坑，再来说说怎么主动提升抓取。这些不是我瞎编的，都是我跑过数据测出来的。
首先，新站一定要主动提交链接。别等着爬虫自己找上门，现在中文站几百万个，凭啥先爬你的？百度搜索资源平台、谷歌搜索控制台都有主动推送接口，新站前三个月，每天更新完内容就推一次，再加上 sitemap 放在根目录，提交到站长平台，抓取速度比坐等快至少一倍。
然后，学会给爬虫分配抓取配额。
很多人网站做大了，内容过万甚至十万，搜索引擎给你的抓取配额是有限的，不是想爬多少就爬多少。那些没用的页面，比如标签归档页、作者汇总页、筛选参数生成的重复页面，直接在robots里禁掉，把配额留给你需要收录的文章、产品页。
我之前做过一个电商站，之前因为商品筛选生成了十几万个重复动态页，爬虫每天百分之八十的配额都耗在这些垃圾页面上，正经的三百个产品页，半个月才爬完一半。禁掉之后，一周就全部爬完收录，流量直接涨了四倍。
还有，服务器一定要做静态缓存。
不管你是用PHP还是Java做的站，把常访问的页面做成静态缓存存在服务器里，爬虫一来一秒就能拿到内容，响应越快，爬虫单位时间能爬的页面就越多，自然愿意常来。别让爬虫每次访问都等你查数据库算半天，谁耗得起？
最后，每周抽十分钟看一下抓取日志。
各大站长平台都能看抓取的返回状态码，看看有没有大量的4xx、5xx错误，有就赶紧改。我之前有个站改版，漏改了几个栏目页的301，半个月出了两百多个404，抓取量直接掉了七成，改完之后不到一周就恢复了。
说实话，爬虫抓取这事儿，真没什么玄乎的。本质就是你给搜索引擎提供方便，它就给你面子。你把基础配置做好，别给爬虫添堵，抓取量自然不会差。太多人做站，把精力全花在搞快排、买外链上，最基础的抓取都没做好，内容写的再好，搜索引擎看不到，有啥用呢？ 没想到还有这么多细节，之前一直没注意到，感谢楼主提醒和科普。 支持楼主继续更新，这么好的内容值得让更多人看到和学习。 很多点我之前都没想到，楼主一提醒才恍然大悟，收获很大。 对这个话题有了更全面的认识，不再只停留在表面理解。 内容干货满满，没有多余废话，对有需要的人来说帮助真的很大。 内容全面又细致，几乎把相关问题都覆盖到了，非常用心。 看完很有启发，也引发了我不少思考，有空也想分享下自己的看法。 看完楼主的分享感觉很有收获，感谢这么用心的整理，学到很多新知识。 观点很新颖，角度也很独特，打破了我之前的固有认知，很有启发。 已经推荐给朋友来看了，好东西就应该一起分享一起学习。 讨论氛围很好，大家都在理性交流，这样的论坛环境太舒服了。 楼主分析得很到位，很多地方都很实用，已经默默收藏起来慢慢看。 内容写得很详细，逻辑也很清晰，对新手来说非常友好，支持一下楼主。 支持理性讨论，反对无脑争吵，楼主带了个很好的头。 感谢楼主愿意花时间分享，让我们这些后来者能少踩很多坑。 之前一直半知半解，看了你的解释一下子就明白了，讲得通俗易懂。 看完感觉打开了新思路，以后遇到类似情况知道该怎么处理了。 帖子内容很扎实，不浮夸不炒作，真正有用的信息都在里面。
页:
[1]
2