蜘蛛抓取：8年SEO实战攒下的干货和避坑指南
蜘蛛抓取，说穿了就是SEO的地基，地基歪了，你再怎么堆内容做外链都是白搭。我见过太多人，上来就盯着收录PM，连最基础的抓取问题都没搞明白，瞎忙活大半年，啥结果没有。蜘蛛不爬你的新内容，真的是你权重太低？
说实话，我刚做SEO那会也信这个说法，权重低蜘蛛就不爱来，直到我接了第一个企业站的单子才打脸。那个站权重1，一共32个页面，我查了一下，28个页面从来没被蜘蛛碰过。
是权重的问题吗？根本不是。
新手第一个常见坑：新内容全部藏在导航深处，不给蜘蛛留清晰入口
那个客户的新产品页，全放在三级分类下面，首页一点入口都没有，整个站的内链全指向老产品，蜘蛛逛完首页就走了，哪能摸到里面的新页面？
我当时怎么改的？就是加了个首页侧边栏的「最近更新」模块，把12篇新更新的产品页挨个放进去，又在首页底部加了四个**内容的入口。你猜怎么着？
3天之后查GSC，抓取率从原来的27%直接涨到72%，涨了快一倍。就是这么简单。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/eaac798b-cfcf-46f9-b01f-0426249690fd.jpg
谷歌搜索控制台蜘蛛抓取统计截图
【操作路径：Google Search Console -> 指数 -> 抓取 -> 抓取统计信息】
没事就去这里看看，每天的抓取请求数有没有涨。如果你的新内容发出去一周了，这里都没动静，别扯什么权重，先去检查你的入口做对了没有。
说白了，蜘蛛就是个爱逛大街的懒家伙，你得把路铺到他脚底下，他才愿意走进去。
robots.txt随便写写就行？好多人死在这个细节上
你是不是听过不少人说，robots.txt不就是禁个后台吗？随便写两句就行，哪有那么多讲究？
去年我接了一个淘客站的单子，老板说我做了三个月，一百二十多篇文章，才收录12篇，是不是我域名不行？是不是我权重不够？
我打开他站的robots.txt一看，差点笑出来。他把分类目录全禁了！得，蜘蛛连门都找不到，收录个鬼啊。
新手第二个常见坑：乱配置robots.txt，要么错禁了内容，要么浪费了抓取配额
你别笑，这种错误真的一抓一大把。有的把tag页面禁了，说怕权重分散，那都是十年前的老黄历了。还有的用自动生成工具，默认把上传图片的目录禁了，你图片都不让蜘蛛爬，还想拿图片搜索的流量？做梦吧。
不过话说回来，该禁的你不禁也不行。搜索引擎给每个站都分配了抓取配额，说白了就是每天给你多少爬取次数，用完拉倒。
我之前在那个日活千万的内容平台做优化，之前就是没禁站内搜索结果页，蜘蛛每天八十万的请求全浪费在动态搜索结果上，不仅服务器卡得要死，真正的文章内容反而没配额爬。后来我们把所有动态搜索页、无内容的归档分页全禁了，你猜数据涨了多少？
有效内容的抓取率直接涨了31%，三个月后总收录量涨了47%，自然搜索流量涨了28%。全是实打实测出来的数据，没有一点水分。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/58c5bfcd-e73d-4c4f-9a46-ac6bc7fb15ec.jpg
正确配置SEO robots.txt规则示例图
你听我一句劝，今天看完这篇就去检查你的robots.txt，没用的分页、搜索页、重复内容的归档页全禁了，把额度留给你的新内容和核心内容，比你发十篇外链有用多了。
蜘蛛爬了却不收录，全是抓取的锅？
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/7afe5faa-753a-4416-86c0-ae5b36d01bc3.jpg
蜘蛛爬了却不收录，全是抓取的锅？
你肯定遇到过这种情况，明明GSC显示蜘蛛已经爬过这个页面了，就是不收录，气死个人对不对？
好多人第一反应就是我抓取不够，得引蜘蛛，买蜘蛛池，去论坛发外链引，忙乎半天，该不收录还是不收录。
新手第三个常见坑：爬了不收录全赖抓取，从来不看页面本身的问题
我告诉你，蜘蛛爬你页面，不代表他就必须收录啊。就像你去逛服装店，进去逛了一圈，全是丑衣服，你会买吗？一个道理。
蜘蛛抓完回去分析，你的内容跟网上已有内容重复度超过八成，或者翻完整页都没说清楚一个问题，他凭啥给你收录？
之前有个粉丝找我，做垂直健身博客的，一天发三篇，全是改别人的内容，蜘蛛天天来爬，就是不收录。后来我让他停更半个月，把三百多篇垃圾内容全删了，只留二十篇自己写的干货，半个月后，二十篇收录了十七篇，现在每个月自然流量都有大几千。
还有个很多人忽略的点，就是页面打开速度。我自己拿两百多个页面做过A/B测试，页面打开时间超过3秒，蜘蛛抓取成功的概率直接降42%，超过5秒，直接降68%。
蜘蛛爬你页面，等了五秒还没加载完，人直接走了，当然抓不到完整内容，当然不会收录啊。别总怪蜘蛛不近人情，先看看你自己的服务器和图片压缩做对了没有。
其实吧，做SEO这么多年，我最深刻的感受就是，蜘蛛抓取真不是什么高深莫测的技术，全是细节。你把这三个坑避开了，比你瞎买什么快排外链有用多了。
新站别着急一口吃成胖子，一天发个两三篇，保证蜘蛛都爬完了再更，配额涨得快，收录率还高，我测试过，比一次性更几百篇的收录率高50%都不止。
慢慢来，把地基打牢，比什么都强。 不仅内容好，语气也很温和，这样的交流氛围真的很不错。 不管是内容还是排版都很用心，看得出来楼主花了不少时间，必须支持。 这个话题确实很值得讨论，我也有类似的经历，非常认同楼主的观点。 之前一直半知半解，看了你的解释一下子就明白了，讲得通俗易懂。 讨论氛围很好，大家都在理性交流，这样的论坛环境太舒服了。 这样的优质帖子越多越好，希望论坛能多一些这样真诚的交流。 虽然有些地方不太懂，但整体看完还是收获很多，慢慢消化一下。 虽然篇幅不长，但句句都是重点，简洁又有深度，非常不错。
页:
[1]