Screaming Frog用了8年：别再只拿它爬死链了
你是不是打开Screaming Frog，爬完站点导个死链列表就关了？真的，我见过至少80%的SEO新手，把这个工具用成了死链检测插件。爬一遍，扫出404，发给开发，完事。甚至有人连免费版的500个页面额度都用不完，就骂这工具垃圾。
我干SEO这8年，被谷歌算法毒打过三回，操盘过日活120万的内容站，Screaming Frog的年付授权我续了7年，一次都没断过。说句掏心窝子的话，这工具玩透了，比你买10个几千块的AI SEO工具都有用。
别被“免费版只能爬500个页面”的鬼话骗了
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/1dc340b4-90f4-4b51-a471-ce38ed112939.jpg
别被“免费版只能爬500个页面”的鬼话骗了
很多人刚打开Screaming Frog，看到弹出的“免费版最多爬取500个URL”的提示，直接就关了，或者咬咬牙花199英镑买年付。
是不是傻？
免费版的500个限制，是针对单次爬取的。你完全可以把站点拆成N个小列表，每个列表控制在400个页面以内，分批次爬，爬完导出的结果合并到一个表格里，和付费版爬出来的结果没任何区别。
操作路径：Screaming Frog顶部栏 -> Mode -> List Mode -> 粘贴拆分后的页面URL列表
我之前给一个做美妆内容的站点做优化，他们有12万篇历史文章，团队的新手直接开全站爬，爬了2小时内存崩了，转头就说要付费版。我让他按一级目录拆成240个小列表，每个列表400多个URL，用免费版爬了3天，把所有只有2-3篇内容的低质量tag页全部筛了出来，一共1.8万个。
直接给这些页面加了noindex，两周之后，站点的跳出率降了18%，自然搜索流量涨了22%。你看，一分钱没花，就把之前拖权重的垃圾页面清干净了。
你天天调meta title，却不知道Screaming Frog能一键找“白捡的CTR”
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/17c12e23-e8b5-4bdb-88aa-6ff1f55c1be4.jpg
你天天调meta title，却不知道Screaming Frog能一键找“白捡的CTR”
很多人调title，都是凭感觉。或者从GSC里导一堆数据，手动筛半天，找排名高但是CTR低的页面。
累不累？
Screaming Frog直接能绑定你的GSC账号，爬完站点之后，所有页面的排名、曝光、CTR数据直接同步过来，连导出都不用。
操作路径：Screaming Frog顶部栏 -> Configuration -> API Access -> Google Search Console -> 授权绑定
绑完之后，进入Performance标签页，直接筛选两个条件：排名在4-15位，CTR低于1%。
这些页面是什么？是谷歌已经认可你内容的相关性，给了你不错的排名，只是你的title和description不够吸引人，用户不想点。
去年给一个家居电商站做优化，我筛出来1200个符合这个条件的页面。比如有个页面排名第7，关键词是“乳胶枕怎么选”，原来的title是“乳胶枕怎么选”，我改成了“乳胶枕怎么选？实测12款睡了3个月的真实感受”，就改了个title，这个页面的CTR从0.7%涨到了4.2%。
整个站点改完这1200个title之后，平均CTR从0.8%涨到了3.2%，自然流量直接涨了47%。没有写一篇新内容，没有发一条外链，就靠改title，白捡了快一半的流量。
那些SEO博主不会告诉你的3个Screaming Frog暗坑
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/f4551d90-460a-4861-8188-4e368d1106cd.jpg
那些SEO博主不会告诉你的3个Screaming Frog暗坑
我刚入行的时候，用这个工具踩过的坑，能绕当时的办公室三圈。今天把最容易社死的三个坑说出来，你们别再踩了。
第一个坑：爬站点的时候，不排除后台、登录页这些非公开页面。
我第一次爬公司站点的时候，直接开全站爬，结果把wp-admin下的200多个只有我自己能看到的死链，全部导出来发给了开发。开发小哥追着我骂了三条街——人家根本不需要处理这些只有内部能访问的页面。
避坑操作：Screaming Frog顶部栏 -> Configuration -> Robots.txt -> 勾选“Respect robots.txt”，再在Exclude tab加排除规则：*admin*、*login*、*wp-admin*
第二个坑：导完HTML报告，直接把“Internal All”的页面总数报给老板。
上次见一个同行给老板汇报，说站点有12万个收录页面，结果老板去GSC一查，实际收录的只有2.1万个。为什么？因为他把所有加了noindex的页面、草稿页、重复的分页全部算进去了。
记住，你要给老板报的页面总数，是“Internal HTML”标签下，没有noindex属性的页面数量，别拿总数瞎吹，到时候被拆穿，脸都丢尽了。
第三个坑：做站点迁移测试的时候，不开JS渲染。
去年有个客户找我，说他的站点迁移完，爬出来的页面全是空的，以为迁移坏了，花了几万块找开发排查了一周。我打开Screaming Frog一看，他根本没开JS渲染模式，爬的都是源码里的空壳，实际页面渲染之后什么内容都有。
避坑操作：Screaming Frog顶部栏 -> Configuration -> Spider -> Rendering -> 选择“JavaScript”
对了，还有个没人说的小技巧。你爬完站点之后，导出External Links标签，能找到所有指向你站点的外链。把那些赌博、色情、垃圾内容的外链全部筛出来，提交到谷歌的拒绝外链工具，3个月之后你再看，站点的权重稳得一批。
别总想着找什么新出的、高大上的SEO工具。
把Screaming Frog这一个工具玩透。
够你吃好几年的红利。 说得很客观中立，没有偏激言论，理性讨论就该是这个样子。 很多点我之前都没想到，楼主一提醒才恍然大悟，收获很大。 很多细节都考虑到了，看得出来是真正懂行的人在认真分享。 这样的优质帖子越多越好，希望论坛能多一些这样真诚的交流。 每一条都很实用，已经记下来了，以后遇到类似问题就能用上。 不仅内容好，语气也很温和，这样的交流氛围真的很不错。
页:
[1]