老SEO掏心窝说：Screaming Frog真不是只会爬链接的破工具
很多人刚接触SEO，搜完工具清单，第一个看到的就是Screaming Frog。但十个新手九个用错。
说白了，你要是只拿它找死链，简直是暴殄天物。
谁告诉你Screaming Frog只能找死链的？
我早年刚入行的时候，也这么傻。用了大半年，除了找404，根本没碰过别的功能。
直到第一次给一个垂直电商站做诊断，老板说自然流量涨不上去，找了三个团队都没查出问题。
我抱着试试的心态，用Screaming Frog爬了整站，导出所有页面的title和H1，一筛重复值——嚯，127个分类页的title一模一样，全是“品牌产品”。
改完所有重复元数据，30天之后看谷歌搜索控制台，自然流量涨了42%，平均CTR提了18%。
就花了10分钟找问题。你说香不香。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/0362c958-1ab6-4c9a-8817-28d18a50b438.jpg
Screaming Frog导出页面标题重复报告界面
说白了，90%的中小站长，根本不会定期查自己站的元数据重复问题。这都是搜索引擎最喜欢扣排名的点，也是送分题。
你听我一句劝，哪怕半个月爬一次，筛一遍重复title和H1，改完就能涨流量。
第一个新手必死的坑我先放这：爬大站之前不调请求速度，直接开爬把服务器干宕机。
我刚干这行第二年，爬一个日活几十万的个人博客，默认10请求每秒，十分钟不到，人家虚拟主机直接宕机，我赔了三个月主机费。真的肉疼。
正确操作记好：
【操作路径：Screaming Frog -> 配置 -> 爬虫 -> 最大请求数/秒 -> 改成小于等于2】
大站还得再调低，别嫌慢，总比赔老板钱强对吧。
你居然不知道Screaming Frog能挖对手的精准长尾？
是不是买了付费版，一年到头只爬自己的站？
说实话，我现在做任何新项目，三分之一的有效长尾词，都是用Screaming Frog从对手站挖的。比那些一年收我好几千的关键词工具准多了。
为什么？因为对手已经把能排名的词都写出来了啊，你直接拿过来优化就行，省了多少挖词的功夫。
怎么操作？直接输入对手整站域名开爬，爬完点侧边栏页面 -> 标题 -> 筛选包含长尾常用词（比如“怎么”“推荐”“2024”“best”“how to”），直接导出，全是能拿流量的好词。
去年我给一个家居站做内容规划，这么挖出来216个长尾，上线三个月，带了19000多自然搜索流量，转化还比泛词高30%。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/4b62e50b-87d9-499e-98f7-7c75040947e8.jpg
Screaming Frog筛选对手长尾关键词操作界面
第二个新手常踩的坑来了：爬对手不换UA不开代理，没爬完IP就被封了。还有人不知道过滤标签页、归档页，导出一堆垃圾词，白忙一下午。
不过话说回来，免费版最多爬500个URL，挖对手长尾、做小站诊断完全够用。要是你站点超过500页，咬咬牙买个年费也就一百多英镑，用个三五年都不涨价，真的不贵。
还有三个没人说的坑，踩一个浪费你半天时间
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/42290ca0-5493-4b43-b112-8a70c0f6ecdb.jpg
还有三个没人说的坑，踩一个浪费你半天时间
刚才说了一个，这里再补两个，凑齐三个，都是我踩过的血泪教训。
第一个补充的，爬站默认带了所有资源文件，CSS、JS、图片全爬，你知道占多少内存吗？我之前爬一个一万两千URL的资讯站，开了默认设置，16G内存直接干满，电脑卡了四十分钟，最后只能强制关机，爬了一下午的进度全没了。
你听我一句劝，爬站之前先把不需要的文件类型排除掉。
【操作路径：Screaming Frog -> 配置 -> 排除 -> 文件类型 -> 去掉css, js, jpg, png这些非页面资源的勾选】
就这一步，爬站速度快三倍，内存占用少70%，我拿不同的站测过五次，次次都灵。
第二个，爬完导出数据就直接关软件，从来不保存抓取项目文件。
我之前带的一个徒弟，给客户爬了两万多URL，忙活一下午，导出完Excel直接关了软件。结果客户第二天说要再查一遍H2的重复情况，他只能重新爬，又花一下午，还被客户骂效率低，丢了后续的单子。
说白了，爬完存个项目文件，也就几MB的大小，下次打开直接看数据，不用重新爬，这个小习惯真的能救你半条命。
哦对了，还有个我A/B测试过的冷门玩法，分享给你。你用Screaming Frog爬完全站的图片，导出所有图片的alt属性，我上次给那个电商站查，68%的产品图alt是空的，我让运营全填上带关键词的描述，一个月之后，谷歌图片搜索的流量涨了76%。全是免费的流量，谁做谁拿。
现在很多人追新，什么AI SEO工具，一个月大几百订阅，其实最实用的还是这些老牌工具。Screaming Frog更了十几年，谷歌算法更新了无数轮，它还是绝大多数老SEO的桌面必备，不是没道理的。
别瞎折腾那些花里胡哨的，把这个工具玩透，一半的SEO基础问题你自己就能解决。 支持楼主继续更新，这么好的内容值得让更多人看到和学习。 楼主考虑得很全面，不仅讲了方法，还提到了注意事项，非常贴心。 这样的优质帖子越多越好，希望论坛能多一些这样真诚的交流。 支持理性讨论，反对无脑争吵，楼主带了个很好的头。 希望楼主常来发帖，持续输出优质内容，我们都会一直支持你。 对新手特别友好，解释得很细致，就算零基础也能看懂大半。 之前一直半知半解，看了你的解释一下子就明白了，讲得通俗易懂。 这个问题困扰我很久了，看了你的帖子终于有思路了，非常感谢。 思路很清晰，步骤也很详细，跟着操作应该不会出什么问题。 看完很有启发，也引发了我不少思考，有空也想分享下自己的看法。 经验很宝贵，尤其是亲身实践过的总结，比网上随便找的靠谱多了。 很多建议都很接地气，能直接用在生活或工作中，实用性很强。
页:
[1]