我用了7年Screaming Frog，才发现90%的SEO都用错了
听过Screaming Frog，却从来没摸透过它全部功能？实话说我刚入行做SEO那会，用了大半年，只把它当成个生成sitemap的工具。
直到后来整日活千万的内容站，被逼着挖流量，才发现这玩意儿简直是白菜价的核弹。
你真的知道Screaming Frog能给你带多少增量流量？
别只把它当个爬url的工具好不好？
去年给一个客户的独立站做优化，整站爬完一遍，直接找出1200多个没加alt标签的产品图。改完符合搜索要求之后，30天内谷歌图片搜索流量直接涨了47%。换别的工具，你要一个个找，得找到猴年马月？
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/be1f11d7-463d-4c3b-bd5e-9451032a53b5.jpg
Screaming Frog全站抓取结果界面截图
还有老站改版，最怕的就是一堆死链漏改对吧？
上个月接了一个掉流量的老站，算法更新后掉了快三分之一。爬完全站直接筛状态码，一下找出240多个404页面，其中17个原来都是带外链权重的老博客入口。做完301跳转清理内链之后，2周核心关键词PM回升12位，自然流量涨了21%。
说白了，这工具就是给SEO扫雷用的。省下来的时间，你多写两篇文章不香？
三个新手踩烂的坑，我当年自己踩过两个
你是不是爬站从来不改默认的并发设置？
坑1：默认并发不调整，爬一万个url等一下午。很多新手下载完工具，打开就直接爬，根本不知道改设置。默认的并发数值低得可怜，稍微大点的站，爬半天都出不来结果，还吐槽工具慢。
【操作路径：Configuration -> Speed -> Default Parallel Requests】
我一般直接拉到100，只要不是服务器太烂的站，一万个url10分钟就爬完了。
你是不是从来都是全量爬站，不做任何排除？
坑2：全量爬站不排除垃圾url，占满配额数据还乱。尤其是做电商的，一堆筛选页、分页、搜索结果页，这些页你根本不打算收录，爬它干嘛？免费版本来就只有500条配额，全给这些垃圾页占了，你真正要找的内容页反而出不来。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/51706167-b80b-4a1d-9ed9-38f10c057f4a.jpg
Screaming Frog正则排除url设置界面
我现在爬任何站，第一时间先加正则排除规则，把所有不打算收录的垃圾url全挡在外头。爬得快，数据干净，分析起来省一半时间。
你是不是找到死链之后，只提交搜索引擎就完事了？
坑3：只提交死链不清理站内内链，白忙活一场。我专门做过A/B测试，同一个站100个死链，只提交搜索引擎删除的站，30天跳出率涨了8%，搜索CTR掉了3.2%；把站内所有指向死链的内链全删掉或者改了的站，跳出率反而降了4%，PM还涨了两个位置。
说白了，不管是搜索引擎还是用户，都讨厌点一下就进404。你留着那些内链不删，不就是给别人添堵吗？
我私藏的两个野路子，一般人我不说
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/5733f8bf-707b-4e26-acfd-ca781954e539.jpg
我私藏的两个野路子，一般人我不说
想不想不用买高价工具就能挖竞品的长尾词库？
太简单了。找竞品的全站sitemap，或者他们的博客归档页，用Screaming Frog爬一遍，直接把所有url、页面标题、描述一块导出来。这就是人家做了好几年攒出来的长尾词库啊！直接拿来筛选低难度的词，放到自己站里用，省了你好几年的挖词时间。我上个月给一个新站用这个方法，挖出来1200多个低难度长尾，上线两个月，50多个词排到谷歌前10，自然流量直接破万。
想快速解决站内关键词互抢PM的问题？
爬一遍全站，把所有页面标题导出来，搜你要查的核心词，一下就能找出两个甚至多个页面抢同一个关键词的问题。要么合并内容，要么改其中一个的标题定位，很快就能解决PM上不去的问题。之前我帮一个老站解决这个问题，改完之后核心关键词直接从第8名升到第2名，流量翻了一倍还多。
不过话说回来，这工具也不是**的。付费版一年小几百块，对于新手来说可能有点肉疼。但是你算笔账，帮你多找出来几百个流量，多赚的钱早就覆盖成本了对吧？
你听我一句劝，别用那些乱七八糟的在线爬站工具，不仅限额度，数据还不全，搞不好还把你站的信息泄露出去。装个Screaming Frog在自己电脑，想爬就爬，香得很。 不仅内容好，语气也很温和，这样的交流氛围真的很不错。 讨论氛围很好，大家都在理性交流，这样的论坛环境太舒服了。 很多点我之前都没想到，楼主一提醒才恍然大悟，收获很大。 楼主考虑得很全面，不仅讲了方法，还提到了注意事项，非常贴心。 之前一直半知半解，看了你的解释一下子就明白了，讲得通俗易懂。 对这个话题有了更全面的认识，不再只停留在表面理解。 看完感觉打开了新思路，以后遇到类似情况知道该怎么处理了。 很多细节都考虑到了，看得出来是真正懂行的人在认真分享。 看完之后深有感触，有些话真的说到心坎里了，很有共鸣。 看完楼主的分享感觉很有收获，感谢这么用心的整理，学到很多新知识。 经验很宝贵，尤其是亲身实践过的总结，比网上随便找的靠谱多了。 帖子内容很扎实，不浮夸不炒作，真正有用的信息都在里面。 没想到还有这么多细节，之前一直没注意到，感谢楼主提醒和科普。 希望楼主常来发帖，持续输出优质内容，我们都会一直支持你。 逻辑严谨，条理分明，一看就是经过认真思考和整理的内容。 感谢楼主愿意花时间分享，让我们这些后来者能少踩很多坑。
页:
[1]
2