Screaming Frog实战：8年SEO摸出来的野路子和血泪坑
用过Screaming Frog吗？很多SEO入行第一天就被安利这个工具，90%的人用了三五年，还只会拿它查查死链。真的太暴殄天物了。谁再说Screaming Frog只能查死链我跟谁急
你爬一次自己的全站，能挖出多少你根本不知道的问题？早年我给那个日活千万的内容平台换域名，全靠Screaming Frog批量匹配旧URL到新URL。比我之前用的在线工具快了92%的时间不说，还把原来12%漏跳转的断链全部找了出来，保住了原站70%以上的权重，换域名没掉多少流量，甲方老板直接给我发了个大红包。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/6fceba71-0e04-42f5-89ad-7550b290cdea.jpg
Screaming Frog SEO蜘蛛抓取主界面截图
说实话，新手第一个踩烂的坑我先给你摆出来。爬站不限制域名，上来直接点开始。我刚学SEO那会第一次爬站，没勾同域限制，结果把站里所有站外外链全爬了，一下跑出十几万条数据，软件直接卡死机。等了俩小时好不容易动了，我不小心关了窗口，数据全没了。那叫一个懊恼。
给你记好操作路径：
【操作路径：Configuration -> Domain Restrictions -> 勾选Include only subdomains of -> 输入你的目标域名】
就这一步，能帮你少卡90%的bug。
Screaming Frog 提CTR的野路子你试过没？
是不是天天改title改meta，关键词排名上去了，CTR就是上不来？其实吧，90%的问题出在你的title要么太长被截断，要么全站撞了N个重复标题。我之前帮一个美妆垂直站做优化，用Screaming Frog批量拉了全站所有title，筛出来1300多个超过谷歌显示字数的title，还有400多组重复标题，改完一个月，核心词平均CTR从12%涨到20.7%，涨了快18%，自然流量直接涨了21%，就改了几个title，啥内容没加，离谱吧？
第二个新手坑来了。很多人爬完全站，直接导出所有数据，打开Excel自己筛重复标题。纯纯出力不讨好。Screaming Frog自带过滤重复的功能啊，你手动筛一下午，人家点两下就出结果。
操作路径给你放这：
【操作路径：进入Overview -> Page Titles -> 顶部Filter选择Duplicate -> 直接导出重复列表】
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/8038c726-b1a4-4c26-b478-3dd41c5e169c.jpg
Screaming Frog 重复标题过滤操作界面
说白了，这个功能不止找重复title，找重复描述、重复H1都能用，一工具多用，省下来的时间喝奶茶不好吗？
官方不会说的隐藏用法：爬对手站挖流量密码
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/a39c5410-57ee-4a18-af67-b054162a0c0b.jpg
官方不会说的隐藏用法：爬对手站挖流量密码
你真的只拿Screaming Frog爬自己的站吗？爬对手站不要太香啊。去年我帮一个做户外露营装备的客户做竞争分析，头牌对手的核心词排名全在我们前面，就是摸不透人家为什么排名稳。我直接拿Screaming Frog爬了对手全站，扒完所有内链数据就懂了：对手把80%的全站内链权重，都导去了高转化的爆款产品页，而我们那时候还在把一半内链导去无关的博客页。照着调整完内链结构，三个月后，客户核心关键词平均排名涨了12位，自然流量涨了47%，转化率涨了12个点。就这么简单。
第三个新手坑，我敢说80%的新手都踩过。爬对手站开拉满线程，刚爬几百条就被封IP。我早年刚玩这个的时候，为了快点爬完对手十万条URL，直接把线程开到了100，结果不到10分钟，我IP就被对方服务器封了，折腾了半天才换好IP重新爬，耽误了大半天的时间。
你听我一句劝，爬站别贪快，把线程调到10以内，请求间隔加个0.5秒，慢慢爬根本没人拦你，又不是搞恶意攻击，低调点总没错。
不过话说回来，很多人纠结买不买付费版。其实吧，小站500条URL以内，免费版完全够用。没必要上来就冲年度授权，我见过太多人买了一年，就爬了两次站，钱全打水漂。先拿免费版试，够不够用自己心里就有数了。
还有个我最近才发现的小技巧，每次算法大更完，我都会用Screaming Frog爬一遍自己的站，看看有没有哪里不小心加了noindex，或者批量加了错误的nofollow，之前一次算法更完，客户站掉了一半排名，爬完才发现，新上线的主题默认给所有文章页加了nofollow，改完两周排名就全回来了，真的救大命。 感谢楼主带来这么好的内容，在论坛里能学到东西真的很开心。 不管是内容还是排版都很用心，看得出来楼主花了不少时间，必须支持。 内容干货满满，没有多余废话，对有需要的人来说帮助真的很大。 看完之后深有感触，有些话真的说到心坎里了，很有共鸣。 经验很宝贵，尤其是亲身实践过的总结，比网上随便找的靠谱多了。 非常同意楼主的看法，现实中确实是这样，很多人都忽略了这一点。 内容写得很详细，逻辑也很清晰，对新手来说非常友好，支持一下楼主。 内容全面又细致，几乎把相关问题都覆盖到了，非常用心。 看完感觉打开了新思路，以后遇到类似情况知道该怎么处理了。 这个话题确实很值得讨论，我也有类似的经历，非常认同楼主的观点。 认真看完了整篇内容，感觉受益匪浅，期待楼主后续更多优质的分享。 楼主态度很认真，回复也很耐心，这样的楼主值得大家支持。 观点很新颖，角度也很独特，打破了我之前的固有认知，很有启发。 帖子内容很扎实，不浮夸不炒作，真正有用的信息都在里面。 看完很有启发，也引发了我不少思考，有空也想分享下自己的看法。 讲得很透彻，把复杂的问题简单化，理解起来轻松了很多。
页:
[1]
2