网站日志分析：被90%站长忽略的SEO流量增长密码
很多站长拼了命做关键词布局，找外链，改页面速度，结果排名死活上不去。打开统计后台看着稀稀拉拉的流量，抓耳挠腮不知道问题出在哪。没人告诉你，你遇到的大部分“莫名其妙”的SEO问题，答案都写在服务器的网站日志里。
为什么说网站日志分析是SEO的「底牌」
你平时用的百度统计、谷歌分析，所有数据都是基于人类访客的访问行为生成的。搜索引擎蜘蛛的一举一动，这些工具根本不会记录。
蜘蛛来没来你的站？来了爬了哪些页面？爬的时候有没有出错？哪些页面来了一次就再也不来了？这些核心信息，只有网站日志里有。
我之前接了个企业站的优化单子，整站上线半年，核心词卡在15名不动，换了三批内容，买了几十条外链，死活冲不进前10。查了外链没问题，页面质量也达标，索引率也不低，最后翻了三天日志才找到问题——服务器把百度蜘蛛的IP段给禁了，每天来的蜘蛛百分之八十都返回403，只有首页能正常访问，内页基本没被抓过。
你说坑不坑？
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/0796e1c9-cdcd-4250-a79d-a10cb0536ea9.jpg
网站日志百度蜘蛛访问记录截图
很多人做优化，总把注意力放在“给用户看的内容”上，从来没关注过“给搜索引擎看的抓取”。你内容写得再好，蜘蛛根本不来爬，爬了也出错，怎么可能给你排名？
更别说还有很多隐藏问题，比如robots.txt写错误封整站、伪静态规则出错返回大量404、服务器带宽不足导致蜘蛛超时，这些问题你不看日志，永远发现不了。
普通人做网站日志分析，最容易踩的三个坑
说实话，我刚接触网站日志分析的时候，踩过的坑能绕我办公桌三圈。今天把最常见的几个列出来，你别再踩。
第一个坑：抱着几百G的完整日志直接分析，把电脑卡死。刚入行那会我不懂，攒了一个月的日志，整整3个G，直接双击用记事本打开，然后电脑就卡在那动不了了，我出去喝了一杯奶茶回来还没打开，最后只能强制关机重启，白瞎了一下午时间。其实你根本不需要分析全部内容，过滤掉没用的静态资源日志，缩小范围再操作，多简单的事儿。
第二个坑：只看蜘蛛访问量，不看状态码。很多新手沾沾自喜，说我这站每天蜘蛛来一千多次，很快就能涨流量了。我打开一看，百分之八十都是404、403和500，爬的全是失效的旧页面，真正想推的新页面一个都没爬。核心页面的200状态码占比，才是判断蜘蛛抓取质量的核心标准，访问量再高，全是错的，有啥用？
第三个坑：不对蜘蛛IP做验证，把假蜘蛛当真数据统计。现在大把的采集爬虫、扫描爬虫，都会冒充百度谷歌蜘蛛来爬你的站，不仅占你服务器带宽，还会把你的分析数据搅得一塌糊涂。你拿错误的数据做优化，结论能对才怪。验证其实很简单，对IP做反向域名解析就知道真假，百度谷歌都有公开的验证规则，花十分钟就能弄明白。
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/233ce295-ca87-4abb-8205-fd45304e4a69.jpg
网站日志分析常见错误状态码汇总表
适合中小站长的极简网站日志分析流程
https://obgeo.oss-cn-beijing.aliyuncs.com/pvc-articles/e543337f-dc08-4044-8f7d-0d96db328dfc.jpg
适合中小站长的极简网站日志分析流程
很多人觉得网站日志分析是大企业才玩的东西，要复杂的系统，要专业的技术，中小站长玩不起。其实真不是，对于日IP几万以内的中小站，花一个小时就能做完，根本没那么复杂。我用了五六年的流程，分享给你。
第一步，拿到日志先裁剪。大部分服务器都会按天切割日志文件，你不用把半年的都拿出来分析，拿最近7天的就够，能反映最近的情况了。要是单个文件还是太大，用Linux的split命令十几秒就能切分成小块，不用找乱七八糟的工具瞎折腾。
第二步，过滤无效数据。先把css、js、jpg、png这些静态资源的访问日志过滤掉，蜘蛛爬这些对你优化没任何意义，还占位置。然后把假蜘蛛的记录过滤掉，剩下的就是干净的真实搜索引擎抓取数据了。
第三步，盯紧四个核心指标就够，其他都是浮云。
第一个，蜘蛛总抓取量的变化趋势。是持续上涨还是慢慢下跌？如果持续下跌，排除服务器更新的问题，那就是你的站整体权重在下降，蜘蛛对你的站越来越不感兴趣，要早调整，别等排名掉光了才反应过来。
第二个，状态码分布。数一数4xx和5xx的占比高不高？尤其是你刚上线的新页面，是不是都返回了200？我上个月还碰到一个客户，新页面本地打开一切正常，蜘蛛爬就是500，查了半天才发现，服务器防火墙默认拦了百度蜘蛛的IP段，改完规则当天就正常抓取了。
第三个，未收录页面的抓取情况。你提交了一堆页面给搜索引擎，日志显示蜘蛛都爬过了，还是没收录，那就是页面内容质量不行，老老实实改内容。要是蜘蛛连爬都没爬过，那就是抓取入口有问题，要么是内链没做好，蜘蛛找不到，要么是权重太低，引不过去蜘蛛。
第四个，核心页面的抓取频率。你的转化页、主推的内容页，蜘蛛是不是经常来？如果两三个月都没来过一次，要么是你没给这个页做内链权重，要么就是页面质量太差，蜘蛛来了一次觉得不行就再也不来了，该删就删该改就改。
不过话说回来，中小站长真不用天天看，半个月甚至一个月看一次足够，你天天盯也盯不出花来，浪费那时间不如多写两篇优质内容。
现在很多课程忽悠新手，说网站日志分析是高端玩法，卖几千块的定制工具，其实真没必要。对于大部分中小站来说，网上免费的日志分析工具足够用，甚至懂点基础代码的，自己写个几十行的小脚本就能出结果，花那冤枉钱干嘛？
上个月帮一个做本地装修的站长调站，他说发了一百一十二篇装修案例，只收录了8篇，急得睡不着觉。我帮他导了一周的日志一看，八十多篇案例页，蜘蛛一次都没爬过。为啥？他的案例分页全是用js加载的，整站都没给这些案例页加一个锚文本内链，蜘蛛根本找不到入口。
改完之后，给所有案例加了分类导航，在首页侧边栏加了最新案例模块，一周之后再看日志，百分之七十的案例都被爬过了，半个月之后收录了六十三篇，现在每个月多了二十多个精准咨询，净利润多了小十万。这不比你瞎买一百条外链有用？
很多人做SEO，总想着找捷径，找黑科技，天天追着算法更新跑，却把最基础的东西忘得一干二净。网站日志就是这么个玩意儿，不够炫酷，没人拿来卖课，却能解决你百分之八十的“莫名其妙”的排名问题。
对吧。 感谢楼主带来这么好的内容，在论坛里能学到东西真的很开心。 每一段都很有分量，认真读完全篇感觉整个人都提升了不少。 虽然篇幅不长，但句句都是重点，简洁又有深度，非常不错。 很多点我之前都没想到，楼主一提醒才恍然大悟，收获很大。 支持楼主继续更新，这么好的内容值得让更多人看到和学习。 非常有建设性的意见，对解决实际问题有很大的参考意义。
对这个话题有了更全面的认识，不再只停留在表面理解。 说得很有道理，很多观点都说到点子上了，希望以后能多看到这类帖子。 讨论氛围很好，大家都在理性交流，这样的论坛环境太舒服了。 没想到还有这么多细节，之前一直没注意到，感谢楼主提醒和科普。
页:
[1]