使用道具 举报
本版积分规则 发表回复 回帖后跳转到最后一页
手机版|企业导航|网站地图|Archiver|W10站长论坛 ( 苏ICP备2021017012号-4 )|网站地图
GMT+8, 2026-9-7 03:05
免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系362039258#qq.com(把#换成@)删除。
Powered by Discuz! X3.5 W10 bbs.w10.cn
服务器Apache访问日志爬虫统计表格
我见过太多站长，花大价钱买高配服务器，内容写得溜，外链买得足，就是死在服务器数据里的那些小问题上。比如蜘蛛天天爬你无用的分类筛选页，占了90%的抓取配额，你的新页面根本排不上队，你还在那骂搜索引擎不收录，去哪说理去？
服务器数据SEO必挖的三个核心数据，个个能换流量
第一个，爬虫访问日志数据。这是最值钱的数据，没有之一。
你想知道搜索引擎蜘蛛真的喜欢你的哪些页面？真的爬了你的新内容吗？有没有浪费抓取配额？第三方工具给你的数据都是滞后的，只有你自己服务器的访问日志，是实时的原生的。
我去年接了一个电商站的优化，老板天天说新品发了一个月都不收录，我让他导了一个月的访问日志，一筛蜘蛛数据吓一跳——蜘蛛每天爬12万次页面，其中11万次都是重复的参数筛选页，什么价格区间筛选、属性筛选，全是重复内容，真正的产品页和新品页，一天才爬几千次。
后来改了robots.txt，禁止蜘蛛爬所有带筛选参数的页面，不到一个月，新品收录率从12%涨到了83%，自然流量涨了一倍还多。
第二个，全量服务器状态码数据。
很多人只会看搜索资源平台里提示的404错误，那都是搜索引擎已经发现了才告诉你，等你改的时候，权重早就掉了。
你服务器的日志里，早就把所有的错误状态码记下来了，不管搜索引擎有没有发现，你自己先挖出来解决，这不就占先了？
我之前犯过一个巨蠢的错，主题更新之后，PHP版本不兼容，所有的文章页面都返回500错误，我自己测试首页能打开就没管，过了三天翻日志才发现，那时候已经掉了一半的收录，后悔都来不及，懊恼了好久。
第三个，分区域用户访问速度数据。
你测网站速度，是不是就打开站长工具测一次，得分100就完事了？你有没有想过，你做的是全国生意，你的服务器放在上海，东北用户打开要多久？新疆用户会不会直接超时？
这些数据，只有你服务器的访问统计能给你。我之前帮一个做建材批发的客户做优化，跳出率一直高达78%，怎么改内容都降不下来，后来拉了服务器的分区域访问数据，发现整个东北三省的访问超时率超过40%——他图便宜买了小服务商的服务器，只有江浙沪的节点，北方用户根本打不开。
换了带全国节点的CDN之后，不到一个月，跳出率降到了56%，核心关键词排名涨了6位，流量涨了40%多。
Nginx服务器状态码SEO分析报表
新手也能搞定的操作，不用写代码
新手也能搞定的操作，不用写代码
很多人觉得服务器数据分析是技术大佬的活，自己是小站长，不会代码玩不来。其实根本不是这么回事。
现在不管你用的是虚拟主机，还是云服务器的面板，都有现成的日志功能，默认一般是关的，你先去后台点开，开日志占不了多少空间，一个月也就几个G，比你存图片省多了。
然后，找个免费的第三方日志分析工具，把你下载的日志上传进去，工具会自动帮你过滤出各大搜索引擎的爬虫数据，直接生成报表，告诉你爬了多少页，多少错误，根本不用你自己算。
拿到报表之后，就盯着三个点改：第一，是不是有大量无用页面占了抓取配额？该禁就用robots禁掉；第二，是不是有批量的404、500错误？该改链接改链接，该修程序修程序，能做301跳转的赶紧跳；第三，是不是有大区域用户访问慢？加CDN节点，换服务器线路，花不了几十块钱。
不过话说回来，别天天挖日志，半个月看一次足够了，天天蹲那看，纯属浪费时间，还不如多写两篇文章。
还有一个很多人踩的坑，一定要提。千万不要把访问日志放在网站根目录下可访问的路径里，不然蜘蛛会爬你的日志文件，不仅占抓取配额，还可能泄露你的站点信息，一定要放在web根目录之外，或者直接在robots里禁掉蜘蛛爬日志目录，这个小细节，真的坑过不少人。
现在SEO卷成什么样，大家都清楚。内容大家都在写，外链大家都在买，你能抢到流量的机会，就是这些别人懒得做的细节。
我见过不少内容质量一般的站，就是把服务器数据这些基础细节捋顺了，排名比那些天天砸钱买外链的站还稳。搜索引擎现在越来越看重站点的基础体验，你给蜘蛛爬的顺畅，给用户打开的快，凭什么不给你好排名？
上周刚帮一个做垂直博客的朋友调完，他说一周之内新增收录了270篇，你也去翻下你的服务器日志呗，指不定就掏出一堆躺着的流量。
