2024年seo服务器日志分析 篇1
网站日志该分析哪些数据呢?从基础信息、目录抓取、时间段抓取、IP抓取、状态码这几点来分析：
第一、基础信息
下载一个网站日志文件工具获取基础信息：总抓取量、停留时间(h)及访问次数;通过这三个基础信息可以算出：平均每次抓取页数、单页抓取停留时间，然后再用MSSQL提取蜘蛛唯一抓取量，根据以上的数据算出爬虫重复抓取率：
平均每次抓取页数=总抓取量/访问次数
单页抓取停留时间=停留时间*3600/总抓取量
爬虫重复抓取率=100%—唯一抓取量/总抓取量
统计出一段时间的数据，可以看出整体趋势是什么样的，这样就可以发现问题，才能够调整网站的整体策略。下面用一个站长的日志基础信息为例：
日志基础信息
从日志的基本信息，我们需要看它的整体趋势来调整，哪些地方需要加强。
网站日志文件该分析哪些数据
总抓取量
从这个整体走势来看出，爬虫的抓取总量整体是在下降的，这个就需要我们进行一些相应的调整。
网站日志文件该分析哪些数据
蜘蛛重复抓取率
整体来看，网站重复抓取率是有点上升的，这个就需要一些细节，多一些为抓取的入口和使用一些robots及nofollow技巧。
单面停留时间
爬虫单面的停留时间，曾经有看到过一篇软文，网页加载速度是如何影响SEO流量的;提高网页加载速度，减少爬虫单面停留时间，可以为爬虫的总抓取做出贡献，进而增加网站收录，从而提高网站整体流量。在16号至20号左右服务器出现一些问题，之后进行调整后，速度明显变快，单页停留时间也相应的下来了。
而对此进行相应调整如下：
从本月整理来看，爬虫的抓取量是下降的，重复抓取率是上升的。综合分析，需要从站内链接和站外的链接进行调整。站内的链接尽量的带锚文本，如果不能带的话，可以推荐其他页面的超链接，让蜘蛛尽可能的深层次的抓取。站外链接的话，需要多方面的发布。目前平台太少了，如果深圳新闻网、商国互联等站点出现一丝差错的话，我们站点将受到严重影响。站外平台要广，发布的链接要多样话，不能直发首页的，栏目及文章页面需要加大力度。目前，来讲站外平台太少，将近10w的外部链接，集中在几个平台上。
第二、目录抓取
用MSSQL提取出爬虫抓取的目录，分析每日目录抓取量。可以很清晰的看到每个目录的抓取情况，另外可以对比之前的优化策略，优化是否合理，重点的栏目优化是不是预期的效果。
爬虫抓取的目录
绿色：主做栏目 黄色：抓取较差 粉色：抓取很差 深蓝色：需要禁止栏目
网站日志文件该分析哪些数据
目录整体趋势
可以看到整体的趋势并没有太大变化，只有两个栏目的抓取是有较大变动的。
整体抓取较少。主做栏目中，抓取较少的为：xxx、xxx、xxx。对于总体来说，需要加大整个网站的导入口，需要外链配合，站内需要加强内部链接的构建。对于，爬取较弱栏目进行加强处理。同时，深蓝色的栏目写入robots中，将其屏蔽，并将网站中导入到这些栏目是URL进行nofollow避免权重只进不出。
第三、时间段抓取
通过excel中的数组函数，提取每日的时间段的爬虫抓取量，重在分析每日的抓取情况，找到相应的抓取量较为密集的时间段，可以针对性的进行更新内容。同时，还可以看出，抓取不正常情况。
网站日志文件该分析哪些数据
时间段抓取
某日哪个时间点出问题了，而且同样是总抓取是下降的趋势。
网站日志文件该分析哪些数据
时间段趋势
通过时间段抓取，我们进行相应的调整：
通过图中的表色，可以看出服务器并不是特别的稳定，我们需要加强服务器的稳定性。另外，17、18、19三天，连续被人攻击、挂链等，但是爬虫抓取正常，这说明这些对网站已经造成了一定影响!
第四，IP段的抓取
通过MSSQL提取日志中的爬虫的IP，通过excel进行统计，每日每个IP的抓取量，同样我们需要看整体，如果IP段没有明显的变化的话，网站升降权是没有多大问题的。因为在网站升权或者降权的时候，爬虫的IP段会更换的。
网站日志文件该分析哪些数据
IP段抓取
第五，状态码的统计
在这个之前你需要了解下，HTTP状态码返回值代表是什么。
状态码统计
如果一个网站被搜索引擎抓取的次数以及频率越多那么他是越有利于排名的，但是如果你的网站出现太多的304，那么一定会降低搜索引擎的抓取频率以及次数，从而让自己的网站排名比别人落一步。调整：服务器可以清除下缓存。
状态码统计
百度爬虫的数据图，密密麻麻的数据，以上所有的数据都是从这里调用出来的
2024年seo服务器日志分析 篇2
网站日志又称蜘蛛日志，它是成千上万个“蜘蛛”小爬虫程序每天爬行数千万个网站，这个小爬虫程序就是“蜘蛛”，它在网站爬行后留下的轨迹或痕迹就是“日志”。
一、国内常见的蜘蛛名称：Baiduspider；360Spider；sogou spider。
二、在分析日志时需要熟知蜘蛛HTTP状态码：
2XX：抓取成功，200抓取全部成功。
3XX：重定向，301永久重定向。
4XX：客户机出现错误，404找不到指定文档。
5XX：服务器出现错误。
三、完整的一串蜘蛛日志都包括那些：蜘蛛访问IP；访问时间；获取方法；访问的页面；返回状态码；页面抓取字节；蜘蛛名称及蜘蛛地址。
对于一个刚上线的网站，我们能分析出来搜索引擎蜘蛛抓取的情况；如果网站长时间收录有问题，那么我们也可以对比网站日志中的搜索引擎蜘蛛行为，来了解网站是哪方面出了问题；如果网站被封，或者被K，我们都可以通过观察网站日志的情况来了解原因出在什么地方。我们要看的网站日志的分析和诊断就像给网站看病一样，我们通过网站日志的分析，可以简单明了的就知道网站的健康状况，可以利于我们更好的做网站优化，所以对于真正的SEO高手而言，分析蜘蛛日志是最直观，最有效的额。
2024年seo服务器日志分析 篇3
网站优化过程中报告的数据非常多，不清楚你分析出的数据有哪些？主要目的是什么？（我们在做网站优化的时候是带着目的去分析数据的），下来就个人从事行业出发，大致说明：
SEO（搜索引擎优化）：这里主要是优化网站以便从搜索引擎获取更多免费自然流量，日常主要分析网站日志和流量统计数据。
网站日志：主要是分析百度爬虫抓取网站URL的情况，如每天抓取数量，返回代码，抓取是否与ROBOTS文件是否相符，在抓取过程中遇到那些问题等，再获取这些数据后调整网站已达到更好的提升抓取效率。
流量统计：主要分析用户端来源，地区，浏览器，访问路径，退出页面，跳出率以及测试页面的访问情况，已达到优化页面转化及用户体验问题。
SEM（主要是搜索付费营销）：一般是关键词，着陆页，转化等数据进行分析，以便获得更好的投放效果，提高投入产出比。
内容涉及确实很多，可以描述具体问题后再深入讨论。