18565526634

网站建设 SEO优化 小程序

KNOWLEDGE/知识

网站建设,seo优化,小程序制作相关知识学习

网站服务器日志文件分析及注意事项

发表时间:2020-07-12 14:51

文章来源:日成传媒

浏览次数:

    网站的服务器日志分析

    服务器日志是可以记录你网站的服务器的请求记录的,通过这个日志咱们是可以看出网站被哪些蜘蛛来抓取过,抓取网站的哪些页面,可以看到抓取的时间,抓取的页面是否抓取成功。

    服务器日志在网站的主机的控制面板里面,文件管理里面常规一般都是log结尾的文件里面。

    不同的服务器空间记录的天数也不一样,一般的服务器都是可以记录一周左右的日志。你们用到的服务器空间一般只能记录三天的日志。

    分析日志我们有专业的日志分析工具来分析网站的服务器日志(光年日志分析工具)

    我们先在服务器文件管理里面下载某一天的日志,打开光年日志分析软件来分析日志

    分析的注意事项:

    概要分析:

    哪些蜘蛛来抓取过我们的网站。

    只代表你分析的那一天的,并不代表每天都是如此。

    目录抓取:分析蜘蛛抓取了你网站的哪些目录

    重点需要分析抓取的目录文件名称,哪些是对排名有价值的,哪些是对排名没有价值的,对于排名没有价值的目录文件写到robots文件里面进行屏蔽掉。

    www.xxxx.com/a/about

    www.xxx.com/about

    Disallow:/a/

    Disallow:/skin/

    第二个,通过蜘蛛抓取的目录,我们可以在更新内容的时候更有针对性,蜘蛛经常抓取哪些目录,我们更新内容就重点围绕那个目录去更新内容

    分析三天的日志ABC栏目

    三天A目录每天都被抓取到

    下次更新内容在A栏目多去更新内容。

    B和C目录并不是每天抓取。

    分析原因,是不是因为这两个目录的内容质量度做的低了,更新的频率有问题,这两个目录而是需要提高内容质量度。提高内容的原创性。

    页面抓取需要结合页面抓取的状态码来分析,同时也需要分析下抓取的链接是不是有用。

    www.xxx.com/a/1.html200

    www.xxx.com/a/2.html404

    找到这个链接看看是否还存在,存在的话删掉,不存在屏蔽掉。

    关键字分析:

    分析是用户通过搜索什么关键词进入网站的,任何的日志分析工具在分析这一项的时候并不是很精准。

    我们一般要分析关键词来源,使用百度统计来分析:

    状态码分析

    状态码分为用户状态码和蜘蛛状态码

    需要重点分析网址里面包含.html结尾的文件,我们直接给网站做一个404自定义页面引导用户继续访问网站的其他页面

    网名请求的返回的链接状态码

    蜘蛛状态码指的是蜘蛛抓取的链接返回的服务器状态码

    重点需要分析蜘蛛的状态码

    服务器状态码分为很多

    200301302404502

    重点需要注意是404这个状态码

    网址能修改的尽量修改,不能修改直接屏蔽。

    如果经常出现502这个状态码那么建议网站更换服务器

相关方案查看更多