18565526634

网站建设 SEO优化 小程序

KNOWLEDGE/知识

网站建设,seo优化,小程序制作相关知识学习

网站robots文件如何写?怎样seo优化?

发表时间:2020-07-07 14:21

文章来源:日成传媒

浏览次数:

    robots文件网站seo优化

    1、什么叫做robots文件

    robots文件的全名是robots.txt这个文件的文件名必须小写

    这个文件是你网站跟搜素引擎之间的沟通方式,跟搜索引擎之间的一个协议,搜索引擎在抓取网站的时候首先就会看这个文件,这个文件上面写了网站哪些链接可以被抓取,哪些链接不能被抓取。

    我们可以用它来屏蔽我们网站一些不参与排名的链接所对应的页面。

    这个文件并非是所有网站都有的,如果有的话,这个文件必须要放在网站的根目录下面。

    robots.txt根目录www.xxx.com

    www.xxx.com/robots.txt

    目前后台里面一般自带默认的robots.txt文件,不能满足优化的需求,所以我们需要在此基础之上来优化这个文件。

    如果网站没有这个文件的需要上传一个robots.txt文件。

    robots文件的写法

    User-agent:后面跟的是蜘蛛的名称

    User-agent:baiduspider

    User-agent:*这个*是一个通配符代表所有蜘蛛的名称

    我们企业的站点的一般使用到的都是*来代替所有蜘蛛。

    Disallow:后面跟着禁止抓取的内容路径

    User-agent: *

    Disallow: /plus/1.php

    Allow: /plus/2.php

    假如这个plus这个目录有两个文件一个1.php和2.php

    禁止所有蜘蛛抓取plus目录下面的1.php这个文件

    但是可以抓取2.php这个文件

    Allow:后面跟着就是允许抓取的文件路径

    Disallow:/admin禁止抓取admin这个目录

    ALLOW:/a/6.htm

    Disallow:/a/*.htm禁止抓取a目录下面所有以.htm结尾的网页文件

    www.xxx.com/a/1.htm

    www.xxx.com/a/2.htm

    www.xxx.com/a/3.htm

    www.xxx.com/a/4.htm

    www.xxx.com/a/5.htm

    Disallow:/*?*禁止抓取带有?的动态网址,这个写法不要贸然使用,可以使用具体的写法。具体禁止某一条链接就行,如下

    Disallow:/seozhisasp?12.html

    Disallow:/.jpg$表明禁止网站以.jpg结尾的图片文件

    想要编写这个网站robots.txt文件一定需要结合自己的网站的文件目录,首先需要清楚自己网站目录文件是干什么的。

    除了我们发的大家网站都有的文件,还有一些特殊的链接需要屏蔽掉

    例如网站的死链接可以使用robots.txt屏蔽不让蜘蛛抓取

    www.xxx.com/a/1.html死链接

    Disallow:/a/1.html

    除了需要写禁止的,我们还需要写一条允许的记录在这个robots文件里面

    我们需要允许站点地图能被抓取

相关方案查看更多