robots文件网站SEO优化
1、什么叫做robots文件
robots文件的全名是robots.txt这个文件的文件名必须小写
这个文件是你网站跟搜素引擎之间的沟通方式，跟搜索引擎之间的一个协议，搜索引擎在抓取网站的时候首先就会看这个文件，这个文件上面写了网站哪些链接可以被抓取，哪些链接不能被抓取。
我们可以用它来屏蔽我们网站一些不参与排名的链接所对应的页面。
这个文件并非是所有网站都有的，如果有的话，这个文件必须要放在网站的根目录下面。
robots.txt根目录www.xxx.com
www.xxx.com/robots.txt
目前后台里面一般自带默认的robots.txt文件，不能满足优化的需求，所以我们需要在此基础之上来优化这个文件。
如果网站没有这个文件的需要上传一个robots.txt文件。
robots文件的写法
User-agent:后面跟的是蜘蛛的名称
User-agent:baiduspider
User-agent:*这个*是一个通配符代表所有蜘蛛的名称
我们企业的站点的一般使用到的都是*来代替所有蜘蛛。
Disallow:后面跟着禁止抓取的内容路径
User-agent:*
Disallow:/plus/1.php
Allow:/plus/2.php
假如这个plus这个目录有两个文件一个1.php和2.php
禁止所有蜘蛛抓取plus目录下面的1.php这个文件
但是可以抓取2.php这个文件
Allow:后面跟着就是允许抓取的文件路径
Disallow:/admin禁止抓取admin这个目录
ALLOW:/a/6.htm
Disallow:/a/*.htm禁止抓取a目录下面所有以.htm结尾的网页文件
www.xxx.com/a/1.htm
www.xxx.com/a/2.htm
www.xxx.com/a/3.htm
www.xxx.com/a/4.htm
www.xxx.com/a/5.htm
Disallow:/*？*禁止抓取带有？的动态网址,这个写法不要贸然使用，可以使用具体的写法。具体禁止某一条链接就行，如下
Disallow:/seozhisasp?12.html
Disallow:/.jpg$表明禁止网站以.jpg结尾的图片文件
想要编写这个网站robots.txt文件一定需要结合自己的网站的文件目录，首先需要清楚自己网站目录文件是干什么的。
除了我们发的大家网站都有的文件，还有一些特殊的链接需要屏蔽掉
例如网站的死链接可以使用robots.txt屏蔽不让蜘蛛抓取
www.xxx.com/a/1.html死链接
Disallow:/a/1.html
除了需要写禁止的，我们还需要写一条允许的记录在这个robots文件里面
我们需要允许站点地图能被抓取
