SEO之robots.txt文件

我们在学习SEO搜索引起优化的时候，可能会经常碰到robots文件，那么何为robots.txt文件？

robots.txt是一个纯文本形式存在的文件，robots.txt文件是一个协议，而不是一个命令。以下介绍了

四点，大家可以初步的了解一下。

第一，robots文件的形式

robots.txt是一种纯文本格式文件，是搜索引擎中访问网站的时候要查看的第一个文件。

第二，robots文件的的位置

robots.txt 必须放在根目录下，并且文件名必须是小写。如果不存在的话，网络搜索引擎默认全部

抓取。

第三，robots文件的功能

1，可以告诉网络搜索引起能访问那些内容不能访问那些内容。

2，可以屏蔽错过站点内的一些死链接，节省时间方便搜索引擎去抓网站内容。

3，可以屏蔽网站内一些较大的文件，如；视频，音乐，图片，flash动画等，节省服务器宽带。

 第四，robots文件的语法

           User-agent: 定义搜索引擎的类型

　　 Disallow: 定义禁止搜索引擎收录的地址

　　 Allow: 定义允许搜索引擎收录的地址

在SEO中robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的，它能够正确指引搜索引

擎蜘蛛对网站的抓取动作。