Robots和meta robots
说起robots,相信大家都知道它的作用——一个存文本文件,作为协议存在于网站根目录下,用于指令搜索引擎禁止或者指定允许抓取某些内容。而对于meta robots,在前文Meta不只是KD中也做出了相关论述,这里就不再赘述。
好了,说了这么多,开始进入正题。我们都知道,淘宝网是在robots里禁止了百度蜘蛛的。可是当我们在百度中搜索淘宝网时,依然会发现有相关链接地址的存在。当然,这并不是说百度不支持robots这个文件指令。当你点开淘宝网的百度快照时,你会发现,该快照的内容为空。换句话说,robots中禁止抓取的文件搜索引擎确实没有访问,但是这并不能完全阻止其出现在搜索的结果中。
这是为什么呢?原来一般情况下,只要有链接指向了某个url,那么搜索引擎就会知道这个url的存在。Robots文件可以禁止抓取,但是不能禁止搜索引擎以下面几种形式显示该url。
1、只显示url,没有标题和描述;
2、导入链接的锚文字显示标题。
那么,要想让搜索引擎中彻底不显示该url,该怎么办呢?答案就在于meta robots标签。
使用了noindex meta robots标签的页面,会被蜘蛛抓取,但不会被索引。不被索引,自然就不会出现在搜索结果中了。
分享按钮
好了,说了这么多,开始进入正题。我们都知道,淘宝网是在robots里禁止了百度蜘蛛的。可是当我们在百度中搜索淘宝网时,依然会发现有相关链接地址的存在。当然,这并不是说百度不支持robots这个文件指令。当你点开淘宝网的百度快照时,你会发现,该快照的内容为空。换句话说,robots中禁止抓取的文件搜索引擎确实没有访问,但是这并不能完全阻止其出现在搜索的结果中。
这是为什么呢?原来一般情况下,只要有链接指向了某个url,那么搜索引擎就会知道这个url的存在。Robots文件可以禁止抓取,但是不能禁止搜索引擎以下面几种形式显示该url。
1、只显示url,没有标题和描述;
2、导入链接的锚文字显示标题。
那么,要想让搜索引擎中彻底不显示该url,该怎么办呢?答案就在于meta robots标签。
使用了noindex meta robots标签的页面,会被蜘蛛抓取,但不会被索引。不被索引,自然就不会出现在搜索结果中了。