Robots和meta robots

说起robots，相信大家都知道它的作用——一个存文本文件，作为协议存在于网站根目录下，用于指令搜索引擎禁止或者指定允许抓取某些内容。而对于meta robots，在前文Meta不只是KD中也做出了相关论述，这里就不再赘述。

好了，说了这么多，开始进入正题。我们都知道，淘宝网是在robots里禁止了百度蜘蛛的。可是当我们在百度中搜索淘宝网时，依然会发现有相关链接地址的存在。当然，这并不是说百度不支持robots这个文件指令。当你点开淘宝网的百度快照时，你会发现，该快照的内容为空。换句话说，robots中禁止抓取的文件搜索引擎确实没有访问，但是这并不能完全阻止其出现在搜索的结果中。

这是为什么呢？原来一般情况下，只要有链接指向了某个url，那么搜索引擎就会知道这个url的存在。Robots文件可以禁止抓取，但是不能禁止搜索引擎以下面几种形式显示该url。

1、只显示url，没有标题和描述；

2、导入链接的锚文字显示标题。

那么，要想让搜索引擎中彻底不显示该url，该怎么办呢？答案就在于meta robots标签。

使用了noindex meta robots标签的页面，会被蜘蛛抓取，但不会被索引。不被索引，自然就不会出现在搜索结果中了。