可能是最效屏蔽蜘蛛抓取的办法

Robots.txt文件对于做SEO的朋友们在熟悉不过了，它其实是搜素引擎和网站之间的一个协议，也是蜘蛛爬取网站的第一站，大家一般利用Robots.txt文件将不利于搜索引擎优化和不想被抓取的页面进行屏蔽，那么该如何设置？这个不是这篇文章主题，今天说说屏蔽蜘蛛另外一种方法。如果大家对于Robots.txt文件如何设置还不了解，欢迎阅读Robots.txt文件解密。

大家接触SEO久了都知道Robots.txt并不能完全屏蔽蜘蛛的抓去和收录，这也是我们屏蔽蜘蛛抓取常用方法，但是这个方法并不是最有效的，那么有没有一个最好的办法？大家都知道不同搜素引擎蜘蛛都有自己专属IP段，笔者也是从网上看到一种办法可以通过防火墙和IIS中设置将这个IP段屏蔽，这样就可以完全阻止蜘蛛的爬取，写到这里，笔者也发现一个弊端，这个方法虽然可以完全阻止蜘蛛抓去，但是这样屏蔽是针对整个网站的，例如能不能在服务器和IIS中设置屏蔽百度蜘蛛，然后在针对某一单个页面，单个URL地址呢，如果不能，上面这个办法就没有任何价值了。由于笔者对于技术这块不是很精通，所以不清楚可不可以从技术角度来实现屏蔽单个页面或URL地址，如果可以这样就是双管齐下，可能成为最有效的屏蔽蜘蛛的抓去的办法。

以上都是笔者的猜想，可能不现实，也可能没有意义，写出只为跟大家讨论一下，毕竟人活着要有想法嘛!如有不对的地方，还请您见谅。