400-685-0732

WJMonitor舆情之声

企业大数据智能舆情监测管理解决方案

全网监测海量数据按需发布监测预警

实时把握舆情动态精准追溯信息源头

获取验证码
企业采购 个人使用
当前位置: 首页 > SEO博客 > 关于百度蜘蛛IP的一些个人看法

关于百度蜘蛛IP的一些个人看法

时间:2011-11-21 08:58:48
在看网站iis日志时,最多的是看百度蜘蛛爬取了网站的哪些页面,返回的状态码是不是200,很少去分析百度蜘蛛的IP。偶然间看到网上一篇文章,以探讨的口气分享到:百度对于图片、文字等的抓取会派出不同IP段的蜘蛛,甚至,百度快照是否更新以及网站是否会被百度降权也可以从访问网站的蜘蛛IP中看出端倪。

看到这篇文之后好像给自己打开了一条思路,于是立刻查看了负责的两个网站的iis日志,其中一个网站有明显的降权迹象,收录递减,快照停止;另一个则是天天快照,搜索引擎表现向着良好的趋势发展。查看访问两个网站的百度蜘蛛IP,确实发现被降权的网站有一个IP段的蜘蛛是表现正常的网站iis日志中所没有或者很少出现的。而且抓取图片的蜘蛛跟抓取文字的也不属于一个IP段。

旋即问了小boss和大boss,给出的答案分别是一两个网站的iis日志说明不了问题需要对多个网站的日志进行研究和之前确实有过这样的说法但是很快被推翻了。

的确,两个网站的iis日志一点也没有说服力,至于被推翻的原因,个人在网上没有找到相关的说明资料,猜测是有站长发现对应的蜘蛛在自己那里并没有起到所说的作用。

这里,我也有一个大胆的假设。百度蜘蛛IP确实有第一段中所叙述的功能,但是在不同的地域IP段所带回的信息是不同的,具体来说就是:

1、百度将搜索引擎的用户按某种规则(极有可能是地域)分成几个几十个甚至几百个区域,在某个区域内百度蜘蛛IP段所带回的信息是相同的,不同地域同一IP段的蜘蛛所返回的信息是不同的;

2、百度定期或不定期的调整IP段的功能;

3、以上两者的综合,即在同一IP段百度蜘蛛在不同区域所代表不同意思的前提下定期或不定期的调整该IP段在该区域的功能。

上述几点纯属个人异想天开的一些看法,也请大家多多讨论给出自己的观点。

 
分享按钮