大家都了解大约是“百度有啊”发布以前，淘宝为了更好地防止百度搜索故意爬取，立即屏蔽掉百度爬虫，也就是那时候闹得议论纷纷的robots.txt协议书 。

就算是如今进入淘宝的robots.txt协议书，仍然能够 见到淘宝网仍在屏蔽掉百度搜索的搜索引擎蜘蛛。

但是实际上确实这般么

事实上淘宝网的robots.txt文件压根对百度爬虫起不上一切功效。

小兄弟推断百度搜索往往那么做是由于百度搜索充分考虑发展战略方位的难题，由于查寻了一下发觉一些著名店面在百度的排行都很非常好。足够证实百度搜索对淘宝网这类店面的必要性。更为中国戏曲化的是天猫商城（淘宝网）也是应用robots.txt协议书的。一样屏蔽掉百度爬虫。

也有一种很有可能便是淘宝及其天猫商城的权重值太高了，造成了百度爬虫不遵照百度搜索引擎协议书而开展的爬取。但是针对这类事儿能够 想到到前些生活，一淘网故意爬取京东及其新蛋网等的产品数据信息，也不是遵照百度搜索引擎标准的。

直到如今京东等也在屏蔽掉一淘网的搜索引擎蜘蛛，

我想说的是如今的百度搜索引擎为了更好地本身权益而不遵照互联网协议的标准，是值得注意的，号召这类互联网技术大企业能在全部IT领域塑造树立。