网站制作企业酷站科技(www.bjkuzhan.com)：错误观念1.Allow包括的范畴超出Disallow，而且部位在Disallow前边。

　　例如有很多人那样写：

　　User-agent: *

　　Allow: /

　　Disallow: /mulu/

　　想让全部搜索引擎蜘蛛爬取本网站除/mulu/下边的url以外的全部网页页面，严禁爬取/mulu/下边的全部url。

　　SEO网址优化百度搜索引擎搜索引擎蜘蛛实行的标准是从上向下，那样会导致第二句指令无效。换句话说严禁爬取/mulu/文件目录这条标准是失效的。正确的是Disallow应当在Allow以上，那样才会起效。

　　错误观念2.Disallow指令和Allow指令以后沒有以斜线”/”开始。

　　这一也非常容易被忽略，例如有些人那样写Disallow: 123.html ，这类是沒有实际效果的。斜线”/”表明的是文档针对网站根目录的部位，假如没有得话，当然没法分辨url是哪个，因此是不正确的。

　　恰当的应该是Disallow: /123.html，那样才可以屏蔽掉/123.html这一文档，这条标准才可以起效。

　　错误观念3.屏蔽掉的文件目录后沒有带斜线”/”。

　　也就是例如想屏蔽掉爬取/mulu/这一文件目录，有的人那样写Disallow: /mulu。那麼那样是不是恰当呢?

　　最先那样写(Disallow: /mulu)的确能够 屏蔽掉/mulu/下边的全部url，但是另外也屏蔽掉相近/mulu123.html这类开始为/mulu的全部网页页面，实际效果相当于Disallow: /mulu*。

　　恰当的作法是，假如只为屏蔽掉文件目录，那麼务必在末尾携带斜线”/”。
文中公布于北京市网站制作企业酷站科技http://www.bjkuzhan.com">来源于申明：以上内容一部分(包括照片、文本)来自互联网，若有侵权行为，请立即与本网站联络（010-57218159）。
如没特殊注明，文章均为酷站科技原创,转载请注明来自http://www.bjkuzhan.com/jianzhanzhishi/4454.html