Robots.txt文件看似只有几行字母，可是其实有很多细节需要我们注意的。因为如果你不注意这些细节，有的语句将不会阐扬效果，甚至呈现发效果。而robots.txtt文件是搜索引擎进入我们站点后拜候的第一个文件，其写的好欠好关系到站点的搜索引擎优化能否顺利进行。下面笔者将举例阐发三个在robots.txt文件时我们容易呈现的细节上的毛病。

毛病一：Allow与disallow顺序倒置

首先我们来看一段robots.txt语句：

User-agent: *

Allow: /

Disallow: /abcd/

这段语句初看我们可以取得目的是奉告搜索引擎在abcd目录下面的页面不克不及抓取，可是其他所有的页面可以。可是这段语句的实际效果如何呢?效果是各走各路的，为什么呢?我们知道搜索引擎蜘蛛对robots文件中的法则的执行是从上到下的。这将会造成Disallow语句失效，正确的做法，是要把Disallow: /abcd/置于Allow: /前才能阐扬我们想要的效果。

毛病二：屏蔽某一个页面时，页面名前没有带上斜杠“/”

我想这一点很多站长也很容易轻忽失落，打个例如，我们想要对搜索引擎屏蔽在根目录下的abcd.html这一页面，有的人在robots上可能会这么写：Disallow: abcd.html，概况上看可能没什么问题，可是笔者想要问一下你先奉告搜搜引擎屏蔽的这一页面在什么目录下面?如果我们不带上的话，搜索引擎蜘蛛无法识别是在哪一个页面。正确的写法是：Disallow: /abcd.html，这样才能真正的屏蔽位于根目录下面的abcd.html这一页面。

毛病三：屏蔽的后面没有跟上斜杠“/”

同样举个例子，比如我们想屏蔽/abcd/这一目录下面的页面，有的人可能会这样写Disallow: /abcd。这样写是否有问题呢?这样写依然有问题，并且问题很年夜条。这样虽然可以屏蔽失落/abcd/这一目录下面的所有页面。可是这也会传递给搜索引擎这样的信息，那就是屏蔽开首为/abcd的所有页面。效果同等于是Disallow: /abcd’*。这个毛病将会给站点照成很年夜的影响。正确的做法是，在想要屏蔽的目录后面切记需要加上斜杠“/”。

对robots.txt文件的重要性想必很多站长都深有体会。如果我们不重视这些书写的小细节的不但会失去robotss.txt原有的效果，还会引起不需要的反效果。希望本文提出的这三个细节对年夜家在写该文件的时候有所帮忙。文章由韩国片子.hgdyy/ 站长原创，转载请保存我们的地址。