Robots文件是网站和蜘蛛法度之间的“正人协议”——robots文件不但仅可以节流网站的资源，还可以帮忙蜘蛛加倍有效的抓取网，从而提高排名。

1：只允许谷歌bot

如果要阻挡除谷歌bot之外的所有爬虫：

User-agent：*

disallow：/

Uer-agent：允许的蜘蛛名

Disallow：

2：“/folder/”和“/folder”的区别

举个例子：

User-agent：*

Disallow：/folder/

Disallow：/folder

“Disallow：/folder/”暗示阻挡的是一个目录，该目录文件下的所有文件不允许被抓取，可是允许抓取folder.hlml。

“Disallow：/folder”：对/folder/下的所有文件和folder.html都不克不及被抓取。

3：“*”匹配任意字符

User-agent：*

暗示屏蔽所有的蜘蛛。当我们做了伪静态措置之后，会同时又动态网页和静态网页，网页内容一模一样，视为镜态页面，所以我们要屏蔽失落动态的网页，可以用*号来屏蔽动态的网页

User-agent：*

Disallow：/?*?/

4：$匹配网址结束

如果要阻挡以某个字符串结束的网址，便可使用$，例如，要阻挡以.asp结束的网址：

User-agent：*

Disallow：/*.asp$

也可以打开比较优秀的网站，看他们的robots文件是如何书写的，然后按照自己的需求进行相应的修改。Robots文件可让蜘蛛把更多的时间花在要抓取的内容上，所以优化robots文件是很有需要的。

本文来自东阳高复：http://mygaofu，转载请注明链接