会员登录 | 会员注册 | 意见建议 | 网站地图

站长资源综合门户

当前位置:首页 > 搜索引擎 > Robots文件年夜扫盲:如何用robots提高网站排名

Robots文件年夜扫盲:如何用robots提高网站排名

时间:2012-03-27 18:38:03   作者:   来源:   点击:

Robots文件是网站和蜘蛛法度之间的“正人协议”——robots文件不但仅可以节流网站的资源,还可以帮忙蜘蛛加倍有效的抓取网,从而提高排名。

1:只允许谷歌bot

如果要阻挡除谷歌bot之外的所有爬虫:

User-agent:*

disallow:/

Uer-agent:允许的蜘蛛名

Disallow:

2:“/folder/”和“/folder”的区别

举个例子:

User-agent:*

Disallow:/folder/

Disallow:/folder

“Disallow:/folder/”暗示阻挡的是一个目录,该目录文件下的所有文件不允许被抓取,可是允许抓取folder.hlml。

“Disallow:/folder”:对/folder/下的所有文件和folder.html都不克不及被抓取。

3:“*”匹配任意字符

User-agent:*

暗示屏蔽所有的蜘蛛。当我们做了伪静态措置之后,会同时又动态网页和静态网页,网页内容一模一样,视为镜态页面,所以我们要屏蔽失落动态的网页,可以用*号来屏蔽动态的网页

User-agent:*

Disallow:/?*?/

4:$匹配网址结束

如果要阻挡以某个字符串结束的网址,便可使用$,例如,要阻挡以.asp结束的网址:

User-agent:*

Disallow:/*.asp$

也可以打开比较优秀的网站,看他们的robots文件是如何书写的,然后按照自己的需求进行相应的修改。Robots文件可让蜘蛛把更多的时间花在要抓取的内容上,所以优化robots文件是很有需要的。

本文来自东阳高复:http://mygaofu,转载请注明链接

分享到:

网友评论