会员登录 | 会员注册 | 意见建议 | 网站地图

站长资源综合门户

当前位置:首页 > 搜索引擎 > 证据表白百度蜘蛛可以爬行纯文本网址

证据表白百度蜘蛛可以爬行纯文本网址

时间:2012-07-12 17:58:45   作者:   来源:   点击:

好久之前我写过文本格局的网址对网站的权重有益处,今天我终于发现了纯文本网址可以吸引百度蜘蛛的证据。

年夜家知道百度站长平台已经对站长开放了,其中有很多有用的功能,包含提交网站地图、提交死链接、查看robots等等。其中有一项功能年夜家可能没有太注意,那就是站点抓取异常查询。

有时候我们的网站收录或其他方面呈现异常了,这时候还得阐发网站日志等,查找原因。而这个东西可以直接查到,百度在抓取你的网站的时候呈现了哪些毛病,便利找到原因。

我今天查抄的时候发现了有一个404抓取毛病,原本抓取的是http://***/1227.html 可是后面多了个">",理论上不会呈现这种链接毛病啊。

颠末搜索发现,有网站在转载文章的时候,呈现了如上图的网址,并且是纯文本的网址:

百度因为抓取到了上面的网址,并把>也当作网址的一部分,并进行抓取,自然就呈现了404毛病。

从这个例子便可以知道,百度是可以抓取纯文本的网址的,这对广年夜搜索引擎优化工作者和互联网从业人员是个好消息。

本文来自逍遥博客,本文地址:http://libo搜索引擎优化/1230.html,转载请注明出处和链接!

分享到:

网友评论