“抓取毛病”是 谷歌网站办理员东西(Webmaster Tools)中最受欢迎的东西之一。它可以帮忙你查抄毛病的链接，不但仅是URL链接，还包行DNS解析失败、办事器链接、robots.txt 文件等问题，几近所有网站城市呈现抓取毛病。

网 站站长东西将毛病分为两类：网站毛病(site errors)和链接地址毛病(URL errors)。如果在一个网站上呈现多个抓取毛病，那么你的网站信任度会下降，甚至会影响到排名，当然这东西对百度优化同样有效。那么应当如何解决 谷歌网站办理员东西的抓取毛病呢。

通过谷歌bot抓取的毛病分类就看知道是什么致使抓取毛病的原因了。

一、HTTP的毛病

当一个网站上的网页(例如，当用户在阅读器中拜候您的网页或谷歌bot抓取页面时)到您的办事器发出请求，办事器返回HTTP状态码响应请求。

如果呈现403状态，可以不消理睬，这表白是你的主机阻止了谷歌bot抓取。对所有HTTP状态码的列表文件，可以参考谷歌 HTTP状态码帮忙页面。

2、Sitemap中的毛病

Sitemap毛病往往会造成404毛病页面，或在当前地图返回一个404毛病页面，如果呈现404毛病页面请查抄Sitemap中所有的链接，

谷歌会不竭抓取你已经删除的Sitemap，这点很郁闷，但也有体例解决：确保旧的Sitemap已经在办理员东西中被删除。如果不想被抓取，确保旧Sitemap呈现404或重新定向到新的Sitemap。

来自谷歌员工Susan Moskwa诠释道：

阻止谷歌bot的爬行，最好的体例是使这些网址(例如旧的sitemaps)呈现404，当我们看到一个URL多次呈现404后，谷歌bot会停止爬行。

三、重定向毛病

有些毛病是因为301从定向引起的，执行重定向后要注意什么：

1：确保他们返回到正确的HTTP状态码。

2：确保没有任何循环重定向。

3：确珍重定向指向有效的网页，而不是404页，或其他毛病页，如503(办事器毛病)或403(制止抓取)

4：确珍重定向不是指向一个空页面。

四、404毛病

404毛病可能会呈现在以下几个方面：

1：删除网站上的网页;

2：改变了网页的名称;

4：链接到了一个不存在的页面;

5：其他网站链接到你网站上一个不存在的页面;

6：网站迁移到一个新的域名不完全匹配的网站。

五、受robots.txt限制

还有一个原因是robots.txt文件阻止了谷歌bot的抓取，如果呈现年夜量抓取毛病，第一步应该查抄robots.txt

6、软404毛病

通 常情况下，当有人请求的页面不存在，办事器将返回一个404(未找到)毛病。除在响应请求的页面不存在返回404代码，办事器也将显示一个404页。 这多是一个标准的“未找到文件”的消息，或旨在提供更多信息的用户，它多是一个自定义页面。 页的内容是由办事器返回的HTTP响应完全无关。仅仅因为一个页面显示404文件未找到消息其实不料味着它是一个404页。

七、超时

网站超时也是呈现抓取毛病的原因之一，如果呈现超时现象，谷歌bot会停止抓取。超时的毛病类型有：

1：DNS超时，可使用Nslookup 命令检测DNS，呈现DNS超时最年夜的因素是域名办事商的DNS办事器不稳定。

2：网址超时，在某一个特定页面，而不是整个域的毛病。

3：robots.txt超时，如果你网站有robots.txt，但办事器超时，谷歌bot会假定该文件不存在。

4：动态网页的响应时间太长而造成网页载入时间太长。

文章来历：卢松松博客 本文地址：http://lusongsong/reed/479.html