我看到几个常见的毛病弹出。一个毛病的想法，索引页，你应该阻止抓取路径。有意义的，对不对?如果你不想要的页面索引，为什么你会希望它爬?不幸的是，虽然这听起来合乎逻辑的，也是完全毛病的。让我们来看看一个例子...

例如：产品评论

假定我们有一个别面的年夜型电子商务网站，与奇异的产品1000页。这些网页看起来像这样：

每个产品都有自己的URL页面，当然，这些网址如下布局：

.***/product/1

.***/product/2

.***/product/3

.***/product/1000

现在让我们说，每个这些产品的网页链接到该产品的评论页：

这些审查的网页也有自己的，奇异的网址(并列产品ID)，像这样：

.***/review/1

.***/review/2

.***/review/3

.***/review/1000

不幸的是，我们方才剥离出1000个重复的网页，每次评审的页面是真的只是一种形式，有没有奇异的内容。这些审查的网页有没有搜索价值，只是稀释我们的索引。因此，我们决定是时候采纳行动......

“修复”，第1部分

我们希望这些网页了，所以我们决定使用noindex元(元机械人)标签。因为我们真的，真的要完全页面，我们也决定nofollow的审查链接。我们首次测验测验修复结束，看起来像这样：

概况上，它是有事理的。这里的问题，虽然 - 那些红色箭头正在削减路径，可能阻止蜘蛛。如果蜘蛛审查页面永远不会归去，他们永远也读了NOINDEX，他们不会去索引的网页。最好的情况下，它会需要很长时间(已去指数化的时间太长，对年夜型网站)。

修复，第2部分

相反，让我们分开路径(我们应遵循的链接)。这种体例，将继续爬虫拜候的页面，重复审查的URL应该逐渐消失：

对峙下去，在这个过程中仍然需要一段时间(周，在年夜大都情况下)。监督您的索引(在“site：”操作符)每日 - 你要找的随着时间的推移逐渐削减。如果这产生，你是在杰出的状态。PRO提示：不要采纳任何一天的“网站：”算太严重 - 它可以是不成靠的，不时。随着时间的推移的趋势看。以上内容由 guhele 饮食养生网在admin5首发，转载请保存网址，谢谢!