少年老成的云晨守望同学(题外话：少年老成是功德哈。我20多岁时人家说我像40岁，我40多岁时很多多少人说我像30多，男人20到50岁可以做到根基一个样子)贴了个帖子：透过京东商城看国内一线B2C网站搜索引擎优化通病。建议先看那个帖子再回来看本帖，不然不容易明白下面在说什么。

简单说，帖子指出一个严重并且现实的搜索引擎优化问题：很多网站，尤其是B2C，产品条件过滤系统(如选择产品的品牌、代价、尺寸、性能、参数等)会产生年夜量无效URL，之所以称为无效只是从搜索引擎优化角度看的，这些URL其实不克不及产生搜索引擎优化作用，反倒有负面作用，所以这些URL不收录为好，原因包含：

1.年夜量过滤条件页面内容重复或极其近似(年夜量复制内容将使网站整体质量下降)

2.年夜量过滤条件页面没有对应产品，页面无内容(如选择“100元以下42寸LED电视”之类的)

3.绝年夜部分过滤条件页面没有排名能力(排名能力比分类页面低很多)却华侈一定权重

4.这些过滤条件页面也不是产品页面收录的需要通道(产品页面应该有其它内链帮忙爬行和收录)

5.爬行年夜量过滤条件页面极年夜华侈蜘蛛爬行时间，造成有用页面收录机缘下降(过滤条件页面组合起来是巨量的)

那么怎样尽可能使这些URL不被爬行和索引、收录呢?前几天的一篇帖子如何隐藏内容也可能成为搜索引擎优化问题讨论的是近似问题，这种过滤页面就是想隐藏的内容种类之一。不过惋惜，我目前想不出完美的解决体例。云晨守望提出两个别例，我感觉都无法完美解决。

一是将不想收录的URL保持为动态URL，甚至用心越动态越好，以阻止被爬行和收录。可是，搜索引擎现在都能爬行、收录动态URL，并且手艺上越来越不是问题。虽然参数多到一定水平确实晦气于收录，但4、5个参数通常还可以收录。我们无法确认需要多少参数才能阻止收录，所以不克不及当作一个靠得住的体例。并且这些URL领受内链，又没有什么排名能力，仍是会华侈一定权重。

第二个别例，robots制止收录。同样，URL领受了内链也就领受了权重，robots文件制止爬行这些URL，所以领受的权重不克不及传递出去(搜索引擎不爬行就不知道有什么导出链接)，页面成为权重只进不出的黑洞。

连向这些URL的链接配合nofollow也不完美，和robots制止近似，nofollow在谷歌的效果是这些URL没有领受权重，权重却也没有被分派到其它链接上，所以权重同样华侈了。百度据称支持nofollow，但权重怎么措置未知。

将这些URL链接放在Flash、JS里也没有用，搜索引擎已经可以爬行Flash、JS里的链接，并且估计以后越来越擅长爬。很多搜索引擎优化疏忽了的一点是，JS中的链接不但能被爬，也能传递权重，和正常毗连一样。

也可以将过滤条件链接做成AJAX形式，用户点击后不会拜候一个新的URL，仍是在原来URL上，URL后面加了#，不会被当作不合URL。和JS问题一样，搜索引擎正在积极测验测验爬行、抓取AJAX里的内容，这个别例也不保险。

还一个别例是在页面head部分加noindex+follow标签，意即本页面不要索引，但跟踪页面上的链接。这样可以解决复制内容问题，也解决了权重黑洞问题(权重是可以随着导出链接传到其它页面的)，不克不及解决的是华侈蜘蛛爬行时间问题，这些页面仍是要被蜘蛛爬行抓取的(然后才能看到页面html里的noindex+follow标签)，对某些网站来讲，过滤页面数量巨年夜，爬行了这些页面，蜘蛛就没足够时间爬有用页面了。

再一个可以斟酌的体例是隐藏页面(cloaking)，也就是用法度检测拜候者，是搜索引擎蜘蛛的话返回的页面拿失落这些过滤条件链接，是用户的话才返回正常的有过滤条件的页面。这是一个比较抱负的解决体例，唯一的问题是，可能被当作作弊。搜索引擎常跟搜索引擎优化讲的判断是否作弊的最高原则是：如果没有搜索引擎，你会不会这么做?或说，某种体例是否只是为了搜索引擎而采取?显然，用cloaking隐藏不想被爬行的URL是为搜索引擎做的，不是为用户做的。虽然这种情况下的cloaking目的是美好的，没有歹意的，但风险是存在的，胆年夜的可试用。

还一个别例是使用canonical标签，最年夜问题是百度是否支持未知，并且canonical标签是对搜索引擎的建议，不是指令，也就是说这个标签搜索引擎可能不遵守，等于没用。别的，canonical标签的本意是指定规范化网址，过滤条件页面是否适用有些存疑，事实成果，这些页面上的内容常常是不合的。