TF-IDF算法是一种统计较法,用于对检索的加权。简单的讲其作用是评估一字词对一个文件的重要水平。
在搜索引擎优化的衍生应用中,我们可以这么去理解上面这段话:在一个公司里,有10个搜索引擎优化er,每小我都写了一篇关于搜索引擎优化的文章,并且把这些文章都放在了一个文档集里。我们可以预料到的是,根基每篇文章中城市重复多次呈现搜索引擎优化这个词,意味着这十篇文章都与搜索引擎优化有关。现在我要查找一篇关于网站权重的搜索引擎优化文章。那么我会在搜索引擎中输入“搜索引擎优化 网站权重”。
最终我找到两篇同时呈现了这两个词的文章,第一篇里面呈现了2次“网站权重”和10次“搜索引擎优化,另外一篇呈现了10次“网站权重”和2次“搜索引擎优化”。现在的问题是:抛开作者的素质(网站整体权重)、文章质量(页面权重)、公司内专家的推荐(高质量外链)以及其他种种因素的影响后,谁的文章应该排在搜索成果的前面?
带着这个问题,我们来学习TF-IDF算法以及TF-IDF算法在搜索引擎优化中衍生的应用。
TF-IDF的核心概念
如果某个词或短语在一篇文章中呈现的频率TF高,并且在其他文章中很少呈现,则认为此词或短语具有很好的种别区分能力,适适用来分类。
同时,如果一篇文章中呈现了我们要查询的词,我们就会认为该文章与我们要查的词有比较年夜的相关性。延续这种思路,就是如果一篇文档中呈现要查询的词的次数越多,该文章与要查询的词之前的相关性应该越年夜。
我们在以往的搜索引擎优化工作中,运用到的关头词密度手艺,基于的就这个TF原理。
那么我们在TF-IDF算法中,先定义一个TF(t,d)暗示词语t在文章d中的呈现次数。
我们可以通过关头词密度查询东西来查询TF值:
http://tool.chinaz/Tools/Density.aspx
但仅仅斟酌词呈现的次数是不可的,因为常常我们查询的都是两个以上的词,比如“AA BB”或“XX YY ZZ”等形式。如果是这种形式的查询,哪个词呈现的次数应该做为重要性的依据呢?这就引出了IDF来丈量词的稀缺度,这里我们定义IDF为IDF(t) = log(N / DF(t))。其中:
DF(t):该词(以t为代表)在多少篇文章中呈现过。查询体例是通过谷歌搜索某一个词t,取得的搜索成果我们可以理解DF(t)。
N: 总文章数。这个数值在我们搜索引擎优化工作中没有什么实际的用处,因为我们不成能知道搜索引擎索引了多少文章。可是对搜索引擎来讲,N却是一个判定词权重的数据。
log:这个也不是我们搜索引擎优化工作中需要斟酌的数值,一般而言,log的底数可以随便设定。一般而言,我们采取+1的体例来抑制上述“网站权重 搜索引擎优化”例子中第二篇呈现10次“网站权重”的文章比第一篇呈现2次“网站权重”的文章重要5倍的夸大情况呈现。
TF-IDF的搜索引擎优化应用实战
看到这里,是不是感觉很烦躁?我们来进入一段告白……呃,不,进入一段实例:
TF-IDF值 = TF×IDF(TF乘以IDF) = 1+log tf(t,d) × log(N / DF(t))
以《网站权重 搜索引擎优化》和《搜索引擎优化学习:什么是网站权重》这篇文章为例:
“网站权重”TF值为:w=1+log 31(次呈现)=2.49
“网站权重”IDF值为:23,200,000篇/1万亿(假定值,08年数据)=4.63
“网站权重”TF-IDF值为:2.49*4.63=11.53
“搜索引擎优化”TF值为:w=1+log 34(次呈现)=2.53
“搜索引擎优化”IDF值为:1,220,000,000篇/1万亿(假定值,08年数据)=2.91
“搜索引擎优化”TF-IDF值为:2.53*2.91=7.36
我们取得了“网站权重”TF-IDF值11.53和“搜索引擎优化”TF-IDF值7.36。这有什么用呢?
TF-IDF值越年夜,文章与索引词越相关;
只有当“网站权重”这个词权重高的页面,才有可能在“网站权重 搜索引擎优化”这个搜索成果的排名上有比较好的效果;
锚文本链接需要增强“网站权重”这个词;
如果我们针对这个页面做“搜索引擎优化”的锚文本,则不会有太好的表示;
在没有其他因素加权或降权的情况下,小于该页面的总计词权值18.89(11.53+7.36)的页面将排名较低,年夜于18.89的页面将排名比次文章高