首页 > 其他 > 详细

倒排索引

时间:2014-11-01 02:12:36      阅读:307      评论:0      收藏:0      [点我收藏+]
倒排索引是文档检索系统中最常见的数据结构,被广泛的应用于搜索引擎。它是一种根据内容查找文档的方式。由于不是根据文档来找内容,而是根据进行了相反的操作,因此叫做倒排索引。

倒排索引的一个简单结构如下图所示:

?

单词文档列表

?

?
bubuko.com,布布扣
?

最常见的是使用词频作为权重,即单词在一个文档中出现的次数。如图所示,已知3个文档。


bubuko.com,布布扣
??


则他们的索引文件为


bubuko.com,布布扣

?

因此,当搜索条件为“MapReduce”“is”“simple”的时候,对应的集合为{(0.txt,1),(1.txt,1),(2.txt,2)}{(0.txt,1),(1.txt,2)}{(0.txt,1),(1.txt,1)}={0.txt,1.txt}

即关键字出现在0.txt1.txt中。

以上只是词频作为权重,当然实际应用中权重可能很复杂,这里仅仅以词频为权重进行编码。

结合MapReduce框架的执行流程,倒排索引的处理步骤设计如下:

?
bubuko.com,布布扣
?

InputFormat处理后:


bubuko.com,布布扣
??

?

map()方法处理后:(之所以把文本位置放到K,为了方便Mapper处理)


bubuko.com,布布扣
?

?

Mapper框架进行处理:(之所以把文本位置放到K,为了方便此处处理)


bubuko.com,布布扣
??

?

Combiner进行处理:


bubuko.com,布布扣
?

?

?

为了方便Reducer框架进行处理,Combiner的输出需要改变一下:


bubuko.com,布布扣
??

?

Reducer框架进行处理:


bubuko.com,布布扣
?

?

Reduce()方法进行处理


bubuko.com,布布扣
?
?

以上过程转化为代码,仅仅需要重写map(),combine(),reduce()方法即可。

需要注意的是,对于输入输出的处理,上一环节的输入格式应该和上一环节的输出格式一样。

倒排索引

原文:http://yizhenn.iteye.com/blog/2150053

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!