首页 > 其他 > 详细

海量数据处理常用思想及重要数据结构

时间:2019-02-04 11:14:13      阅读:218      评论:0      收藏:0      [点我收藏+]

 

1、大顶堆、小顶堆技术分享图片

特别适合topN问题,如求海量日志中最大的100个数。既然是海量数据,那么内存中一下子无法加载所有的数据集,此时可以先读取海量数据中的100个数,建立数据集为100的小顶堆(小顶堆的对顶比所有元素都小),然后依次往堆结构中读取数字,调整堆,使其保持小顶堆,最后得到top100的最大数。

2、hash映射进行分治,然后归并

3、hash统计

4、bloom filter

5、外排序

6、bitmap

7、多层划分

8、tire树

9、mapreduce

 

海量数据处理常用思想及重要数据结构

原文:https://www.cnblogs.com/bewolf/p/9352174.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!