首页 > 其他 > 详细

大数据核心技术

时间:2016-03-26 06:59:25      阅读:189      评论:0      收藏:0      [点我收藏+]
    Common2.2.0以前的大多数版本中,包含HDFSMapReduce和其他项目公共内容,从2.2.0开始HDFSMapReduce被分离为独立的子项目,其余内容为Hadoop Common
    Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。
    MapReduce并行计算框架,0.20前使用org.apache.hadoop.mapred旧接口,2.2.0版本开始引入org.apache.hadoop.mapreduce的新API
    HDFS:Hadoop分布式文件系统(Hadoop Distributed FileSystem)
    Pig大数据分析平台,为用户提供多种接口。
    Hive:数据仓库工具,由Facebook贡献。
    Hbase:类似Google BigTable的分布式NoSQL列数据库。(HBaseAvro已经于20105月成为顶级Apache项目)
    ZooKeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。
   Sqoop:Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如MySQL, Oracle, Postgres)中的数据导入到HadoopHDFS中,也可以将HDFS的数据导入到关系型数据库中。
   Oozie:负责MapReduce作业调度。

大数据核心技术

原文:http://blog.csdn.net/fanyun_01/article/details/50978976

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!