MapReduce数据压缩机制

时间：2019-09-14 22:05:59 阅读：98 评论：0 收藏：0 [点我收藏+]

压缩目的：

降低数据磁盘存储空间，减少传输数据的IO量

压缩追求的指标：

压缩时间越短越好

压缩化越大越好

硬件需求如：CPU 算法支持

mr中可以使用压缩的地方：

map的输出数据进行数据压缩，减少shuff给reduce的数据量

reduce的输出进行数据压缩，减少最终结果在磁盘存储所占的空间

检查Hadoop支持的压缩算法：

[root@node-1 ~]# hadoop checknative
Native library checking:
hadoop: true /export/servers/hadoop-2.6.0cdh5.14.0/lib/native/libhadoop.so.1.0.0
zlib: true /lib64/libz.so.1
snappy: true /usr/lib64/libsnappy.so.1
lz4: true revision:10301
bzip2: true /lib64/libbz2.so.1
openssl: true /usr/lib64/libcrypto.so

如果某一个算法流失，可以在线yum在线装，或者重新编译Hadoop