首页 > 移动平台 > 详细

Hadoop出现 native snappy library not available: SnappyCompressor has not been loaded的解决办法

时间:2016-01-19 12:07:19      阅读:2401      评论:0      收藏:0      [点我收藏+]

我目前测试环境是Hadoop 2.7.1, 搭建群集之后经常出现错误“native snappy library not available: SnappyCompressor has not been loaded”, 我目前是两个结点, 单台是没有问题的, 

看了log之后也找不到什么原因, 烦恼很久, 后面发现如果 是两台结点, 会不会是读取hdfs上面的lib文件, 而不是读取本地的lib呢, 我就试了下, 以下是tez在hdfs上的截图

技术分享

扔上去后, 居然跑成功了, 试分析了下, 应该是我默认的文件类型是hdfs的原因, 在core-site.xml可以进行配置fs.defaultFS

Hadoop出现 native snappy library not available: SnappyCompressor has not been loaded的解决办法

原文:http://www.cnblogs.com/frankzye/p/5141530.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!