首页 > Web开发 > 详细

关于HIVE做MapReduce报错:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

时间:2020-01-22 14:14:58      阅读:122      评论:0      收藏:0      [点我收藏+]

大部分人没有交换分区的问题。

因为在做Linux的时候交换分区是按照内存的2倍来做的。但是我的是用VM快速装机做的。所以交换分区被设置成了等于内存。

扩展交换分区:https://blog.csdn.net/Ares_song/article/details/81203251

永久添加该文件:https://blog.csdn.net/kai_wei/article/details/53582811

另外MYSQL一个重复IP连接问题可能导致HIVE初始化实例失败,需要在所在用户执行:https://blog.csdn.net/kai_wei/article/details/53582811

上面说的命令或重启MYSQL

大部分人都应该是内存设置问题:

我对yarn的 mapred-site.xml 内存设置如下:

<configuration>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx300M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx450M</value>
</property>
</configuration>

设置的比较小,因为我实验机器内存比较小。

关于HIVE做MapReduce报错:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

原文:https://www.cnblogs.com/chardaway/p/12228377.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!