oozie中运行mapreduce node-action时的常见异常解决方法

时间：2014-02-15 09:36:52 阅读：417 评论：0 收藏：0 [点我收藏+]

oozie中运行mapreduce node-action时的常见异常解决方法

在第一次使用oozie来管理mapreduce工作流时，出现了如下异常：

java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.LongWritable, recieved org.apache.hadoop.io.Text
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:872)
	at org.apache.hadoop.mapred.MapTask$OldOutputCollector.collect(MapTask.java:499)

以上错误，相信是大家在刚开始使用hadoop的时候都会遇到的错误，出错是因为输出格式的数据类型不匹配。

hadoopOutputCollector对象默认的存放数据的格式为<LongWritable,Text>，但在本例中，key传入的实际值为Text类型，所以会报错，现在需要设置其输出格式，改为<Text,LongWritable>类型。以前写的mapreduce是从main方法里进行驱动和运行的，在main方法里面设置了如下参数：

conf.setOutputKeyClass(Text.class);

conf.setOutputValueClass(IntWritable.class);

以上参数是设置输出格式（及key和value类型）。但在oozie中，直接配置的是map类，无法从main方法运行，所以必须指定输出格式，有如下两种方法：

1.在map类里面加入静态代码块（在类初始化的时候就会执行）

 static{
  JobConf conf = new JobConf();
  conf.setOutputKeyClass(Text.class);
  conf.setOutputValueClass(IntWritable.class);
 }

2.在oozie的workflow.xml中进行配置，参考如下：

<property>
        <name>mapred.output.key.class</name>
       <value>org.apache.hadoop.io.Text</value>
</property> 
<property>
        <name>mapred.output.value.class</name>
        <value>org.apache.hadoop.io.IntWritable</value>
 </property>

注，要在lib目录下把hadoop-core-0.20.2-cdh3u6.jar包放进去

oozie中运行mapreduce node-action时的常见异常解决方法

原文：http://blog.csdn.net/zhu_xun/article/details/19193021

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年09月23日 (328)
2021年09月24日 (313)
2021年09月17日 (191)
2021年09月15日 (369)
2021年09月16日 (411)
2021年09月13日 (439)
2021年09月11日 (398)
2021年09月12日 (393)
2021年09月10日 (160)
2021年09月08日 (222)