首页 > 移动平台 > 详细

运用MRUnit测试mapper和reducer

时间:2016-05-29 16:37:08      阅读:464      评论:0      收藏:0      [点我收藏+]

MRUnit可以花费时间少,并且可以分别测试mapper和reducer

步骤:

1、  运用MRUnit测试mapper和reducer

2、  执行mapreduce代码的本地化测试

3、  使用hadoop日志

4、  通过计数器跟踪执行指标

Testing Mapper的过程

技术分享

1、  实例化mapdirver类,作为测试中mapper被参数化

2、  调用withmapper方法来添加想要测试的mapper实例

3、  根据情况选择withconfiguration方法设置mapper的配置文件

4、  调用withinput方法来传递所需的key和value

5、  通过调用withoutput方法设置期望的输出内容

6、  调用功能rantest方法将设置的输入值传递给mapper

Testing Reducer的过程

技术分享

1、  首先创建一个用做reducer输入的intwritable对象列表

2、  实例化reducedriver对象

3、  调用withreduce方法来设置要测试的reducer实例

4、  通过withconfiguration来传递想要的配置

5、  调用withinput方法可以将输入值传递给reducer

6、  调用withoutput方法来设置期望的reducer输出

7、  最后调用runtest方法,把设置的输入传递给reducer

 

运用MRUnit测试mapper和reducer

原文:http://www.cnblogs.com/chenyaling/p/5539541.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!