首页 > 其他 > 详细

「hadoop」idea gradle hadoop 运行helloworld示例

时间:2017-09-21 18:40:50      阅读:1001      评论:0      收藏:0      [点我收藏+]

运行一个简单的hadoop实例。

环境:win7跑三台ubuntu虚拟机,并已成功安装hadoop2.8.1环境,win7安装idea工具

 

【步骤】

1、参考 http://blog.csdn.net/u011654631/article/details/70037219,该地址简称 参考页;

2、idea创建gradle的java工程;

3、按参考页build.gradle中集成相应的hadoop jar包;

几点补充:

1、把core-site.xml,mapred-site.xml,yarn-site.xml等拷到工程的resources目录下;

2、如遇到 hdfs:master:9000 访问refused,用IP地址替换master试试;

3、input文件位于hdfs系统内,linux只能通过hdfs dfs方式访问;

4、hadoop.dll和winutils.exe需另行下载;

5、用户权限问题,win7增加环境变量 HADOOP_USER_NAME, 值为 hadoop的用户名;

6、增加日志打印配置文件log4j.xml,放到工程的resources目录下,xml内容参考 http://www.cnblogs.com/ftrako/p/7570094.html

「hadoop」idea gradle hadoop 运行helloworld示例

原文:http://www.cnblogs.com/ftrako/p/7570072.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!