首页 > 其他 > 详细

tachyon with hadoop

时间:2015-01-23 12:56:34      阅读:353      评论:0      收藏:0      [点我收藏+]

hadoop2.2.0 jdk1.7 tachyon0.5.0 无zookeeper

tachyon和hadoop都是伪分布式模式


 

1.修改core-site.xml文件

<property>
 <name>fs.tachyon.impl</name>
 <value>tachyon.hadoop.TFS</value>
</property>

2.配置hadoop-env.sh

hadoop-env.sh文件中添加Tachyon客户端jar包路径的环境变量

export HADOOP_CLASSPATH=/home/hadoop/tachyon-0.5.0-bin/client/target/tachyon-client-0.5.0-jar-with-dependencies.jar

3.启动hadoop集群

sbin/start-dfs.sh
sbin/start-yarn.sh

4.启动tachyon

tachyon-start.sh local

技术分享

5.执行MR作业

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount -libjars /home/hadoop/tachyon-0.5.0-bin/client/target/tachyon-client-0.5.0-jar-with-dependencies.jar tachyon://hadoop:19998/test/passwd tachyon://hadoop:19998/out

6.查看结果

技术分享

tachyon tfs cat /out/part-r-00000

技术分享

 


 

tachyon with hadoop

原文:http://www.cnblogs.com/admln/p/tachyon-with-hadoop.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!