首页 > 其他 > 详细

HDFS文件下载

时间:2019-10-08 15:06:06      阅读:72      评论:0      收藏:0      [点我收藏+]
  1 //文件下载
  2 @Test
  3 	public void testCopyToLocalFile() throws IOException,InterruptedException,URISyntaxException{
  4 
  5 		//1.获取文件系统
  6 		Configuration configuration = new Configuration();
  7 		FileSystem fs = FileSystem.get(new URI("hdfs://192.168.12.161:9000"), configuration, "hadoop");
  8 		//2.执行下载操作
  9 		//boolean delSrc 指是否将原文件删除
 10 		//Path src 值要下载的文件路径
 11 		//Path dst 指将文件下载到的路径
 12 		//boolean useRawLocalFileSystem 是否开启文件校验
 13 		fs.copyToLocalFile(false, new Path("/qiuyun.txt"),new Path("d:/Hadoop/HDFS/nanzhou.txt"));
 14 		//3.关闭资源
 15 		fs.close();
 16 	}

*特别注意是 copyToLocalFile 而不是 copyFromLocalFile

  在 fs.copyToLocalFile(false, new Path("/qiuyun.txt"),new Path("d:/Hadoop/HDFS/nanzhou.txt")); 中,第一个 new Path 路径是指向hdfs上的路径,第二个 new Path 路径是指向本机存放的路径

  在第二个new path后面可以添加 true ,采用本地模式,文件下载后就不会有crc文件出现

技术分享图片

HDFS文件下载

原文:https://www.cnblogs.com/nan-qiu/p/11635428.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!