首页 > 其他 > 详细

HDFS 开发中的文件配置优先级

时间:2019-04-14 13:59:59      阅读:144      评论:0      收藏:0      [点我收藏+]

一、先看集群上的配置,这里设置了文件块副本数为 3

技术分享图片

上传一个文件试试

public class ConfigPriority {
    private Configuration conf;
    private FileSystem fs;

    @Before
    public void init() throws Exception {
        // 设置 HADOOP_HOME 环境变量
        System.setProperty("hadoop.home.dir", "D:/DevelopTools/hadoop-2.9.2/");
        // 日志初始化
        BasicConfigurator.configure();

        conf = new Configuration();
        // 获取 hdfs 客户端对象,指定用户名,避免无权限
        fs = FileSystem.get(new URI("hdfs://192.168.8.136:9000"), conf, "root");
    }

    @After
    public void close() throws IOException {
        fs.close();
    }

    // 文件上传
    @Test
    public void testCopyFromLocalFile() throws Exception{
        fs.copyFromLocalFile(new Path("D://MyFile/Downloads/Writage-1.12.msi"), new Path("/Priority/AAA.msi"));
    }
}

技术分享图片

 

二、在资源目录添加 hdfs-site.xml 配置后再上传

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

技术分享图片

代码中的上传名字做下改变

技术分享图片

 

三、在代码中指定下配置参数

public class ConfigPriority {
    private Configuration conf;
    private FileSystem fs;

    @Before
    public void init() throws Exception {
        // 设置 HADOOP_HOME 环境变量
        System.setProperty("hadoop.home.dir", "D:/DevelopTools/hadoop-2.9.2/");
        // 日志初始化
        BasicConfigurator.configure();

        conf = new Configuration();
        conf.set("dfs.replication","2");
        // 获取 hdfs 客户端对象,指定用户名,避免无权限
        fs = FileSystem.get(new URI("hdfs://192.168.8.136:9000"), conf, "root");
    }

    @After
    public void close() throws IOException {
        fs.close();
    }

    // 文件上传
    @Test
    public void testCopyFromLocalFile() throws Exception{
        fs.copyFromLocalFile(new Path("D://MyFile/Downloads/Writage-1.12.msi"), new Path("/Priority/CCC.msi"));
    }
}

技术分享图片

 

总结:代码设置 > 工程资源目录配置 > 集群配置 > 默认配置

HDFS 开发中的文件配置优先级

原文:https://www.cnblogs.com/jhxxb/p/10704806.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!