首页 > 其他 > 详细

深入理解hadoop(一)----Common的实现----Configuration

时间：2014-02-19 22:51:29      阅读：453      评论：0      收藏：0      [点我收藏+]

一,hadoop的配置管理

a,hadoop通过独有的Configuration处理配置信息

[java] view plaincopy
  1. Configuration conf = new Configuration();  
  2. conf.addResource("core-default.xml");  
  3. conf.addResource("core-site.xml");  

后者会覆盖前者中 未 final标记的相同配置项


b,hadoop属性扩展

如果配置项 dfs.name.dir的值是 ${hadoop.tmp.dir} /dfs/name, hadoop.tmp.dir的值是 /data,

则结果为/data/dfs/name


c,Configuration 成员变量分析

[java] view plaincopy
  1. //如果为true,加载配置文件的过程中，不输出日志信息  
  2. boolean quietmode;      
  3. //保存通过addResources()方法添加的资源  
  4. ArrayList<Object> resources;     
  5. //保存配置文件中已经被声明为final的键-值对  
  6. Set<String> finalParameters;    
  7. //是否加载默认资源  
  8. boolean loadDefaults ;    
  9. // 保存默认资源 列如HDFS 中 把hdfs-default.xml和 hdfs-site.xml作为默认资源  
  10. static ArrayList<String> defaultResources ;     
  11. //保存 hadoop配置文件解析后的键-值对  
  12. Properties properties ;      
  13. //记录通过set()方式改变的配置项  
  14. Properties overlay ;            
  15. //类变量加载器，通过它来加载指定类  
  16. ClassLoader classLoader ;   

[java] view plaincopy
  1. public URL getResource(String name){  
  2.    return classLoader.getResource(name);  
  3. }   

[java] view plaincopy
  1. //如果为true,加载配置文件的过程中，不输出日志信息  
  2.     boolean quietmode;      
  3.     //保存通过addResources()方法添加的资源  
  4.     ArrayList<Object> resources;     
  5.     //保存配置文件中已经被声明为final的键-值对  
  6.     Set<String> finalParameters;    
  7.     //是否加载默认资源  
  8.     boolean loadDefaults ;    
  9.     // 保存默认资源 列如HDFS 中 把hdfs-default.xml和 hdfs-site.xml作为默认资源  
  10.     static ArrayList<String> defaultResources ;     
  11.     //保存 hadoop配置文件解析后的键-值对  
  12.     Properties properties ;      
  13.     //记录通过set()方式改变的配置项  
  14.     Properties overlay ;            
  15.     //类变量加载器，通过它来加载指定类  
  16.     ClassLoader classLoader ;   
  17.       
  18.       
  19.     /** 
  20.      * 资源通过addResource()方法或者静态addDefaultResource()方法添加到Configuration中，添加的资源并不会立即被加载 
  21.      * 只是通过reloadConfiguration()方法清空properties 和finalParameters代码如下 
  22.      */  
  23.     public void addResource(String name){  
  24.         addResourceObject(name);  
  25.     }  
  26.   
  27.     private synchronized void addResourceObject(Object resource) {  
  28.         //添加到成员变量resources中  
  29.         resources.add(resource);  
  30.         reloadConfiguration();  
  31.     }  
  32.   
  33.     private synchronized void reloadConfiguration() {  
  34.         properties = null;  
  35.         finalParameters.clear();  
  36.     }  

[java] view plaincopy
  1. /** 
  2.  * 实际载入资源 
  3.  */  
  4. private synchronized Properties getProps(){  
  5.     if(properties==null){  
  6.         properties = new Properties();  
  7.         loadResources(properties,resources,quietmode);  
  8.     }  
  9.       
  10.     return properties;  
  11. }  
  12.   
  13. private void loadResources(Properties properties,  
  14.         Object name, boolean quietmode) {  
  15.     try{  
  16.         //得到用于创建DOM解析器的工厂  
  17.         DocumentBuilderFactory documentBuilderFactory =   
  18.             DocumentBuilderFactory.newInstance();  
  19.           
  20.         //忽略XML注释  
  21.         documentBuilderFactory.setIgnoringComments(true);  
  22.           
  23.         //提供对XML名称空间的支持  
  24.         documentBuilderFactory.setNamespaceAware(true);  
  25.           
  26.         try{  
  27.             //允许XInclude机制  
  28.             documentBuilderFactory.setXIncludeAware(true);  
  29.         }catch (Exception e) {  
  30.               
  31.         }  
  32.           
  33.         //获取解析XML的DocumentBuilder对象  
  34.         DocumentBuilder builder =   
  35.             documentBuilderFactory.newDocumentBuilder();  
  36.           
  37.         Document doc = null;  
  38.         Element root = null;  
  39.           
  40.         //根据不同的资源，做不同的处理  
  41.           
  42.         if(name instanceof URL){  
  43.               
  44.         }else if(name instanceof InputStream){  
  45.               
  46.         }else if(name instanceof Element){  
  47.             root = (Element) name;  
  48.         }  
  49.     }catch (Exception e) {  
  50.         // TODO: handle exception  
  51.     }     
  52.       
  53. }  

深入理解hadoop(一)----Common的实现----Configuration

原文：http://blog.csdn.net/u013494310/article/details/19480027
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
分享档案
更多>
2021年09月23日 (328)
2021年09月24日 (313)
2021年09月17日 (191)
2021年09月15日 (369)
2021年09月16日 (411)
2021年09月13日 (439)
2021年09月11日 (398)
2021年09月12日 (393)
2021年09月10日 (160)
2021年09月08日 (222)
最新文章
更多>
教程昨日排行
更多>
友情链接
汇智网   PHP教程   插件网  
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣，分享程序人生！