<!-- hdfs-site.xml --> <property> <name>dfs.datanode.fsdataset.volume.choosing.policy</name> <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value> </property> <property> <name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name> <value>64424509440</value> </property> <!-- yarn-site.xml--> <property> <name>yarn.nodemanager.local-dirs</name> <value>/data1,/data2,/data3/,/data4</value> </property>
IO对hadoop的影响比较大，我们需要注意在多硬盘时hdfs-site.xml与yarn-site.xml的相关配置。
譬如说要给硬盘保留适当的空间，除了用作副本存储外，还可以留一部分给nm做临时计算的中间结果存储等。
第一个参数是副本存储的选择策略，根据可用空间大小进行存储，第二个参数是平衡时选择的标准，差额大于多少g。
原文：http://www.cnblogs.com/huaxiaoyao/p/5093296.html