首页 > 其他 > 详细

spark优化之临时目录

时间:2015-05-18 18:16:32      阅读:294      评论:0      收藏:0      [点我收藏+]

官方是这样说的:

Directory to use for "scratch" space in Spark, including map output files and RDDs that get stored on disk. This should be on a fast, local disk in your system. It can also be a comma-separated list of multiple directories on different disks. NOTE: In Spark 1.0 and later this will be overriden by SPARK_LOCAL_DIRS (Standalone, Mesos) or LOCAL_DIRS (YARN) environment variables set by the cluster manager.

大概就是MAP和RDD的临时数据可能存放在spark.local.dir(SPARK_LOCAL_DIRS)指定的目录中,默认是在/tmp中。

该目录的磁盘一定是快速的本地磁盘系统,我们可以考虑把这个目录来单独放成一个磁盘,或者以都好隔开放入多个磁盘,来提高i/o读写速度

spark优化之临时目录

原文:http://www.cnblogs.com/hark0623/p/4512506.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!