首页 > 其他 > 详细

map的collect和spill过程解析

时间:2014-03-07 01:31:10      阅读:564      评论:0      收藏:0      [点我收藏+]
Map的输出缓冲是一个循环缓冲,collect和spill是在kvstart、kvend和kvindex三个指针的引导下进行的。初始时kvstart=kvend=kvindex=0
1、MapTask的collect过程
 collect是一个向缓冲区放东西的过程。此时,kvstart和kvend不动,每放一条记录,kvindex都会向后移动一位。
2、spillThread的spill过程
   spill是一个从缓冲区取东西的一个过程,当发生spill时,首先让kvend指向kvindex,即kvend=kvindex,然后kvstart向前移动,每移动一位就取出一条记录写回磁盘,当spill结束时,kvstart和kvend相遇,即kvstart=kvend,为下次collect又做好准备。

map的collect和spill过程解析,布布扣,bubuko.com

map的collect和spill过程解析

原文:http://blog.csdn.net/zcc_0015/article/details/20652785

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!