首页 > 其他 > 详细

kylin Build过程问题排查:17 Step Name: Build Cube In-Mem

时间:2019-06-03 12:21:47      阅读:196      评论:0      收藏:0      [点我收藏+]

Kylin Build执行到底17步时报错:17 Step Name: Build Cube In-Mem  ,错误截图如下:

技术分享图片

 

点左下角的MRJob图标,打开查看错误信息:

技术分享图片

从MRJob中的描述中可见详细的错误信息:

The required MAP capability is more than the supported max container capability in the cluster. Killing the Job. mapResourceRequest: <memory:3072, vCores:1> maxContainerCapability:<memory:1024, vCores:2>
Job received Kill while in RUNNING state.

说的很明确,需要的内存量是3072,但是最大能提供的内存量只有1024,这两个值改那个都可以,只要能匹配上就行。

问题排查:

从kylin的配置目录中找到kylin_job_conf_inmem.xml(路径:/usr/local/apps/kylin/conf/)

发现这个map的内存最大请求为3072,和上面MRJob中的报错信息一致,把这个最大请求改成1024即可。

技术分享图片

 

 

 <!--Additional config for in-mem cubing, giving mapper more memory -->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
        <description></description>
    </property>

改成1024,重新Build,Success!

技术分享图片

技术分享图片

 

kylin Build过程问题排查:17 Step Name: Build Cube In-Mem

原文:https://www.cnblogs.com/qqflying/p/10966439.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!