首页 > 数据库技术 > 详细

mapreduce将mysql数据导入到Hdfs问题

时间:2015-04-14 18:11:13      阅读:241      评论:0      收藏:0      [点我收藏+]

    今天在执行一个sql语句的时候遇到了一个错误 java.sql.SQLException: Error writing file ‘/tmp/MYkn6JQ8‘ (Errcode: 28)。搜了一下,这个问题应该是因为错误提示中提示的临时目录的空间不足导致的。

    这个错误如果想看到它的现象,就必须在sql运行时来监视这个临时文件夹的大小,就可以看到mysql在/tmp下创建了一个临时文件,这个临时文件的大小取决于sql语句以及表的大小。

    我表中现有大概29万行数据,大概有30列,使用insert into m (...) select ...from mp where contentLen < 3145729 group by concat(...)时,mysql会在临时目录下创建了一个大概将近6G的临时文件,我磁盘只剩了5G,所以导致了mysql报写文件错误。


mapreduce将mysql数据导入到Hdfs问题

原文:http://my.oschina.net/mkh/blog/401456

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!