首页 > 其他 > 详细

lazy-linalg: spark第三方依赖打包

时间:2016-05-07 08:41:57      阅读:182      评论:0      收藏:0      [点我收藏+]

简介

本次任务是对打包第三包 lazy-linalg
该包,包含了sbt的脚本

基于sbt的方法

下载源码解压后,在命令行模式(cmd)进入到源码所在的地址
E:\Workdir\ScalaWorkdir\lazy-linalg-master
然后执行命令:sbt

这种方法简单,但是编译过程需要联网下载大量依赖的jar包
由于受到联网的影响,所以还未成功

基于IDEA的方法

根据源码的包结构(如图),在我应用的代码直接添加这个包结构。然后编译打包
技术分享

IDEA项目目录结构示意
技术分享

技术分享

PS编译的时候注意依赖的版本,由于lazy-linalg依赖spark 1.5以后的版本,而第一次编译设置依赖为:spark-assembly-1.3.0-hadoop2.4.0.jar。所以编译不通过
后来将编译依赖设置为:spark-assembly-1.5.2-hadoop2.6.0.jar则成功编译。
技术分享

PS:由于目前没有1.5版本的spark,所以还没进行后的运行测试

lazy-linalg: spark第三方依赖打包

原文:http://blog.csdn.net/zhzhji440/article/details/51333597

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!