首页 > 其他 > 详细

spark自定义udf输入类型为array报错

时间:2018-03-07 17:27:48      阅读:511      评论:0      收藏:0      [点我收藏+]

定义udf如下

val list2string = udf { (style: Array[String], num: Array[Long]) =>
   style.zip(num).map(t => t._1 + ":" + t._2).mkString("<br>")
}

输入为两个数组,输出为string

 

报错如下

Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;

 

打印输入字段类型

root

 |-- user_no: long (nullable = true)

 |-- style_list: array (nullable = true)

 |    |-- element: string (containsNull = true)

 |-- styleNum_list: array (nullable = true)

 |    |-- element: long (containsNull = true)

 

解决办法

更改udf输入为seq

val list2string = udf { (style: Seq[String], num: Seq[Long]) =>
   style.zip(num).map(t => t._1 + ":" + t._2).mkString("<br>")
}

 

spark自定义udf输入类型为array报错

原文:https://www.cnblogs.com/OS-BigData/p/8523607.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!