首页 > Web开发 > 详细

用 Spark 处理复杂数据类型(Array、Map、JSON字符串等)

时间:2019-11-21 16:34:00      阅读:433      评论:0      收藏:0      [点我收藏+]

split 对列表进行风格,然后生产新的列表

from
pyspark.sql.functions import split
# 对 key列按照 0-9之间的数字进行风格 重新命名为 s
 df.select(split(df.key, ‘[0-9]+‘).alias(‘s‘))
df1 = df.select(split(df.key, ‘[0-9]+‘).alias(‘s‘)) # 重新转移变量给df1
 df1.withColumn("sd",df1["s"][0]).show() # 把 分割出来的s 提取出第[0]个重新成立新行

 

用 Spark 处理复杂数据类型(Array、Map、JSON字符串等)

原文:https://www.cnblogs.com/wang102030/p/11905857.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!