首页 > 其他 > 详细

数据清洗

时间:2019-11-16 18:57:29      阅读:108      评论:0      收藏:0      [点我收藏+]

由于之前用jdbc连接hive连接失败,这次改用直接用HQL语句来完成任务,之前的连接失败还未解决

之前第一阶段已经将文档清洗完毕,包括转化日期格式,去掉逗号等操作

现通过HQL命令完成题目:

2、数据处理:

·统计最受欢迎的视频/文章的Top10访问次数 (video/article

技术分享图片

 

 

 技术分享图片

 

 技术分享图片

 

 技术分享图片

 

 

 

 

·按照地市统计最受欢迎的Top10课程 (ip

 技术分享图片

 

 技术分享图片

 

 

 

·按照流量统计最受欢迎的Top10课程 (traffic

 技术分享图片

 

 技术分享图片

 

 

 

 

1、 数据可视化:将统计结果倒入MySql数据库中,通过图形化展示的方式展现出来。

这一步先将HIVE中的表数据导出到本地文件中,

技术分享图片

 

 然后通过命令将数据导入到MYSQL

 

 

技术分享图片

 技术分享图片

 

技术分享图片

 

 技术分享图片

 

 技术分享图片

 

 技术分享图片

 

 技术分享图片

 

 

 最后通过mysql的JDBC连接实现数据的查询可视化显示出来。

 技术分享图片

 

 技术分享图片

 

 技术分享图片

 

 技术分享图片

 

数据清洗

原文:https://www.cnblogs.com/zjl-0217/p/11872239.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!