首页 > 其他 > 详细

Hadoop综合大作业

时间:2018-05-24 17:31:54      阅读:221      评论:0      收藏:0      [点我收藏+]

 

 

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。

在网上下载一个老人与海的英文小说,在虚拟机打开百度网盘的文件,然后下载到本地。

技术分享图片

首先要启动dfs:

技术分享图片

 在hdfs上创建文件夹:

技术分享图片

查看hdfs上的所有文件:

技术分享图片

把下载的文件上传到hdfs:

技术分享图片

启动hive:

技术分享图片

创建表:

技术分享图片

把hdsf上的文件内容添加进去表里:

技术分享图片

创建一个新的表存放词频统计:

技术分享图片

 查找表的前十条记录:

技术分享图片

 

 

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

 将爬虫作业产生的文件转为txt格式的文件,发生至qq邮箱,然后再虚拟机下载操作。

下载下来的txt文件显示前十条:

 技术分享图片

把文件上传至hdfs,并查看:

技术分享图片

查看前十条:

技术分享图片

启动hive:

技术分享图片

创建数据库:

技术分享图片

把数据加载进去:

技术分享图片

查看前十条:

 技术分享图片

 

Hadoop综合大作业

原文:https://www.cnblogs.com/2647409627qq/p/9083458.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!