首页 > 其他 > 详细

Pig的安装配置

时间:2016-05-13 03:32:57      阅读:204      评论:0      收藏:0      [点我收藏+]

一、简介

Pig是基于hadoop的一个数据处理的框架。相对于MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。

Pig基本数据类型:int、long、float、double、chararry、bytearray

复合数据类型:Map、Tuple、Bag 

         Bag的类型如{(‘age‘,31),(‘name‘,‘张三‘)}

 

二、安装配置

我使用的是pig-0.11.1版本,下载地址http://pan.baidu.com/s/1slei0Qp

1.  解压

解压到/usr/local/pig-0.11.1目录,我的安装包在桌面

命令:sudo tar –zxvf /home/zhong/Desktop/ pig-0.11.1.tar.gz –C /usr/local

技术分享

2.  配置环境变量

命令:sudo  gedit  /etc/profile

添加:

exportPIG_HOME=/usr/local/pig-0.11.1

export PATH=$PIG_HOME/bin:$PATH

技术分享

执行命令:source  /etc/profile使配置生效


 

3.  设置Pig与Hadoop关联

进入$PIG_HOME/conf中,编辑pig.properties文件,加入以下两行内容:

fs.default.name=hdfs://Master:9000

mapred.job.tracker=Master:9001

技术分享

技术分享

4.启动在PIG_HOME/bin目录下执行命令:./pig 即可进入grunt进行pig操作

技术分享

Pig的安装配置

原文:http://blog.csdn.net/yuzhuzhong/article/details/51340233

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!