hadoop2.8_hive_sqoop_spark_impala_cdh_centos7.3

<property> <name>dfs.client.read.shortcircuit</name> <value>true</value> </property> <property> <name>dfs.client.read.shortcircuit.skip.checksum</name> <value>false</value> </property> <property> <name>dfs.datanode.hdfs-blocks-metadata.enabled</name> <value>true</value> </property>

vi hdfs-site.xml

<property> <name>dfs.datanode.hdfs-blocks-metadata.enabled</name> <value>true</value> </property> <property> <name>dfs.block.local-path-access.user</name> <value>impala</value> </property> <property> <name>dfs.client.file-block-storage-locations.timeout.millis</name> <value>60000</value> </property>

--设置scoket path

在目录/var/run/目录下新建目录hadoop-hdfs (主从机都要配置)。

注意：该文件夹可能已经存在，应当确认用impala是否有权限进行读写。

如果已经存在，将用户impala加入该文件所属的组，并修改该文件组的权限即: chown -R 775 hadoop-hdfs/

--所有节点 cd /var/run/ mkdir hadoop-hdfs chown -R 775 hadoop-hdfs

--权限配置（所有机器都应当配置）

如果想要 impala 和 YARN 合作，需要把 impala 用户加入 hdfs 组，相关的可以了解的是Llama项目.

impala 在执行 DROP TABLE 操作时，需要把文件移到到 hdfs 的回收站，所以你需要创建一个 hdfs 的目录 /user/impala，并将其设置为impala 用户可写。同样的，impala 需要读取 hive 数据仓库下的数据，故需要把 impala 用户加入 hive 组。

--所有节点 usermod -G hdfs,hadoop impala groups impala

impala : impala hdfs hadoop

--Extension: 创建impala在hdfs上的目录并设置权限

hadoop fs -mkdir -p /user/impala

--警告如下：

18/05/09 21:26:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

hadoop fs -chown impala /user/impala

--启动impala

--主机：node1

service impala-state-store restart --kudu_master_hosts=node1:7051

service impala-catalog restart --kudu_master_hosts=node1:7051

service impala-server restart --kudu_master_hosts=node1:7051

--从机：node2

service impala-server restart --kudu_master_hosts=node1:7051

--从机：node3

service impala-server restart --kudu_master_hosts=node1:7051

--登录impala-shell

impala-shell

--node1执行（按照mysql语法写impala-shell），修改后

CREATE TABLE dept ( id BIGINT, name STRING ) distribute by range(name) split rows((‘it‘),(‘op‘),(‘hr‘)) TBLPROPERTIES( ‘storage_handler‘ = ‘com.cloudera.kudu.hive.KuduStorageHandler‘, ‘kudu.table_name‘ = ‘dept‘, ‘kudu.master_addresses‘ = ‘node1:7051‘, ‘kudu.key_columns‘ = ‘id,name‘ );

--报错：

ERROR:

ImpalaRuntimeException: Error creating Kudu table

CAUSED BY: NonRecoverableException: RPC can not complete before timeout: KuduRpc(method=ListTables, tablet=null, attempt=25, DeadlineTracker(timeout=30000, elapsed=29214))

CAUSED BY: NoLeaderMasterFoundException: Master config (node1:7051) has no leader.. Exceptions received: org.kududb.client.RecoverableException: [Peer Kudu Master - node1:7051] Connection reset on [id: 0xf5a4934f]

CAUSED BY: RecoverableException: [Peer Kudu Master - node1:7051] Connection reset on [id: 0xf5a4934f]

--在kudu控制台查看impala-shell创建的表

http://192.168.21.241:8051/

有关更多的impala操作kudu的示例，后面会发文详细讲解!

hadoop2.8_hive_sqoop_spark_impala_cdh_centos7.3

原文：https://www.cnblogs.com/buffercache/p/14264938.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年09月23日 (328)
2021年09月24日 (313)
2021年09月17日 (191)
2021年09月15日 (369)
2021年09月16日 (411)
2021年09月13日 (439)
2021年09月11日 (398)
2021年09月12日 (393)
2021年09月10日 (160)
2021年09月08日 (222)