杜龙少(sdvdxl)

hadoop集成hive

字数统计: 830阅读时长: 4 min
2016/03/11 Share
(文章比较久了可能已经过时)

前置条件

hadoop和yarn已经配置好并且成功运行。

选择版本和下载

下载hive,有两个版本可以选择,hive1和hive2,hive2版本MR功能已经废弃,将来版本可能会直接去掉,如果要用hive的MR功能,那么请选择hive1相应版本,否则的话选哪个都可以进行测试。

配置hive

  1. 下载完hive后,解压,然后sudo vi /etc/profile编辑文件,添加环境变量
1
2
3
4
HIVE_HOME=hive目录的绝路路径
PATH=$PATH:$HIVE_HOME

export HIVE_HOME PATH
  1. 控制台输入source /etc/profile使环境变量生效。

  2. 进入$HIVE_HOME/conf目录,拷贝hive-default.xml.template并重命名为hive-site.xml,编辑:(如果没有该参数,请自行添加,存在则改之)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value> <!--hdfs目录 hive目录需要手动创建,并改为777权限-->
<description>Scratch space for Hive jobs</description>
</property>

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value> <!--hdfs目录,需要手动创建-->
<description>location of default database for the warehouse</description>
</property>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <!--修改为自己的mysql数据库-->
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value> <!--mysql用户名-->
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value> <!--mysql密码-->
<description>password to use against metastore database</description>
</property>
  1. 然后查找value是${system开头的,替换成具体的本地绝对路径,可以创建一个hive用户,放到hive用户目录下。

  2. 拷贝hive-env.sh.template并重命名hive-env.sh,添加如下内容,注意环境变量值更换为自己的路径。

1
2
3
HADOOP_HOME=/home/hadoop/hadoop-2.7.1

export JAVA_HOME=/usr/local/share/jdk1.8.0_73
  1. 将hive-site.xml拷贝一份到hadoop的配置目录。
  2. 下载mysql驱动放到hive目录下的lib目录中。
  3. 启动hive,控制台输入hive,如果正确则输出一段信息后进入hive交互模式。

问题

  1. Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver (“com.mysql.jdbc.Driver”) was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.

    解决方法:下载mysql驱动放到hive的lib目录

  2. org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access=WRITE, inode=”/tmp/hadoop-yarn/staging/hive/.staging”:hadoop:supergroup:drwxr-xr-x

    解决方法:在hdfs中创建tmp目录,并改为777权限。

  3. Starting Job = job_1457683200911_0001, Tracking URL = http://10.10.1.110:8088/proxy/application_1457683200911_0001/
    Kill Command = /home/hadoop/hadoop-2.7.1/bin/hadoop job -kill job_1457683200911_0001
    Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0,打开管理页面发现信息:waiting for AM container to be allocated, launched and register with RM.

    解决方法:yarn没有配置正确,没有启动nodemanager,启动命令yarn-daemon.sh start nodemanager,启动之后即可运行job。

参考资料

  1. hadoop2.2完全分布式集群+hive+mysql存储元数据配置排版有点乱,请将就看
  2. hive导入HDFS数据 和上面毛病类似

原文作者:杜龙少(sdvdxl)

原文链接:https://todu.top/posts/61872/

发表日期:2016-03-11 16:25:27

更新日期:2021-01-20 23:30:16

版权声明:本文采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可

CATALOG
  1. 1. 前置条件
  2. 2. 选择版本和下载
  3. 3. 配置hive
  4. 4. 问题
    1. 4.0.1. 参考资料