第4章Hive环境搭建 Ver1.5.1-20220921

Imagemap
第4章Hive环境搭建 Ver1.5.1-20220921Hive 安装配置学习视频hive理论学习手机扫码学习hive安装与配置手机扫码学习hive元数据库安装与使用hive的使用与词频统计手机扫码学习hive安装hive安装包准备通过官网下载wget -c http://dlcdn.apache.org/hive/hiv ...或者，通过镜像下载wget -c https://mirrors.aliyun.com/apach ...或者，通过hdd网下载wget -c http://home.hddly.cn:90/soft/had ...hive目录转移mv ./apache-hive-3.1.3-bin /usr/local/hi ...mysql-connector通过hdd网下载wget http://bigdata.hddly.cn/b46488/file ...或者，通过镜像下载wget -c https://mirrors.tuna.tsinghua.ed ...解决hadoop、hive之间guava版本差异cd /usr/local/hive/lib rm -rf ./guava-19 ...Hive安装模式嵌入模式使用内嵌Derby数据库存储元数据，这是Hive的默认安装方式，配置简单，但是一 ...本地模式采用本地外部数据库存储元数据，该模式不需要单独开启Metastore服务，因为本 ...远程模式与本地模式一样，远程模式也是采用外部数据库存储元数据。不同的是，远程模式需要单独 ...hive的远程模式元数据存于mysql数据库通过yum安装mysql提示:以下命令在master主机上执行:yum -y install wget wget http://repo.mys ...创建hive数据库和用户 提示:以下语名在mysql>提示符中进行CREATE SCHEMA `hive` DEFAULT CHARACTER S ...hive配置系统环境变量/etc/profilevi /etc/profile 在export行下方添加： export HIV ...使生效 source /etc/profile配置 hive-env.shcd /usr/local/hive/conf cp ./hive-env.sh ...chmod 777 hive-env.sh配置 hive-site.xml(master端) 说明: 1,创建linux下本地路径：mkdir /usr/local/hive ...<property> <name>javax.jdo.option.Co ...<!-- 关闭元数据存储授权 --> <property> <name>hive ...查询 /system:java.io.tmpdir 和查询 /system:us ...修改3215行解决如下编码问题： Exception in thread "ma ...配置log4jcd /usr/local/hive/conf cp ./hive-log4j2 ...修改hadoop配置ln -s $HADOOP_HOME/etc/hadoop/core-site. ...编辑core-site.xmlvi ./core-site.xml在</configuration>之前添加： <property> <n ...编辑mapred-site.xmlvi ./mapred-site.xml在</configuration>之前添加： <property> ...hive库初始化schematool -initSchema -dbType mysql初始化视频初始化后mysql的表结构bin/hive测试运行hive命令: /usr/local/hive/bin/hive 或 h ...查看数据库运行说明： 1,show databases显示的数据库和当前使用的库有关,因此 ...show databases;运行截图创建myname库说明: 1，以下myname改为同学自已名字的拼音 2，以下脚本在hive命令行 ...create database myname;运行截图创建myname.students表use myname; create table students( id i ...运行结果视频hive使用hive加载数据load data语法LOAD DATA [LOCAL] INPATH 'filepath' [OVE ...说明如果命令中带有LOCAL，说明从本地文件系统加载数据，文件路径可以是相对路径，也 ...带LOCAL表示从你的linux服务器上面加载文件到HIVE表内容里面,Loca ...如果不包含LOCAL关键字，则移动HDFS文件到目标表中。不带LOCAL标识从你的HDFS上面文件移动到HIVE表内容里面,Hdfs路径下 ...filepath 可以是一个相对路径，也可以是一个绝对路径。可以是一个文件，也可 ...命令中如果带有overwirte，代表加载数据之前会清空目标表格，否则就是追加的 ...如果表是分区表则必须指定PARTITION从句，否则会报如下错误： FAILED ...hive词频统计准备数据 将hadoop日志上传到hdfs说明: 1,以下内容在集群的linux下执行 2,hdfs dfs -mkdir ...hdfs dfs -rm -r /user/hadoop/hadooplogs ...运行结果视频 进行词频统计说明: 1，如果前面已经使用 create database myname;下面 ...#在hive上创建创建myname数据库 create database myn ...运行结果运行过程视频一 手机扫码查看运行过程视频二:insert into运行过程视频三运行过程视频四:wordcount手机扫码查看截图一截图二hdfs上hive运行结果wordcount内容观察hive的load结果例如数据准备说明:以下命令在linux命令行下执行mkdir /home/hadoop/logs cp /usr/local/ha ...加载HDFS文件到Hive表在hive提示符下执行： load data inpath '/user/had ...观察运行后hdfs上的文件会消失： 使用以下命令在linux命令行下执行: hd ...运行结果截图加载本地文件到Hive的表在hive提示符下执行： load data local inpath '/ho ...观察运行后/home/hadoop/logs下文件仍存在： 使用以下命令在lin ...运行结果截图参考Hive-HQL语法详解参考URLhive的内嵌模式hive配置系统环境变量/etc/profileexport HIVE_HOME=/usr/local/hive export ...增加HIVE_CONF_DIR,用于sqoop使生效 source /etc/profile配置 hive-env.shcd /usr/local/hive/conf cp ./hive-env.sh ...chmod u+x hive-env.sh配置hive-site.xml创建路径： mkdir /usr/local/hive/iotmpcd /usr/local/hive/conf cp ./hive-defaul ...删除hive-site.xml的3215行，使用:3215,然后dd删除行配置derby目录 <name>javax.jdo.option.ConnectionURL ...配置log4jcd $HIVE_CONF_DIR cp ./hive-log4j2.prope ...hive初始化[hadoop@master ~]$ schematool -initSchem ...运行截图一运行截图二hive测试使用 show databases;hive> show databases; OK default Time ta ...运行截图创建test库hive> create database test;创建test.students表hive> use test; OK Time taken: 0.173 sec ...创建表截图hdfs上目录截图内嵌模式缺点只支持单个session 切换工作路径需重新初始化通常测试用hive服务方式hiveserver2方式 hive --service hiveserver2 &运行截图hive客户端配置修改conf/hive-site.xml <property> <name>hive.server2.thri ... <property> <name>hive.metastore.ur ...hive客户端测试bin/beelinebeeline> !connect jdbc:hive2://master:10 ...输入master上用户 hadoop hadoop成功接入后查数据库：show databases;运行截图master的截图metastore方式hive --service metastore &运行截图有个RunJar服务hive客户端配置复制hive-site.xmlcp /usr/local/hive/conf/hive-site.xml /u ...修改conf/hive-site.xml <property> <name>hive.metastore.ur ...hive客户端测试bin/hive成功接入后查数据库:show databases;运行结果hive> show databases; OK default test Ti ...运行截图mysql安装参考官方rpm安装下载参考：https://downloads.mysql.com/archive ...mkdir -p /home/hadoop/mysql cd /home/had ...systemctl start mysqld systemctl enable ...常见问题运行hive词频统计异常ql.Driver: FAILED: Execution Error, retu ...错误截图分析，查看yarn日志Exception in thread "main" java.lang.NoC ...日志错误截图无法找到yarn相关库处理一：添加 yarn-site.xml的链接到 hive的conf目录下ln -s $HADOOP_HOME/etc/hadoop/core-site. ...处理二：1、首先运行：hadoop classpath[hadoop@master sbin]$ hadoop classpath ...2、编辑mapred-site.xml文件 （将1中的结果添加进来）vi ./mapred-site.xml <property> <name>mapreduce.a ...
hide
第4章Hive环境搭建
Ver1.5.1-20220921
hide
Hive 安装配置
hide
学习视频
hide
hive理论学习 User Link
leaf
手机扫码学习 User Link
hide
hive安装与配置 User Link
leaf
手机扫码学习 User Link
leaf
hive元数据库安装与使用 User Link
hide
hive的使用与词频统计 User Link
leaf
手机扫码学习 User Link
hide
hive安装
hide
hive安装包准备
hide
通过官网下载
leaf
wget -c http://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz --no-check-certificate
tar -xzvf ./apache-hive-3.1.3-bin.tar.gz
hide
或者，通过镜像下载
leaf
wget -c https://mirrors.aliyun.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz?spm=a2c6h.25603864.0.0.513c158f5Pgs0U
tar -xzvf ./apache-hive-3.1.3-bin.tar.gz?spm=a2c6h.25603864.0.0.513c158f5Pgs0U
hide
或者，通过hdd网下载
leaf
wget -c http://home.hddly.cn:90/soft/hadoop/apache-hive-3.1.3-bin.tar.gz
tar -xzvf ./apache-hive-3.1.3-bin.tar.gz
hide
hive目录转移
leaf
mv ./apache-hive-3.1.3-bin /usr/local/hive
hide
mysql-connector
hide
通过hdd网下载
leaf
wget http://bigdata.hddly.cn/b46488/file/chap6/mysql-connector-java-5.1.45-bin.jar
mv ./mysql-connector-java-5.1.45-bin.jar /usr/local/hive/lib
hide
或者，通过镜像下载
leaf
wget -c https://mirrors.tuna.tsinghua.edu.cn/mysql/downloads/Connector-J/mysql-connector-java-5.1.49.tar.gz --no-check-certificate
tar -zxvf ./mysql-connector-java-5.1.49.tar.gz
cp ./mysql-connector-java-5.1.49/mysql-connector-java-5.1.49-bin.jar /usr/local/hive/lib
hide
解决hadoop、hive之间guava版本差异
leaf
cd /usr/local/hive/lib
rm -rf ./guava-19.0.jar
cp /usr/local/hadoop-3.3.1/share/hadoop/common/lib/guava-27.0-jre.jar ./
hide
Hive安装模式
hide
嵌入模式
leaf
使用内嵌Derby数据库存储元数据，这是Hive的默认安装方式，配置简单，但是一次只能连接一个客户端，适合用来测试，不适合生产环境
hide
本地模式
leaf
采用本地外部数据库存储元数据，该模式不需要单独开启Metastore服务，因为本地模式使用的是和Hive在同一个进程中的Metastore服务。（本地安装mysql 替代derby存储元数据）
hide
远程模式
leaf
与本地模式一样，远程模式也是采用外部数据库存储元数据。不同的是，远程模式需要单独开启Metastore服务，然后每个客户端都在配置文件中配置连接该Metastore服务。远程模式中，Metastore服务和Hive运行在不同的进程中（远程安装mysql 替代derby存储元数据）
hide
hive的远程模式
hide
元数据存于mysql数据库
hide
通过yum安装mysql
leaf
提示:以下命令在master主机上执行:
leaf
yum -y install wget
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm

yum install -y mysql-server
systemctl start mysqld
systemctl enable mysqld
mysql -u root
(
如果上方mysql -u root不能进入mysql>提示符，再执行下面命令:
/usr/bin/mysqladmin -u root -h mysql password 'root'
mysql -u root -p root
)
hide
创建hive数据库和用户
leaf
提示:以下语名在mysql>提示符中进行
leaf
CREATE SCHEMA `hive` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_bin ;
grant all on *.* to hive@'%' identified by 'hive';
grant all on *.* to hive@'localhost' identified by 'hive';
grant all on *.* to hive@'master' identified by 'hive';
grant all privileges on *.* to 'hive'@'%' identified by 'hive' with grant option;
grant all privileges on *.* to 'hive'@'master' identified by 'hive' with grant option;
flush privileges;
hide
hive配置
hide
系统环境变量/etc/profile
leaf
vi /etc/profile
在export行下方添加：
export HIVE_HOME=/usr/local/hive
export HCAT_HOME=$HIVE_HOME/hcatalog
export HIVE_CONF_DIR=$HIVE_HOME/conf
export PATH=$HIVE_HOME/bin:$PATH
leaf
使生效 source /etc/profile
hide
配置 hive-env.sh
leaf
cd /usr/local/hive/conf
cp ./hive-env.sh.template ./hive-env.sh
vi ./hive-env.sh
添加文件末尾以下内容：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64/jre
export HADOOP_HOME=/usr/local/hadoop-3.3.1
export HIVE_CONF_DIR=/usr/local/hive/conf
export HIVE_AUX_JARS_PATH=/usr/local/hive/lib
leaf
chmod 777 hive-env.sh
hide
配置 hive-site.xml(master端)
leaf
说明:
1,创建linux下本地路径：mkdir /usr/local/hive/iotmp
2, 进入hive的conf目录，生成并修改hive-site.xml
cd /usr/local/hive/conf
cp ./hive-default.xml.template ./hive-site.xml
vi ./hive-site.xml
3,在hive-site.xml中找到下方相应属性修改值(使用"/"加要查找的内容)。
或者删除所有默认配置，重新添加属性
4,元数据使用前面创建好的mysql数据库,hive库，用户名和密码:hive
leaf
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>Username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastore database</description>
</property>
leaf
<!-- 关闭元数据存储授权 -->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
<!-- 关闭元数据存储版本的验证 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
leaf
查询 /system:java.io.tmpdir 和查询 /system:user.name 并使用 n查询一下处，发现有多处
全局替换
:%s#${system:java.io.tmpdir}#/usr/local/hive/iotmp#g
:%s#${system:user.name}#hadoop#g
leaf
修改3215行解决如下编码问题：
Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
at [row,col,system-id]: [3215,96,"file:/usr/local/hive/conf/hive-site.xml"]
方法是:3215,然后按两次dd删除<description>和</description> 之间的内容
hide
配置log4j
leaf
cd /usr/local/hive/conf
cp ./hive-log4j2.properties.template ./hive-log4j2.properties
cp ./hive-exec-log4j2.properties.template ./hive-exec-log4j2.properties
hide
修改hadoop配置
leaf
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml $HIVE_HOME/conf/core-site.xml
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HIVE_HOME/conf/hdfs-site.xml
ln -s $HADOOP_HOME/etc/hadoop/yarn-site.xml $HIVE_HOME/conf/yarn-site.xml
ln -s $HADOOP_HOME/etc/hadoop/mapred-site.xml $HIVE_HOME/conf/mapred-site.xml
hide
编辑core-site.xml
hide
vi ./core-site.xml
leaf
在</configuration>之前添加：
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
hide
编辑mapred-site.xml
hide
vi ./mapred-site.xml
leaf
在</configuration>之前添加：
<property>
<name>mapreduce.application.classpath</name> <value>/usr/local/hadoop-3.3.1/etc/hadoop:/usr/local/hadoop-3.3.1/share/hadoop/common/lib/*:/usr/local/hadoop-3.3.1/share/hadoop/common/*:/usr/local/hadoop-3.3.1/share/hadoop/hdfs:/usr/local/hadoop-3.3
.1/share/hadoop/hdfs/lib/*:/usr/local/hadoop-3.3.1/share/hadoop/hdfs/*:/usr/local/hadoop-3.3.1/share/hadoop/mapreduce/*:/usr/local/hadoop-3.3.1/share/hadoop/yarn:/usr/local/hadoop-3.3.1/share/hadoop/yarn/lib/*
:/usr/local/hadoop-3.3.1/share/hadoop/yarn/*</value>
</property>
Arrow Link
hide
hive库初始化
hide
schematool -initSchema -dbType mysql
leaf
初始化视频 User Link
leaf
初始化后mysql的表结构 User Link
hide
bin/hive测试
leaf
运行hive命令:
/usr/local/hive/bin/hive 或 hive
hide
查看数据库
leaf
运行说明：
1,show databases显示的数据库和当前使用的库有关,因此列表数据不同
2,只要能正常列表库名,中间未提示异常即可
leaf
show databases;
leaf
运行截图 User Link
hide
创建myname库
leaf
说明:
1，以下myname改为同学自已名字的拼音
2，以下脚本在hive命令行进行
leaf
create database myname;
leaf
运行截图 User Link
hide
创建myname.students表
leaf
use myname;
create table students(
id int,
name string,
score double,
classes string)
row format delimited fields terminated by '\t';
show tables;
leaf
运行结果视频 User Link
hide
hive使用
hide
hive加载数据
hide
load data
hide
语法
leaf
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename \
[PARTITION (partcol1=val1, partcol2=val2 ...)]
hide
说明
leaf
如果命令中带有LOCAL，说明从本地文件系统加载数据，文件路径可以是相对路径，也可以是绝对路径。在这种情况下，首先将文件从本地复制到hdfs相应的位置，然后移动到hive表格中，这个时候原始数据文件是存在于Hive表之下的路径下。
leaf
带LOCAL表示从你的linux服务器上面加载文件到HIVE表内容里面,Local本地上面对应的这个文件不会消失.
leaf
如果不包含LOCAL关键字，则移动HDFS文件到目标表中。
leaf
不带LOCAL标识从你的HDFS上面文件移动到HIVE表内容里面,Hdfs路径下对应的该文件就会消失
leaf
filepath 可以是一个相对路径，也可以是一个绝对路径。可以是一个文件，也可以是一个文件夹目录。如果是一个目录，这个时候文件夹下的所有文件都会被加载。
leaf
命令中如果带有overwirte，代表加载数据之前会清空目标表格，否则就是追加的方式。
leaf
如果表是分区表则必须指定PARTITION从句，否则会报如下错误：
FAILED:SemanticException [Error 10062]: Need to specify partition columns because the destination table is partitioned
hide
hive词频统计
hide
准备数据
将hadoop日志上传到hdfs
leaf
说明:
1,以下内容在集群的linux下执行
2,hdfs dfs -mkdir是在hdfs上创建目录
leaf
hdfs dfs -rm -r /user/hadoop/hadooplogs
hdfs dfs -mkdir -p /user/hadoop/hadooplogs
cd /usr/local/hadoop-3.3.1/logs/
hdfs dfs -put ./*.log /user/hadoop/hadooplogs/
hdfs dfs -ls /user/hadoop/hadooplogs
leaf
运行结果视频 User Link
hide
进行词频统计
leaf
说明:
1，如果前面已经使用 create database myname;下面可以跳过执行该行
2，以下myname改为同学自已名字的拼音
3，以下脚本在hive命令行进行
4，若重复执行create table wordcount，需在wordcount后加上_1,_2等避免表已存在问题
leaf
#在hive上创建创建myname数据库
create database myname;
use myname;
#在myname数据训上创建创建docs_tmp和docs表
create table docs_tmp(line string);
create table docs(line string);
#加载HDFS的数据到Hive的docs_tmp临时表
load data inpath '/user/hadoop/hadooplogs' overwrite into table docs_tmp;
#从临时表docs_tmp添加到正式表docs
INSERT into docs select line from docs_tmp;
#从正式表docs分析词频，将结果存入wordcount结果表
create table wordcount as (select word, count(1) as count from (select explode(split(line, ' ')) as word from docs) w group by word order by word);
#统计结果表wordcount的记录数
select count(*) from wordcount;
hide
运行结果
hide
运行过程视频一 User Link
leaf
手机扫码查看 User Link
leaf
运行过程视频二:insert into User Link
leaf
运行过程视频三 User Link
hide
运行过程视频四:wordcount User Link
leaf
手机扫码查看 User Link
leaf
截图一 User Link
leaf
截图二 User Link
leaf
hdfs上hive运行结果wordcount内容 User Link
hide
观察hive的load结果
hide
例如
hide
数据准备
leaf
说明:以下命令在linux命令行下执行
leaf
mkdir /home/hadoop/logs
cp /usr/local/hadoop-3.3.1/logs/*.log /home/hadoop/logs/
hdfs dfs -rm -r /user/hadoop/hadooplogs
hdfs dfs -mkdir -p /user/hadoop/hadooplogs
hdfs dfs -put /home/hadoop/logs/* /user/hadoop/hadooplogs
hide
加载HDFS文件到Hive表
Arrow Link
leaf
在hive提示符下执行：
load data inpath '/user/hadoop/hadooplogs' into table docs_tmp;
hide
观察运行后hdfs上的文件会消失：
使用以下命令在linux命令行下执行:
hdfs dfs -ls /user/hadoop/hadooplogs
leaf
运行结果截图 User Link
hide
加载本地文件到Hive的表
leaf
在hive提示符下执行：
load data local inpath '/home/hadoop/logs/' into table docs_tmp;
hide
观察运行后/home/hadoop/logs下文件仍存在：
使用以下命令在linux命令行下执行：
ls -lt /home/hadoop/logs
leaf
运行结果截图 User Link
hide
参考
hide
Hive-HQL语法详解
leaf
参考URL User Link
hide
hive的内嵌模式
hide
hive配置
hide
系统环境变量/etc/profile
hide
export HIVE_HOME=/usr/local/hive
export HCAT_HOME=$HIVE_HOME/hcatalog
export HIVE_CONF_DIR=$HIVE_HOME/conf
export PATH=$HIVE_HOME/bin:$PATH
leaf
增加HIVE_CONF_DIR,用于sqoop
leaf
使生效 source /etc/profile
hide
配置 hive-env.sh
leaf
cd /usr/local/hive/conf
cp ./hive-env.sh.template ./hive-env.sh
vi ./hive-env.sh
添加以下内容：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64/jre
export HADOOP_HOME=/usr/local/hadoop-3.3.1
export HIVE_CONF_DIR=/usr/local/hive/conf
export HIVE_AUX_JARS_PATH=/usr/local/hive/lib
leaf
chmod u+x hive-env.sh
hide
配置hive-site.xml
leaf
创建路径：
mkdir /usr/local/hive/iotmp
leaf
cd /usr/local/hive/conf
cp ./hive-default.xml.template ./hive-site.xml
vi ./hive-site.xml
修改内容：
<property>
<name>hive.metastore.uris</name>
<value>/user/hive/warehouse</value>
<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/tmp/hive</value>
<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permis
sion}.</description>
</property>
查询 /system:java.io.tmpdir 和查询 /system:user.name 并使用 n查询一下处，发现有多处
全局替换
:%s#${system:java.io.tmpdir}#/usr/local/hive/iotmp#g
:%s#${system:user.name}#hadoop#g
Arrow Link
leaf
删除hive-site.xml的3215行，使用:3215,然后dd删除行
hide
配置derby目录
leaf
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:/home/hadoop/metastore_db;databaseName=metastore_db;create=true</value>
<description>
hide
配置log4j
leaf
cd $HIVE_CONF_DIR
cp ./hive-log4j2.properties.template ./hive-log4j2.properties
cp ./hive-exec-log4j2.properties.template ./hive-exec-log4j2.properties
hide
hive初始化
hide
[hadoop@master ~]$ schematool -initSchema -dbType derby
leaf
运行截图一 User Link
leaf
运行截图二 User Link
hide
hive测试
Arrow Link
hide
使用 show databases;
leaf
hive> show databases;
OK
default
Time taken: 3.431 seconds, Fetched: 1 row(s)
leaf
运行截图 User Link
hide
创建test库
leaf
hive> create database test;
hide
创建test.students表
leaf
hive> use test;
OK
Time taken: 0.173 seconds
hive> create table students(
> id int,
> name string,
> score double,
> classes string)
> row format delimited fields terminated by '\t';
OK
Time taken: 0.626 seconds
hive>
leaf
创建表截图 User Link
leaf
hdfs上目录截图 User Link
hide
内嵌模式缺点
leaf
只支持单个session
leaf
切换工作路径需重新初始化
leaf
通常测试用
hide
hive服务方式
hide
hiveserver2方式
hide
hive --service hiveserver2 &
leaf
运行截图 User Link
hide
hive客户端配置
hide
修改conf/hive-site.xml
leaf
<property>
<name>hive.server2.thrift.bind.host</name>
<value>master</value>
<description>Bind host on which to run the HiveServer2 Thrift service.</description>
</property>
leaf
<property>
<name>hive.metastore.uris</name>
<value>thrift://master:9083</value>
<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>
hide
hive客户端测试
hide
bin/beeline
leaf
beeline> !connect jdbc:hive2://master:10000
leaf
输入master上用户 hadoop hadoop
leaf
成功接入后查数据库：show databases;
leaf
运行截图 User Link
leaf
master的截图 User Link
hide
metastore方式
hide
hive --service metastore &
leaf
运行截图 User Link
Arrow Link
leaf
有个RunJar服务
hide
hive客户端配置
hide
复制hive-site.xml
leaf
cp /usr/local/hive/conf/hive-site.xml /usr/local/spark/conf/
hide
修改conf/hive-site.xml
leaf
<property>
<name>hive.metastore.uris</name>
<value>thrift://master:9083</value>
<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>
hide
hive客户端测试
hide
bin/hive
leaf
成功接入后查数据库:show databases;
hide
运行结果
leaf
hive> show databases;
OK
default
test
Time taken: 3.7 seconds, Fetched: 2 row(s)
hive> use test;
OK
Time taken: 0.379 seconds
hive> show tables;
OK
students
Time taken: 0.201 seconds, Fetched: 1 row(s)
hive>
leaf
运行截图 User Link
hide
mysql安装参考
hide
官方rpm安装
leaf
下载参考：https://downloads.mysql.com/archives/community/ User Link
leaf
mkdir -p /home/hadoop/mysql
cd /home/hadoop/mysql
yum -y install wget
wget -c https://cdn.mysql.com/archives/mysql-5.7/mysql-community-client-5.7.38-1.el7.x86_64.rpm
wget -c https://cdn.mysql.com/archives/mysql-5.7/mysql-community-common-5.7.38-1.el7.x86_64.rpm
wget -c https://cdn.mysql.com/archives/mysql-5.7/mysql-community-libs-5.7.38-1.el7.x86_64.rpm
wget -c https://cdn.mysql.com/archives/mysql-5.7/mysql-community-server-5.7.38-1.el7.x86_64.rpm

rpm -qa|grep -i mariadb
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64

yum -y install net-tools
yum -y install perl
rpm -ivh mysql*
leaf
systemctl start mysqld
systemctl enable mysqld
以下查密码：
cat /var/log/mysqld.log|grep 'A temporary password'
mysql -u root -p 密码
以下在mysql中执行：
set global validate_password_policy=0;
set global validate_password_length=1;
alter user 'root'@'localhost' identified by '123456';
hide
常见问题
hidebutton_ok
运行hive词频统计异常
hide
ql.Driver: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched:
leaf
错误截图 User Link
hide
分析，查看yarn日志
hide
Exception in thread "main" java.lang.NoClassDefFoundError:
org/apache/hadoop/yarn/exceptions/YarnRuntimeException
leaf
日志错误截图 User Link
leaf
无法找到yarn相关库
hide
处理一：
hide
添加 yarn-site.xml的链接到 hive的conf目录下
leaf
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml $HIVE_HOME/conf/core-site.xml
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HIVE_HOME/conf/hdfs-site.xml
ln -s $HADOOP_HOME/etc/hadoop/yarn-site.xml $HIVE_HOME/conf/yarn-site.xml
ln -s $HADOOP_HOME/etc/hadoop/mapred-site.xml $HIVE_HOME/conf/mapred-site.xml
hide
处理二：
hide
1、首先运行：hadoop classpath
Arrow Link
leaf
[hadoop@master sbin]$ hadoop classpath
/usr/local/hadoop-3.3.1/etc/hadoop:/usr/local/hadoop-3.3.1/share/hadoop/common/lib/*:/usr/local/hadoop-3.3.1/share/hadoop/common/*:/usr/local/hadoop-3.3.1/share/hadoop/hdfs:/usr/local/hadoop-3.3.1/share/hadoop/hdfs/lib/*:/usr/local/hadoop-3.3.1/share/hadoop/hdfs/*:/usr/local/hadoop-3.3.1/share/hadoop/mapreduce/*:/usr/local/hadoop-3.3.1/share/hadoop/yarn:/usr/local/hadoop-3.3.1/share/hadoop/yarn/lib/*:/usr/local/hadoop-3.3.1/share/hadoop/yarn/*
[hadoop@master sbin]$
hide
2、编辑mapred-site.xml文件
（将1中的结果添加进来）
leaf
vi ./mapred-site.xml
leaf
<property>
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop-3.3.1/etc/hadoop:/usr/local/hadoop-3.3.1/share/hadoop/common/lib/*:/usr/local/hadoop-3.3.1/share/hadoop/common/*:/usr/local/hadoop-3.3.1/share/hadoop/hdfs:/usr/local/hadoop-3.3
.1/share/hadoop/hdfs/lib/*:/usr/local/hadoop-3.3.1/share/hadoop/hdfs/*:/usr/local/hadoop-3.3.1/share/hadoop/mapreduce/*:/usr/local/hadoop-3.3.1/share/hadoop/yarn:/usr/local/hadoop-3.3.1/share/hadoop/yarn/lib/*
:/usr/local/hadoop-3.3.1/share/hadoop/yarn/*</value>
</property>
Arrow Link