本系列笔记是学习 黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战 过程中自己总结和记录的笔记,分享出来方便大家学习

MapReduce支持程序开发（Java、Python等）但不支持SQL开发

分布式SQL计算 - Hive

Apache Hive是一款分布式SQL计算的工具， 其主要功能是：

将SQL语句 翻译成MapReduce程序运行

为什么使用Hive

使用Hadoop MapReduce直接处理数据所面临的问题

  • 人员学习成本太高 需要掌握java、Python等编程语言
  • MapReduce实现复杂查询逻辑开发难度太大

使用Hive处理数据的好处

  • 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）
  • 底层执行MapReduce，可以完成分布式海量数据的SQL处理

Hive基础架构

Hive架构图

image-20240229113548293

Hive组件

元数据存储

通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。-- Hive提供了 Metastore 服务进程提供元数据管理功能

image-20240229113710608

Driver驱动程序，包括语法解析器、计划编译器、优化器、执行器

完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有执行引擎调用执行。

这部分内容不是具体的服务进程，而是封装在Hive所依赖的Jar文件即Java代码中。

image-20240229113721148

用户接口

包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行；Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议。WebGUI是通过浏览器访问Hive。

-- Hive提供了 Hive Shell、 ThriftServer等服务进程向用户提供操作接口

Hive部署

安装MySQL数据库

我们在node1节点使用yum在线安装MySQL5.7版本。

在root用户下执行

更新密钥

rpm -import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

安装Mysql yum库

rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm

yum安装Mysql

yum -y install mysql-community-server

启动Mysql设置开机启动

systemctl start mysqld

systemctl enable mysqld

检查Mysql服务状态

systemctl status mysqld

第一次启动mysql，会在日志文件中生成root用户的一个随机密码，使用下面命令查看该密码

grep 'temporary password' /var/log/mysqld.log

修改root用户密码

进入mysql

mysql -uroot -p

然后输入密码，回车。

如果你想设置简单密码，需要降低Mysql的密码安全级别
密码安全级别低

set global validate_password_policy=LOW;

密码长度最低4位即可

set global validate_password_length=4;

然后就可以用简单密码了（课程中使用简单密码，为了方便，生产中不要这样）

修改root本机登录密码为123456

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

修改远程登录密码，打开root用户从任意地方的主机远程登录的权限

grant all privileges on *.* to root@"%" identified by '123456' with grant option;

刷新权限

flush privileges;

配置Hadoop

Hive的运行依赖于Hadoop（HDFS、MapReduce、YARN都依赖）
同时涉及到HDFS文件系统的访问，所以需要配置Hadoop的代理用户
即设置hadoop用户允许代理（模拟）其它用户

切换到hadoop用户

su - hadoop

cd /export/server/hadoop/etc/hadoop/

vim core-site.xml

添加如下内容在Hadoop的core-site.xml的之间，并分发到其它节点，且重启HDFS集群。

<property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
</property>

下载解压Hive

下载Hive安装包：
http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
将下载好的文件拖拽上传

解压到node1服务器的：/export/server/内

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/

建立软链接

ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive

提供MySQL Driver包

下载MySQL驱动包：
https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

wget -c https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

将下载好的驱动jar包，放入：Hive安装文件夹的lib目录内

mv mysql-connector-java-5.1.34.jar /export/server/apache-hive-3.1.3-bin/lib/

配置Hive
在Hive的conf目录内，新建hive-env.sh文件，填入以下环境变量内容：

cd /export/server/hive/conf

mv hive-env.sh.template hive-env.sh

vim hive-env.sh
export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive/conf
export HIVE_AUX_JARS_PATH=/export/server/hive/lib

在Hive的conf目录内，新建hive-site.xml文件，填入以下内容：

vim hive-site.xml
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>node1</value>
    </property>

    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://node1:9083</value>
    </property>

    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
</configuration>

初始化元数据库

支持，Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。
在MySQL中新建数据库：hive

mysql -u root -p

show databases;

CREATE DATABASE hive CHARSET UTF8;

show databases;
image-20240229171341828

退出mysql

exit

执行元数据库初始化命令：

cd /export/server/hive/bin

./schematool -initSchema -dbType mysql -verbos

image-20240229162840141
初始化成功后，会在MySQL的hive库中新建74张元数据管理的表。

mysql -u root -p

show databases;

use hive

show tables;
image-20240229162918458

启动Hive（使用Hadoop用户）

修改文件权限

chown -R hadoop:hadoop apache-hive-3.1.3-bin hive

确保Hive文件夹所属为hadoop用户
创建一个hive的日志文件夹：

su - hadoop

mkdir /export/server/hive/logs

cd /export/server/hive

启动元数据管理服务（必须启动，否则无法工作）
前台启动：

bin/hive --service metastore

后台启动：

nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

查看日志

tail -f  logs/metastore.log

启动客户端，二选一（当前先选择Hive Shell方式）

确保metastore、hdfs和yarn都已经启动
Hive Shell方式（可以直接写SQL）：

bin/hive

Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）：

bin/hive --service hiveserver2

Hive体验

首先，确保启动了hdfs和yarn集群,Metastore服务。

#启动hdfs
start-dfs.sh
#启动yarn
start-yarn.sh
#启动HistoryServer历史服务器
mapred --daemon start historyserver
#启动Metastore元数据管理服务
nohup /export/server/hive/bin/hive --service metastore >> /export/server/hive/logs/metastore.log 2>&1 &

可以执行：

cd /export/server/hive
bin/hive

进入到Hive Shell环境中，可以直接执行SQL语句。

创建表

CREATE TABLE test(id INT, name STRING, gender STRING);
show tables;

插入数据

insert into test values(1,'mm','nan');

INSERT INTO test VALUES(2,'王力红','男'),(3,'李华','女');
image-20240229172825995

会执行得有点慢。。。

查询数据

SELECT gender, COUNT(*) AS cnt FROM test GROUP BY gender;

验证SQL语句启动的MapReduce程序

打开YARN的WEB UI页面查看任务情况：http://node1:8088

image-20240229172933732

ctrl+c退出hive。

验证Hive的数据存储
Hive的数据存储在HDFS:/user/hive/warehouse中

HiveServer2

在启动Hive的时候，除了必备的Metastore服务外，有2种方式使用Hive：

  • 方式1：
/export/server/hive/bin/hive

即Hive的Shell客户端，可以直接写SQL

  • 方式2：
/export/server/hive/bin/hive --service hiveserver2

后台执行脚本：

nohup /export/server/hive/bin/hive --service hiveserver2 >> /export/server/hive/logs/hiveserver2.log 2>&1 &

bin/hive --service metastore，启动的是Metastore元数据管理服务
bin/hive --service hiveserver2，启动的是HiveServer2服务

HiveServer2是Hive内置的一个ThriftServer服务，提供Thrift端口供其它客户端链接
可以连接ThriftServer的客户端有：

  • Hive内置的 beeline客户端工具（命令行工具）
  • 第三方的图形化SQL工具，如DataGrip、DBeaver、Navicat等

HiveServer2服务

Hive的客户端体系如下

image-20240229190056572

启动

在hive安装的服务器上，首先启动metastore服务，然后启动hiveserver2服务。

hiveserver2服务#启动hdfs
start-dfs.sh
#启动yarn
start-yarn.sh
#启动HistoryServer历史服务器
mapred --daemon start historyserver
#启动Metastore元数据管理服务
nohup /export/server/hive/bin/hive --service metastore >> /export/server/hive/logs/metastore.log 2>&1 &
#启动hiveserver2服务
nohup /export/server/hive/bin/hive --service hiveserver2 >> /export/server/hive/logs/hiveserver2.log 2>&1 &
netstat -anp|grep 10000
image-20240229190542626

beeline

在node1上使用beeline客户端进行连接访问。需要注意hiveserver2服务启动之后需要稍等一会才可以对外提供服务。

Beeline是JDBC的客户端，通过JDBC协议和Hiveserver2服务进行通信，协议的地址是：jdbc:hive2://node1:10000

[hadoop@node1 apache-hive-3.1.3-bin]$ /export/server/hive/bin/beeline 
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/export/server/apache-hive-3.1.3-bin/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/export/server/hadoop-3.3.4/share/hadoop/common/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/export/server/apache-hive-3.1.3-bin/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/export/server/hadoop-3.3.4/share/hadoop/common/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Beeline version 3.1.3 by Apache Hive
beeline>

Hive有哪些客户端

执行：bin/hive，这是Hive提供的Shell环境，可以直接写SQL执行

启动HiveServer2，bin/hive --service hiveserver2这是Hive的Thrift服务，对外提供接口（默认端口10000）可供其它客户端链接，如：bin/beeline（内置）、DataGrip（第三方）、DBeaver（第三方）

image-20240229191131940

DataGrip

DataGrip中创建新Project

image-20240301173853419

关联本地工程文件夹

image-20240301173933696

DataGrip连接Hive

image-20240301174014771

配置Hive JDBC连接驱动(实测默认驱动也是可以使用的)

image-20240301174027766
image-20240301174103318

返回，配置Hiveserver2服务连接信息

image-20240301174158868

配置Hiveserver2服务连接信息

image-20240301174203754

DBeaver

image-20240301174603617
image-20240301174630533
image-20240301174700913

如果连接github网络困难，可以将驱动改为本地的驱动

image-20240301174846325

测试正常

image-20240301174915604
是一名喜欢每天折腾的咸鱼! 也是一名半退役的算竞摸鱼选手,参与过icpc,天梯赛,蓝桥等比赛. --------------------------------------------------- 百度 飞桨领航团-团长 Datawhale -专业助教 上海人工智能实验室 书生·浦语实战营- 助教 --------------------------------------------------- 认证类: 华为 Harmony OS应用开发者高级认证, NISP 一级认证, H3C NE-RS网络工程师认证 --------------------------------------------------- 荣获奖项荣誉: 第十八届“挑战杯”全国大学生课外学术科技作品竞赛 “揭榜挂帅”专项赛-全国特等奖、 “美亚杯”第八届中国电子取证大赛 三等奖、 “蓝桥杯”国优、 中国高校计算机大赛-团体程序天梯赛 省高校一等奖、 “蓝桥杯”省一等奖、 H3C新华三杯 省三等奖、 中国移动“梧桐杯”大数据创新大赛 省三等奖、 百度 飞桨领航团 金牌团长
最后更新于 2024-03-09