华为云耀云服务器L实例-大数据学习-Hive的部署-1

发布时间 2023-12-29 18:14:07作者: 技术僧
 华为云耀云服务器L实例-大数据学习-Hive的部署-1

 

 

产品官网:https://www.huaweicloud.com/product/hecs-light.html

 

 

今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心华为云耀云服务器L实例为例,介绍Hive的部署

 

Hive 是建立在 Hadoop 上的一个数据仓库和查询系统。它提供了类似 SQL 的查询语言(称为 HiveQL)来查询和分析存储在 Hadoop 分布式文件系统(HDFS)中的大规模数据。Hive 的设计目标是使非技术用户能够通过类似于 SQL 的语言来查询和分析大规模数据集,而无需深入了解复杂的编程模型。

 

以下是 Hive 的一些主要特点和概念:

 

1. HiveQL语言: Hive 提供了 Hive 查询语言(HiveQL),这是一种类似于 SQL 的语言,允许用户执行查询、过滤和聚合等操作。HiveQL查询会被转化为一系列的 MapReduce 作业,从而在底层利用 Hadoop 进行分布式计算。

 

2. 元数据存储: Hive 使用元数据存储来存储表模式和统计信息。默认情况下,它使用嵌入式的 Derby 数据库,但也可以配置为使用其他数据库,如 MySQL 或 PostgreSQL。

 

3. 表和分区: Hive中的数据组织为表,表可以分为分区以提高查询性能。分区允许根据表中的某些列将数据划分为更小的部分,以便更有效地执行查询。

 

4. UDF(用户定义函数): Hive 支持用户定义的函数,这允许用户编写自定义的处理逻辑,并将其嵌入到 HiveQL 查询中。

 

5. 可扩展性: Hive 可以与 Hadoop 生态系统中的其他工具集成,包括 HBase、Spark、Tez 等,以便更灵活地处理不同类型的数据和查询。

 

6. 批处理: Hive 通常用于大规模批处理,适用于处理大量的静态数据。对于需要实时性能的场景,可能需要考虑其他工具,如 Apache Spark。

 

Hive 的使用场景主要涉及数据仓库和数据分析,特别是当数据规模很大,而且对实时性能没有过高要求时。通过使用 HiveQL,用户可以利用 SQL 风格的查询语言来分析和挖掘庞大的分布式数据集。

 

以下是在华为云耀云服务器L实例配置Hive的中文步骤。请确保已经按照前文教程在服务器上配置好Hadoop。在 node1 在线安装 MySQL5.7 本。

 

### 1. 安装 MySQL 服务器

 

```bash

sudo apt update

sudo apt install mysql-server

```

### 2. 启动 MySQL 服务

 

```bash

sudo systemctl start mysql

```

### 3. 配置 MySQL 安全性

 

```bash

sudo mysql_secure_installation

```

根据提示,设置 MySQL root 用户密码,禁用匿名用户登录,删除测试数据库,并限制 root 用户只能本地登录。

 

### 4. 登录到 MySQL 服务器

 

```bash

mysql -u root -p

```

输入之前设置的 root 密码,第一次使用,只需直接回车

 

### 5. 创建新的 MySQL 用户和数据库

 

```sql

CREATE DATABASE vhr;

CREATE USER 'root'@'localhost' IDENTIFIED BY 'StrongPassword123';

GRANT ALL PRIVILEGES ON vhr.* TO 'root'@'localhost';

FLUSH PRIVILEGES;

```

替换 `your_database_name`、`your_username` 和 `your_password` 为你自己的数据库名称、用户名和密码。

 

### 6. 退出 MySQL

 

```sql

exit;

```

### 7. 配置 MySQL 远程访问

 

如果需要从远程主机访问 MySQL 服务器,需要修改 MySQL 配置文件。

 

```bash

sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf

```

 

找到 `bind-address` 行,将其改为0.0.0.0

 

```conf

# bind-address = 127.0.0.1

```

保存并退出。

 

### 8. 重启 MySQL 服务

 

```bash

sudo systemctl restart mysql

```

### 9. 防火墙配置

 

如果使用防火墙,确保打开 MySQL 端口(默认为 3306)。

 

```bash

sudo ufw allow 3306

```

### 10. 测试连接

 

从远程主机使用 MySQL 客户端工具测试连接。

 

```bash

mysql -u your_username -h your_server_ip -p

```

输入密码,确认能够成功连接。

 

至此,我们已经具备在华为云耀云服务器L实例上部署hive的基础。