hadoop集群 大数据项目实战_电信用户行为分析_day04

进行HIVE环境配置

1.上传相关的包

 2.对上传的包进行下载和创建软连接

 3.配置相关的文件

4.分别发送给其他机子

 假设你需要在所有机器执行同一个指令，则你就需要相关设置

 5.在hive的onf文件中创建hive-site.xml进行相关设置

```xml
<configuration>
<-- 元数据存储的数据库配置 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://biz01:3306/hive?useSSL=false</value>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<-- 数据文件存储的目录配置 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<-- 去掉metastore的校验 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>

<-- 设置thrift的访问端口 hiveserver2 -->
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<-- 设置hiveserver2绑定的主机 -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>hadoop03</value>
</property>
<-- 禁用权限认证 -->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
<-- hive客户端配置, 显示表头信息 -->
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<-- hive客户端配置, 显示当前数据库 -->
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
</configuration>
```

### 初始化元数据信息

```shell
schematool -initSchema -dbType mysql -verbose
```

设置好之后，进行创建数据库和创建表之类的操作

Spark环境配置

1.上传相关包

 2.进行解压

本栏目推荐文章
• 字节微服务HTTP框架Hertz使用与源码分析｜拥抱开
• 和利时MACS6通过dat文件实现任意时间范围与测点的历史数据提取与科研分析
• 认知行为疗法-中对认知的理解
• Binder系列-5-binder_mmap—1—mmap()分析
• 14.Mock 实战练习
• 数据驱动未来：公司运营数据分析大屏引领企业变革
• Spark版本不兼容导致Standalone集群无法连接问题
• Linux 部署redis集群（三主三从）
• NC1 大数加法
• 分布式代码执行分析

行为分析 大数 集群 实战 行为行为分析 大数 集群 实战 算法 实战 行为 个性 服务推荐 行为分析 数据分析 实战 服务推荐 行为分析 数据挖掘 实战 行为 行为分析 行为wpf 行为eplan 行为分析 热水器 热水 家用 行为 密码