华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录

发布时间 2023-12-29 17:53:17作者: 技术僧
 华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录

 

 

产品官网:https://www.huaweicloud.com/product/hecs-light.html

 

 

今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心华为云耀云服务器L实例为例,演示单台服务器模拟配置hadoop集群的前置准备

 

Hadoop 是一个开源的分布式存储和计算框架,旨在处理大规模数据集。它是 Apache 软件基金会的一个顶级项目,为用户提供了一种可靠、可扩展且高效处理大数据的方式。

 

1. Hadoop Distributed File System(HDFS): HDFS 是 Hadoop 的分布式文件系统,设计用于存储大规模数据集。它将数据划分为块(block)并分布存储在多台机器上,提供了高容错性和可靠性。

 

2. MapReduce: MapReduce 是 Hadoop 的计算模型,用于并行处理大规模数据集。它将计算任务分解为 Map 和 Reduce 阶段,通过在分布式环境中执行这些任务来实现数据处理。

 

3. YARN(Yet Another Resource Negotiator): YARN 是 Hadoop 的资源管理器,负责集群资源的管理和调度。它允许多个应用程序共享同一集群,从而更有效地利用集群资源。

 

4. Hadoop生态系统: Hadoop 生态系统包含许多其他工具和框架,如 Hive、Pig、HBase、Spark 等,用于支持不同类型的数据处理和分析需求。

 

5. 扩展性: Hadoop 具有良好的可扩展性,可以轻松地在集群中添加新的节点以处理不断增长的数据量。它支持在普通硬件上搭建集群,使得大规模数据处理变得更加经济高效。

 

6. 开源和社区支持: Hadoop 是开源软件,由全球的开发者社区维护和支持。它拥有庞大的用户社群和活跃的开发者社区,不断推动框架的发展和改进。

 

Hadoop 被广泛应用于处理大规模数据,包括数据存储、数据分析、机器学习等各种场景。它的设计理念使得它适用于在常规硬件上搭建的大规模集群,并为用户提供了一种可靠、高效、可扩展的大数据处理解决方案。

 

### 步骤 1:修改主机名并配置映射

 

为了后续操作的方便起见,我们将修改默认的云主机名为node1

 

```bash

hostnamectl set-hostname node1

```

 

在文件中找到包含旧主机名的行,并将其更改为新主机名 `node1`。保存文件并关闭编辑器。

最后,需要重新启动系统或重新登录,以便使这些更改生效。

 

配置主机名映射

1.  在 Windows 系统中修改 hosts 文件,填入如下内容:

<IP地址> <主机名>

地址:C:\Windows\System32\drivers\etc\hosts

 

2.  华为云耀云服务器L实例的 /etc/hosts 文件中,填入如下内容

<IP地址> <主机名>

 

### 步骤 2:配置SSH免密登录

 

后续若要安装的集群化软件,多数需要远程登录以及远程执行命令,我们可以简单起见,配置三台 Linux 服务器之间的免密码互相 SSH 登陆

```bash

ssh-keygen -t rsa -b 4096

ssh-copy-id node1

```

遇到选项就一路回车到底,执行完毕后, node1将完成 root 用户的免密互通,后续配置其他集群的分布式子机也同理

 

### 步骤 3:创建 hadoop 用户并配置免密登录

 

后续我们的操作,均不会以 root 用户启动

我们为大数据的软件创建一个单独的用户 hadoop ,并为服务器同样配置 hadoop 用户的免密互通

```bash

useradd -m hadoop

passwd hadoop

su - hadoop

ssh-keygen -t rsa -b 4096

ssh-copy-id node1

```

1. 创建 hadoop 用户

2. 设置 hadoop 用户密码为 123456

3. 切换到 hadoop 用户: su - hadoop ,并执行 ssh-keygen -t rsa -b 4096 ,创建 ssh 密钥

4. 执行ssh-copy-id指令

 

至此,我们在华为云耀云服务器L实例上完成了大数据节点部署的基础配置,这是绝大多数大数据应用在云服务器上运行的基础,在此步骤中,华为云耀云服务器L实例很好地完成并响应了所有的配置指令支撑,让我们得以尽快进入下一步的配置,并最终完成独立项目的部署。