Hadoop常见问题解析

发布时间 2023-06-30 13:12:34作者: 散游人

Hadoop常见问题解析

Hadoop特性

1.高可靠性:采用冗余数据存贮方式,即使一个副本发生故障,其他副本也可以保证对外工作的正常进行。

2.高效性:作为并行分布式计算平台,hadoop采用分布式存贮和分布式处理两大核心技术,能够高效的处理PB级别的数据

3.高可扩展性:hadoop的设计目标是可以高效稳定的运行在廉价的计算机集群上,可以扩展到数以千计的计算机节点上。

4.高容错性:采用冗余数据存贮方式,自动保存数据的多个副本,并且能够自动将失败的任务重新分配。

5.成本低:hadoop采用廉价的计算机集群,普通的用户也可以pc机搭建环境

6.运行在linux平台上,hadoop是基于java语言开发的,可以较好的运行在linux的平台上

7.支持多种编程语言,如:C++等/

HDFS读写流程

读截图

HDFS写流程

写截图

MD5校验(checksum)是通过对接收的传输数据执行散列运算来检查数据的正确性。