hdfs
hdfs的透明加密记录
# 1、背景 我们知道，在`hdfs`中，我们的数据是以`block`块存储在我们的磁盘上的，那么默认情况下，它是以`密文`存储的，还是以`明文`存储的呢？如果是明文存储的，那么是否就不安全呢？那么在`hdfs`中是如何做才能做到数据的`透明加密`呢？ # 2、常见的加密层级  上图是HDFS的写流程图 主要步骤如下 - client向服务器发起上传请求（RPC） - NameN ......
大数据面试题集锦-Hadoop面试题(二)-HDFS
> 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。 [TOC] ## 1、 HDFS 中的 block 默认保存几份？ 默认保存3份 ## 2、HDFS 默认 BlockS ......
Hudi表创建时HDFS上的变化
SparkSQL 建 Hudi 表语句： ```sql CREATE TABLE t71 ( ds BIGINT, ut STRING, pk BIGINT, f0 BIGINT, f1 BIGINT, f2 BIGINT, f3 BIGINT, f4 BIGINT ) USING hudi PAR ......
hdfs文件上传打包及bug汇总
#### 1、错误: 找不到或无法加载主类 删除META-INFO下的 .DSA和 .SF文件即可  来源 [csdn ......
hdfs开启回收站(废纸篓)
# 1、背景 我们知道，在`mac`系统上删除文件，一般情况下是可以进入 `废纸篓`里的，如果此时我们误删除了，还可以从 废纸篓中恢复过来。那么在`hdfs`中是否存在类似mac上的`废纸篓`这个功能呢？答案是存在的。 
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。 HDFS 有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有 ......
HDFS网页访问静态用户设置
在使用网页删除文件夹时，被提示权限不够，因为默认是以普通用户权限访问，而文件夹时root用户的 配置网页默认访问用户为root <!-- 配置HDFS网页端使用的静态用户 --> <property> <name>hadoop.http.staticuser.user</name> <value>r ......
Hadoop-HDFS压测】针对HDFS进行读写性能测试
###【Hadoop-HDFS压测】针对HDFS进行读写性能测试 1）测试工具 2）写入数据测试 3）读取数据测试 4）清除数据 ####1)测试工具 Hadoop自身集成的工具包：hadoop-mapreduce-client-jobclient-3.1.1.jar 注意： 1、如果是Apache ......
hdfs认证报错处理
hdfs认证报错1 hdfs报错Failed on local exception: java.io.IOException: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOK ......
Hadoop - HDFS常用命令
“hadoop fs（hdfs dfs）文件操作” # 查看目录 hdfs dfs -ls / # 查看目录下所有文件 hdfs dfs -ls -R / # 创建目录 hdfs dfs -mkdir -p /source/data # 查看文件或目录大小 hdfs dfs -du -h /sour ......
CDH HDFS Non DFS Used 存储空间异常
问题：一个CDH集群Non DFS Used空间很大，排查了节点上磁盘实际使用，以及dfs.datanode.du.reserved参数，都没有异常情况； CDH版本：5.13 hadoop版本：2.6 1、这个问题是hadoop2.6版本的一个bug HDFS-8072 [HDFS-8072]如果 ......
HDFS？
Hadoop分布式文件系统（HDFS）是Apache Hadoop生态系统的核心组件之一，它是一种设计用于存储和处理超大规模数据集的分布式文件系统。 HDFS是一个分布式文件系统，它将大文件切分成多个小文件存储在不同的计算机节点上，因此可以存储大规模的非结构化数据，例如文本、图像、音频和视频等。 H ......
分布式存储技术（上）：HDFS 与 Ceph的架构原理、特性、优缺点解析
面对企业级数据量，单机容量太小，无法存储海量的数据，这时候就需要用到多台机器存储，并统一管理分布在集群上的文件，这样就形成了分布式文件系统。HDFS是Hadoop下的分布式文件系统技术，Ceph是能处理海量非结构化数据存储的对象存储技术，本文将对他们的架构原理、特性和优缺点做介绍。 — 分布式文件系 ......
HDFS存储介绍
1：datanode 数据节点-存放数据的 2：namenode 名字节点-主要是存放元数据的，比如：文件大小 名称 存放位置 等 3：secondarynamenode 是存放fimage信息的，具体解释如下： namenode fimage editlog namenode 中每次有信息变化的时 ......
hdfs集群的扩容和缩容
1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam ......
云上大数据存储：探究 JuiceFS 与 HDFS 的异同
HDFS 作为 Hadoop 提供存储组件，已经成为大数据生态里面数据存储最常用的选择，通常在机房环境部署。 JuiceFS 是一个基于对象存储的分布式文件系统，用户可以在云上快速地搭建按需扩容的弹性文件系统。 如果企业正在考虑在云上构建大数据平台，了解这两种产品的差异和优缺点，可以为企业迁移或切换 ......
hdfs disk balancer 磁盘均衡器
1、背景 在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。比如： 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡 ......