hdfs
ERROR: Attempting to operate on hdfs namenode as root问题的解决
# 问题描述 在我尝试启动hadoop集群的时候，突然出现这个问题，一串的ERROR啊，真的是很搞心态！  # 问题 ......
HDFS内存估算方法（看这一篇就够了）
背景提要： 场景为1PB数据，平均文件大小为2MB，并且每个文件都携带100个HDFS标签属性（实际不会这么多）。 计算方法如下: 对的，扩展属性会存储在HDFS的元数据中，因此当有大量文件携带扩展属性时，会对NameNode的内存占用产生影响。 在这个新的情况下，我们假设每个文件携带100个扩展属 ......
RDBMS与Hbase对比 HDFS与HBase对比 Hive与HBase对比
RDBMS: HBASE： HDFS与HBase对比： Hive与HBase对比： Hive与HBase总结 ......
HA高可用 --- HDFS-HA集群配置
(一)环境准备 修改IP 修改主机名及主机名和IP地址的映射 关闭防火墙 ssh免密登录 安装JDK，配置环境变量等 (二)规划集群 看出我们将NameNode分布到两台机器上，保证集群的高可用性 hadoop102hadoop103hadoop104 NameNode NameNode Journ ......
Hadoop的hdfs云服务器配置踩坑记录
本章更多的是通过hdfs的API接口问题角度记录坑点 # 坑点记录 ## 一、能够远程访问和通过web端访问hdfs 1. 在java代码中添加或更改如下： ```java Configuration conf = new Configuration(); conf.set("dfs.client. ......
Python使用hdfs上传文件至hadoop报错
报错代码： from hdfs.client import Client hdfs_client = Client('http://IP:端口') hdfs_client.makedirs(hdfs_dir) 在与hadoop创建链接后建文件夹时报错 报错信息： requests.exception ......
解决root用户对HDFS文件系统没有权限的问题
## 解决root用户对HDFS文件系统没有权限的问题 #### ==说明：==HDFS文件系统的目录基本都属于 supergroup 超级用户组，所以就把用户添加到该用户组，即可解决很多权限问题。 第一步： > 在Linux执行如下命令增加 supergroup 用户组 > > groupadd ......
搭建CDH后，hdfs的权限问题设置
## 搭建CDH后，hdfs的权限问题 #### 问题描述：搭建cdh集群后，在hdfs中创建文件报错：Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x ![](https://img20 ......
Hadoop启动报错：org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs"
Hadoop启动报错：org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs"解决思路以及方法。 ......
HDFS集群搭建：完全分布式
本文介绍了HDFS集群中单点故障：HDFS-HA解决方案以及因此引入的Journal Node、ZKFC、Active NameNode切换过程以及HA环境搭建启动等细节。 ......
“远程客户端操作hdfs创建文件夹”，验证环境是否配置成功，以及HDFS错误整改
文章中包含我所遇到的错误，进行了HDFS错误整改，以及后面有操作创建“远程客户端操作hdfs创建文件夹”，验证环境是否配置成功的过程。 ......
HDFS是什么 ？
# HDFS是什么 ？ 我们先简单回顾下《大数据解决什么问题 ？》中对分布式计算的简单介绍，对于一批数据，我们先需要将其分割分块分配到不同的机器上，同时将我们的计算程序分发给这些机器，让这些机器将其存储的数据按照我们的计算逻辑进行Map映射、Reduce计算，然后汇总后返回数据集。 
# 1. 源码编译 ## 1.1 为什么要编译？ ### a. Native Library 本地库 Native Library，一般译为本地库或原生库，是由 C/C++ 编写的动态库（*.so），并通过 JNI 机制为 Java 层提供接口。应用一般会出于性能、安全等角度考虑将相关逻辑用 C/C ......
06-HDFS(4)
# 1. HDFS 数据迁移解决方案 数据迁移指的是一种大规模量级的数据转移，转移的过程中往往会跨机房、跨集群 ，数据迁移规模的不同会导致整个数据迁移的周期也不尽相同 。 在 HDFS 中，同样有许多需要数据迁移的场景，比如冷热数据集群之间的数据转化， 或者 HDFS 数据的双机房备份等等。因为涉及 ......
04-HDFS(2)
# 1. HDFS Shell CLI https://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-common/FileSystemShell.html ## 1.1 基本概念 命令行界面（英语：command-line int ......
05-HDFS(3)
# 1. 存储格式 ## 1.1 前置说明 Hadoop 上的文件存储格式，肯定不会像 Windows 这么丰富，因为目前我们用 Hadoop 来存储、处理数据。我们不会用 Hadoop 来听歌、看电影或者打游戏。 在 Hadoop 中，没有默认的文件格式，格式的选择取决于其用途。而选择一种优秀、适 ......
03-HDFS(1)
# 1. 存储系统  ## 1.1 硬盘 硬盘（Hard Disk Drive）是计算机的主要存储硬件，可以用来存储 ......
006.hdfs-查看各节点磁盘使用情况,集群平衡
查看各节点磁盘使用情况 hdfs dfsadmin -report | grep -E "Name:|DFS Used%:" 集群平衡 mv balance.sh /home/hdfs/ su hdfs vim balance.sh chmod +x balance.sh ls hdfs dfsad ......
HDFS
# 分布式文件系统 HDFS HDFS (Hadoop Distributed File System) 是 Apache Hadoop 项目基于 Google GFS 论文的开源实现。 ## HDFS 简介 HDFS 要实现以下目标： - 兼容廉价的硬件设备 - 流数据读写 - 大数据集 - 简单 ......
Hadoop中HDFS集群启停命令
一键启停脚本 # 一键启动hdfs集群 start-dfs.sh # 一键关闭hdfs集群 stop-dfs.sh 单进程启停 $HADOOP_HOME/sbin/hadoop-daemon.sh，此脚本可以单独控制所在机器的进程的启停 用法: hadoop-daemon.sh (start|sta ......
HDFS相关进程的启停管理命令
一键启停脚本 start-dfs.sh stop-dfs.sh 单独进程可用脚本 hadoop-daemon.sh hdfs --daemon ......
HDFS集群环境部署
第一步，上传Hadoop安装包到node1节点。 输入Linux命令：ll查看是否下载成功。 第二步：然后就行解压： 解压语句： tar -zxvf hadoop-3.3.4.tar.gz -C /export/server 第三步： 构建软连接： cd /export/server in -s / ......
HDFS存储原理
冗余数据保存问题： 一个数据块默认被保存三次 好处：1.加快数据传输错误（假如要同时访问数据块1 因为他冗余存储就会有3份 所以会加快数据传输速度） 2.很容易检查数据错误 3.保证数据可靠性 数据的错误与恢复 ......
DWS创建HDFS外部服务器
CREATE SERVER hdfs_server FOREIGN DATA WRAPPER HDFS_FDW OPTIONS (address '10.147.194.244:8020,10.147.194.86:8020', hdfscfgpath '/MRS/38a16987-7843-42f ......