CDH
spark-cdh学习
Spark: 1.Apache Spark是用于大规模数据处理的统一分析引擎 2.一款分布式内存计算的分析引擎 源数据层: 1.sdk日志埋点 2.日志文件:爬虫日志,业务日志 3.关系型数据库:mysql,oracle等 数据采集层: 1.离线:flume,sqoop,Nifi 2.实时:file ......
kylin&CDH理论基础
Kylin&CDH理论基础 一、维度与度量 维度是观察数据的角度。比如电商的销售数据，可以从时间维度来观察，进一步细化时间和地区维度来观察。 度量是被聚合的统计值，也是聚合运算的结果。知道维度和度量，可以对数据模型上的所有字段进行分类，要么维度，要么度量，由此就出现了根据维度、度量做预计算的Cube ......
Ranger2.1集成CDH 6.3.2
Ranger介绍 针对Ranger与CDH平台的集成，需要通过编译ranger的源码，解决兼容性问题。当然，网上也有提供好的tar包，但是这种方式比较适合社区版本。对应的下载地址为: https://mirrors.tuna.tsinghua.edu.cn/apache/ranger/2.4.0/a ......
Hibench对大数据平台CDH/HDP基准性能测试
一、部署方式 1.1、源码/包:https://github.com/Intel-bigdata/HiBench 部署方法： https://github.com/Intel-bigdata/HiBench/blob/master/docs/build-hibench.md 注意：hibench执行 ......
利用 Databend + COS助力 CDH 分析 | 某医药集团
作者： 黄志武 某医药集团信息中心数据库组组长，13 年数据库行业从业经历，Oracle OCM，关注 Oracle、MySQL、Redis、MongoDB、Oceanbase、Tidb、Polardb-X、TDSQL、CDH、Clickhouse、Doris、Databend 等多方面的关键领域技 ......
CDH集群日志清理
CDH集群日志清理 一、查看磁盘占用情况 df -h 二、查看日志占用情况 cdh的各种组件日志一般在 /var/log 目录下，因此需要关注“/”根目录， 查看 /var/log 下使用空间较大的文件夹，并又大到小排列 cd /var/log/ du -s ./* |sort -nr 还有一个是 ......
Maven 引用CDH 5.4 的zookeeper时报错：Could not find artifact javax.jms:jms:jar:1.1 in cloudera 的解决办法
错误： Could not find artifact javax.jms:jms:jar:1.1 in cloudera 由于默认5.4.0的包引用了zookeeper 3.3.1版本，进而引用了log4j的某个版本，导致的报错，改为如下即可： pom： 使用cloudera的源： <reposi ......
CDH登录后显示【无法发出查询：Host Monitor 未运行】解决办法
### CDH登录后显示【无法发出查询：Host Monitor 未运行】解决办法 >现象：[CDH](https://so.csdn.net/so/search?q=CDH&spm=1001.2101.3001.7020)登录后显示【无法发出查询：Host Monitor 未运行】  > 作者： 黄志武 > > 大参林医药集团股份有限公司，信息中心数据库组组长，13年数据库行业从业经历，Oracle OCM，关注Ora ......
The 2022 ICPC Asia Regionals Online Contest (I)CDH
# **The 2022 ICPC Asia Regionals Online Contest (I)** ## **C Delete the Tree** 题意：想要删掉一棵树，你可以做以下两种操作： 1. 删除：删除一个点以及和它连的边 2. 收缩：选择一个点$x$它直接连有$2$个点$u,v$ ......
CDH集群之YARN性能调优
##### CDH集群之YARN性能调优 > 本文主要讨论CDH集群的YARN调优配置，关于YARN的调优配置，主要关注CPU和内存的调优，其中CPU是指物理CPU个数乘以CPU核数，即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的，task在conta ......
cdh node扩容
参考：https://blog.csdn.net/xiaoweite1/article/details/123919740 # hostname修改 hostnamectl set-hostname bpit64 # ssh免密认证 。。。略 # /etc/hosts修改 10.5.250.56 b ......
基于CDH环境下的Hive数仓配置及优化
# 基于CDH环境下的Hive数仓配置及优化 原文连接地址：https://blog.csdn.net/sinat_31854967/article/details/127274575 ## YARN的基础配置 ### NodeManager CPU配置 - 在YARN界面中，点击配置，然后搜索配置 ......
CDH /var/lib/cloudera-service-monitor和/var/lib/cloudera-host-monitor占用空间过大
1、/var/lib/cloudera-service-monitor和/var/lib/cloudera-host-monitor 这两个是cloudera managerment service服务的默认存储路径，最好改掉，换到大的分区下； 2、空间清理 /var/lib/cloudera-se ......
搭建CDH后，hdfs的权限问题设置
## 搭建CDH后，hdfs的权限问题 #### 问题描述：搭建cdh集群后，在hdfs中创建文件报错：Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x ![](https://img20 ......
CDH集群环境下，添加作业用到的额外的jar包
`两次被这个问题折腾了，记录一下解决方案，并梳理一下各个路径的作用。` ## 问题现象 spark作业在通过 spark-submit提交到yarn后，出现 NoClassDefFound的报错 ![](https://img2023.cnblogs.com/blog/1826431/202307/ ......
CDH6集群开启Kerberos认证
一、部署Kerberos服务端 Kerberos（也称为“GSSAPI”）是一种身份验证协议，用于在分布式计算环境中提供安全的身份验证和授权服务。它是由MIT开发的，并于1987年首次发布。Kerberos是一种基于X.509的认证协议，它使用TGS（Ticket Granting Service） ......
CDH大数据平台内存交换，警告问题
https://blog.csdn.net/weixin_38822045/article/details/107695935 前言 博主在使用CDH大数据平台时发现，CDH长时间运行，Cloudera Manager管理页面在运行Spark任务时候经常会出现组件大量内存交换警告，前期博主直接忽略， ......
CDH6部署搭建笔记
一、环境配置 1、主机配置 cdh-master 192.168.80.107 CPU4核 内存16G 磁盘200G cdh-node1 192.168.80.140 CPU4核 内存8G 磁盘200G cdh-node2 192.168.80.148 CPU4核 内存8G 磁盘200G数据库 19 ......
CDH6安装
Demand 七个节点, 两主五从；root / Roottest_1124 内网环境 CentOS 7 , 已安装 JDK ,mysql 5.7 所有的包, 默认放在 /opt/local/ 下； # ip 10.0.75.225 10.0.75.226 10.0.75.227 10.0.75.2 ......
CDH6卸载脚本
touch delete_cdh.sh chmod +x delete_cdh.sh vim delete_cdh.sh sudo delete_cdh.sh #!/bin/bash # cdh 删除脚本，所有节点均需执行 # Linux下rm -r f删除文件夹报错_ Device or reso ......
CDH6安装
Demand 七个节点, 两主五从；root / Roottest_1124 内网环境 CentOS 7 , 已安装 JDK ,mysql 5.7 所有的包, 默认放在 /opt/local/ 下； # ip 10.0.75.225 10.0.75.226 10.0.75.227 10.0.75.2 ......
CDH6卸载脚本
touch delete_cdh.sh chmod +x delete_cdh.sh vim delete_cdh.sh sudo delete_cdh.sh #!/bin/bash # cdh 删除脚本，所有节点均需执行 # Linux下rm -r f删除文件夹报错_ Device or reso ......
CDH HDFS Non DFS Used 存储空间异常
问题：一个CDH集群Non DFS Used空间很大，排查了节点上磁盘实际使用，以及dfs.datanode.du.reserved参数，都没有异常情况； CDH版本：5.13 hadoop版本：2.6 1、这个问题是hadoop2.6版本的一个bug HDFS-8072 [HDFS-8072]如果 ......
CDH+Hive部署
CDH介绍： CDH 全称 Cloudera’s Distribution Including Apache Hadoop，是 Cloudera 公司提供的一个 Apache Hadoop 发行版。CDH 将 Hadoop 与其他十几个关键的开源项目集成，并且加入了集群自动化安装、中心化管理、集群监 ......
大数据之—CDH搭建
大数据之—CDH搭建 参考：https://zhuanlan.zhihu.com/p/444565129 前言 1、CDH概述 Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Ha ......