集群hadoop hive
kk 工具安装K8S集群
设置时区 每个节点都要操作 timedatectl set-timezone Asia/Shanghai 查看时区 timedatectl 安装环境依赖 yum install -y socat conntrack ebtables ipset 安装时间同步 每个节点都要操作 yum install ......
分布式和集群概念
分布式和集群概念 分布式：每台机器上部署不同组件集群：每台机器上部署相同组件 大数据分布式存储、分布式计算 linux 桌面操作系统：mac os、windows、linux嵌入式操作系统：μlinux、wince、RTOS服务器操作系统：unxi、linux、Windows server、netw ......
手把手系列 - Ceph使用rbd及cephfs与k8s集群集成 - 三种方式实现
前言 本次详细部署 k8s、ceph 以及如何使用 ceph 作为 k8s 的外部存储。 主机信息 主机名 IP 说明信息 k8s-master 192.168.199.41 k8s master k8s-node01 192.168.199.42 node k8s-node02 192.168.1 ......
3大方面升级华为云CCE集群体验，助力集群高效运维管理
我们会持续在“过程业务无感”、“稳定高效升级”、“丝滑交互体验”等方面进行持续优化，让集群升级过程更简单、高效和可靠。 ......
docker 部署 rabbitmq集群
rabbitmq集群: pull: docker pull rabbitmq 普通模式(默认): what: 集群中各节点有相同的队列结构， 但消息只会存在于集群中的一个节点。 对于消费者来说， 若消息进入 A 节点的 Queue 中， 当从 B 节点拉取时， RabbitMQ 会将消息从 A 中取 ......
大数据集群备份
今天又备份了虚拟机集群。然后删除D盘的大数据，备份的放在F盘，让D盘有更多空间， 因为我的Anaconda安装在D盘中，而我创建了很多python虚拟环境，D盘当时有点空间不够了， 所以备份大数据到F盘。D可以更多空间。 ......
xixa oraclelinux上kafka集群部署(一)----kafka安装
kafka部署前提：需要安装jdk1.7以上版本、zookeeper 官网下载：http://kafka.apache.org/quickstart kafka配置 配置server.properties文件中zookeeper配置，如果集群应该怎么配置？还需要尝试 配置kafka集群 在bin目录 ......
以 Kubernetes 原生方式实现多集群告警
作者：向军涛、雷万钧 来源：2023 上海 KubeCon 分享 可观测性来源 在 Kubernetes 集群上，各个维度的可观测性数据，可以让我们及时了解集群上应用的状态，以及集群本身的状态。 Metrics 指标：监控对象状态的量化信息，通常会以时序数据的形式采集和存储。 Events：这里特指 ......
使用rancher rke快速安装k8s集群
概述 Rancher Kubernetes Engine（RKE）是一个用于部署、管理和运行Kubernetes集群的开源工具。旨在简化Kubernetes集群的部署和操作。 RKE具有以下特点和功能： 简化的部署过程 RKE提供了一个简单的命令行界面，使您可以轻松地部署一个完整的Kubernete ......
Kubernetes常用命令及yml文件、集群网络 Kubernetes组件介绍及环境搭建
Kubernetes常用命令及yml文件、集群网络 Kubernetes组件介绍及环境搭建 Kubernetes组件介绍及环境搭建 一、kubernetes常用命令 说明：因为k8s的命令都是通过kubectl组件接收的，这个组件只在master节点有，所以k8s的命令都是在master节点中执行 ......
Oracle集群RAC DG日常检查指令
目录操作系统进程检查Pmon检查负载检查数据库检查查看数据库打开状态和相关信息查找主库判断集群正常与否判断会话等待查看连接数 并与数据库配置对比判断集群和DG状态RACDG 操作系统进程检查 Pmon检查 pmon（Process Monitor process）用于监控其他后台进程。负责在连接出现 ......
datax抽取mysql数据到hive报错：javax.net.ssl.SSLException: Connection reset
datax抽取mysql数据报错： [INFO] 2023-11-09 12:35:14.090 +0000 - -> 2023-11-09 20:35:13.492 [0-0-0-reader] ERROR ReaderRunner - Reader runner Received Excepti ......
11.9 hadoop学习
今天重新配置了hadoop，hbase，zookeeper，hive。 zk.sh start 启动zookeeperzk.sh stop 关闭zookeeperzk.sh status 查看zookeeper状态hbs.sh start 启动hbasehbs.sh stop 关闭hbaseall. ......
ELK集群搭建-zabbix整合告警
ELK集群部署（三）ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合，也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案，并且都是开源软件，之间互相配合 ......
oraclelinux上kafka集群部署(一)----zookeeper安装
安装zookeeper需要先安装jdk，至少1.7以上版本。 下载：https://zookeeper.apache.org/releases.html#download 解压：tar -zvxf apache-zookeeper-3.8.3-bin.tar.gz 配置 进入zookeeper目录下 ......
Redis切片集群
切片集群 多个 Redis 实例组成一个集群，然后按照一定的规则，把收到的数据划分成多份，每一份用一个实例来保存。 Redis Cluster 定义 Redis官方提供的实现切片集群的方案，采用了16384个哈希槽用于处理数据和实例的映射关系。 首先根据key计算哈希槽hash_slot = CRC ......
hive事务得设置
1. 通过命令行方式开启事务，当前session有效 set hive.support.concurrency = true; set hive.enforce.bucketing = true; set hive.exec.dynamic.partition.mode = nonstrict; s ......
hive3.0新特性
hive3.0新特性： 1、不再支持Mr.取而用Tez查询引警且支持两种查询模式.Container 和 LLAP 2、Hive CLI不再支持(被beeline取代) 3、SQL Standard Authorization 不再支持，且默认建的表就已经是ACID表。 4、支持“批查询”(TEZ) ......
0.Hive+MySQL安装记录
1.确定安装版本 如何通过官网查找hadoop、hbase、hive版本兼容信息 2.安装流程大概 B站视频 3.安装mysql数据库 centos安装mysql8 check： tar命令 配置文件（/etc/下）--/etc/profile mysql环境变量配置 mysql: error wh ......
hive ACID事务得应用场景
Hive的ACID语义可以完成以下使用场景: 1、流数据的接入。许多用户都使用 Apache Flume, Apache Storm, or Apache Kafka 将流式数据导入Hadoop集群。 这些工具都是每秒百万行级的数据写入，而Hive只能每十五分钟到一个小时添加一次分区。快速的增加分区 ......
Linux系统redis集群管理
本章节主要由四部分构成 集群中数据访问：请求重定向(moved)、call命令、Smart客户端 集群扩容：节点配置和启动节点、加入集群、迁移槽和数据 集群缩容：迁移槽和数据、下线节点 迁移相关：平衡（rebalance）slot 集群中的数据访问-重定向(MOVED) 1、首先进入一个客户端（任何 ......
docker-compose部署rocketmq集群
参考博文：https://blog.csdn.net/bacawa/article/details/130521794 1、安装docker-compose 2、通过docker search apache/rocketmq搜索镜像，本来想看一下镜像的版本，但是没有找到对应的命令，最后用了比较粗暴的 ......
Kurator v0.5.0发布，打造统一的多集群备份与存储体验
Kurator 是由华为云推出的开源分布式云原生套件。面向分布式云原生场景，Kurator 旨在为用户提供一站式的解决方案，帮助用户快速构建自己的分布式云原生平台。 ......
python连接redis集群写入数据
环境; Python:3.6.5 需要安装redis-py-cluster模块 #!/usr/bin/env python #coding=utf-8 from rediscluster import RedisCluster startup_nodes = [ {"host": "192.168. ......
20231107学习总结-大型数据库-实验1.熟悉常用的Linux操作和Hadoop操作
实验1 熟悉常用的Linux操作和Hadoop操作 1.实验目的 Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。 2.实验平台 （1）操作系统：Linux（建议Ubuntu16.0 ......
基于Docker Desktop搭建Kafka集群并使用Java编程开发
一、引言 前段时间因课业要求使用Docker Desktop 部署Kafka集群并编写生产者消费者程序，折磨了我好几天，在查找大量资料后终于是把整个集群搭建完成了。现在我想要分享其中搭建的历程，希望能为大家解决问题。 二、Docker集群构建 安装环境: Windows 10 2.1 启用或关闭wi ......
Hive累积值、平均值、首尾值的计算学习
Hive窗口函数可以计算一定范围内、一定值域内、或者一段时间内的累积和以及移动平均值等；可以结合聚集函数SUM() 、AVG()等使用；可以结合FIRST_VALUE() 和LAST_VALUE()，返回窗口的第一个和最后一个值。 如果只使用partition by子句,未指定order by的话, ......
容器化-Docker集群
笔记 课程专题：微服务容器化 四、容器化-Docker集群 1、Docker集群理解 docker集群：多个docker实例组成的集合 1、保证docker高可用 2、解决项目高性能和高可用 docker集群搭建前提 docker集群内部概念 1、worker 工作者 运行项目 2、manager ......
1206-1303 Kubernetes集群的备份和还原 优化 Kubernetes全链路监控 12.6-13.3
一、Kubernetes集群的备份和还原 1.1 获取etcdctl二进制文件 查看etcd版本号 # kubectl -n kube-system exec -it $(kubectl get po -n kube-system |grep etcd- |head -1|awk '{print $ ......
Hadoop：Yarn资源调度
1、Yarn是什么？ Apache Hadoop YARN （Yet Another Resource Negotiator 另一种资源协调者）是一种新的Hadoop资源管理器，提供一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。可以把Hadoop YARN理解为相当于一个分布 ......