hadoop gssapi gssapi-with-mic集群
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏,修复磁盘后,重启机器,发现elasticsearch启动成功,ES状态正常green,但是历史数据都没有加载进,查看ES存储数据目录,发现数据还在。 解决方案 首先,需要确认indices目录下的lucene 索引正常。需要关闭ES(实际操作索引处于close状态也可以)。 # ......
Kubernetes高可用集群二进制部署v1.28.0版本
一、集群环境准备 1.1 主机规划 主机IP地址 主机名 主机配置 主机角色 软件列表 192.168.198.144 k8s-master1 2C4G master kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubectl ......
修改Zabbix源码实现监控数据同时写入数据库和ES集群
写在开篇 玩过 Zabbix 的朋友都了解,Zabbix 提供了与 Elasticsearch(ES)的集成,允许用户将历史数据存储在 Elasticsearch 中,而无需使用传统数据库。在高监控负载的生产环境中,这种架构带来了多重好处。首先,它有效减轻了数据库的负担,从而提高了整体性能。其次,通 ......
终于肝完了!全网最全、最详细、最全面的 Hadoop大数据学习教程( 2023最新版 )
大家好,我是民工哥! 前面给大家介绍了:关系型数据库 MySQL 、 NoSQL 数据库 Redis 、 MongoDB 、搜索引擎 ElasticSearch 等知识体系学习的文章。 在当今这样的就业大背景下,卷是肯定的,强大自己也是必须的。所以,学习不能停,必须一直卷下去。截止今天,又一个知识体 ......
rabbitmq 集群docker玩法
属于一个简单测试玩的,rabbitmq 实际最近几年变化还是挺大的(主要是一些新特性,核心amqp 是一致的) 环境准备 测试一个基于raft 选举的rabbitmq 集群队列 docker-compose version: "3" services: mq: build: ./ container ......
Redis 分片集群
1.Redis分片集群 1.1.搭建分片集群 主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决: 海量数据存储问题 高并发写的问题 使用分片集群可以解决上述问题,如图: 分片集群特征: 集群中有多个master,每个master保存不同数据。 每个master都可以有多个slav ......
Redis - (7) 分片集群
前言 哨兵集群由于自身存在的问题,因此出现了分片集群。 分片集群 (1)集群中有多个master,每个master保存不同的数据。【可以解决数据海亮的问题】 (2)每个master也可以有多个slave节点。 (3)master之间可以互相ping监测彼此的健康状态【即master自己之间实现了哨兵 ......
集群渲染是?渲染农场是?两者与云渲染关联是什么
在数字化浪潮不断推进的当下,渲染技术在多个行业中发挥着至关重要的作用,尤其体现在电影制作、建筑可视化以及电子游戏开发等领域。在众多渲染技术中,集群渲染、渲染农场以及云渲染特别受到业界的重视。本文旨在阐述这些概念的含义以及它们之间的相互联系。 一、集群渲染的概念与应用 集群渲染是借助计算机网络的力量, ......
Ubuntu 22.04 部署 ceph quincy 集群和 K8S 1.24.1对接
环境 IP 主机名 172.16.16.77 test1 172.16.16.78 test2 172.16.16.79 test3 ceph版本:quincy 主机系统:ubuntu 22.04 安装集成软件 3台机器上都要执行 vi /etc/hosts # 最后添加 172.16.16.77 ......
数据高速公路:详解数仓集群通信技术
本文分享自华为云社区《直播回顾 | 数据高速公路—数仓集群通信技术详解》,作者: 胡辣汤。 大数据时代,集群规模越来越大,业务并发越来越高,数据库集群各节点间的通信压力也越来越大。在本期《数据高速公路—数仓集群通信技术详解》的主题直播中,我们邀请到华为云GaussDB(DWS)技术布道师魏登老师,深 ......
Hadoop理论知识
1、Hadoop是什么? Hadoop是一个由Apache基金会所研发的分布式系统基础架构。主要解决海量数据存储和海量数据的分析计算问题。 2、Hadoop的特点? (1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。 (2)高扩展 ......
Hadoop Map/Reduce
Map/Reduce框架运转在<key, value> 键值对上,也就是说, 框架把作业的输入看为是一组<key, value> 键值对,同样也产出一组 <key, value> 键值对做为作业的输出,这两组键值对的类型可能不同。 框架需要对key和value的类(classes)进行序列化操作, ......
使用 Sealos 一键部署 Kubernetes 集群
Sealos 是一款以 Kubernetes 为内核的云操作系统发行版,使用户能够像使用个人电脑一样简单地使用云。 与此同时,Sealos 还提供一套强大的工具,可以便利地管理整个 Kubernetes 集群的生命周期。 Sealos 不仅可以一键安装一个单节点的 Kubernetes 开发环境,还 ......
开启安全功能 ES 集群就安全了吗?
背景 经常跟 ES 打交道的朋友都知道,现在主流的 ES 集群安全方案是:RBAC + TLS for Internal + HTTPS 。 作为终端用户一般只需要关心用户名和密码就行了。作为管理和运维 ES 的人员来说,可能希望 ES 能提供密码策略来强制密码强度和密码使用周期。遗憾的是 ES 对 ......
建设本地私有集群kubesphere+kubernetes高可用集群服务器
一、资源需求主机名 cpu(vCPUs) 内存(GB) 磁盘 ipk8s-master01 8 32 40G+500G 192.168.1.180k8s-master02 8 32 40G+500G 192.168.1.53k8s-master03 8 32 40G+500G 192.168.1.1 ......
云原生周刊:2024 扩展 K8s 集群指南 | 2024.1.2
开源项目推荐 Jib Jib 无需 Docker 守护进程,也无需深入掌握 Docker 最佳实践,即可为您的 Java 应用程序构建优化的 Docker 和 OCI 映像。它可作为 Maven 和 Gradle 的插件以及 Java 库使用。 Docketeer Docketeer 提供了一个简单 ......
尚硅谷-xsync集群分发脚本
1.安装 rsync远程同步工具 apt install -y rsync 2.配置host映射【略】 vi /etc/hosts 3.配置SSH免密登录 使用SSH远程登陆Linux 4.编写xsync集群分发脚本 vi /usr/bin/xsync #! /bin/bash #1 获取输入参数个 ......
Zookeeper集群一键启停脚本
1.创建脚本 vi /bin/zk.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do ......
redis集群搭建
集群的目的:解决redis的高可用及高并发 搭建流程: 搭建三主三备集群 1、配置文件修改 2、启动6个服务: 3、集群启动命令(启动前记得开放阿里云端口7001/7006和17001/17006): redis-cli --cluster create 101.201.100.200:7001 1 ......
ZooKeeper 3.9.1 集群模式安装
准备三台集群节点 1.下载ZooKeeper 3.9.1 https://dlcdn.apache.org/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1-bin.tar.gz 2.安装JDK Linux 安装Openjdk 3.解压 mkdir / ......
论文精读—多智能体算法在无人机集群的运用
导:“在阅读一篇论文后,要对这几个方面有清晰的认识,动机、创新点和实验设计,外加自己对这篇论文有什么想法” 论文解读:本文组织如下:第二节介绍了相关工作,第三节介绍了大规模搜索场景和系统模型,第四节详细介绍了基于marl的无人机群搜索方法,第五节讨论了仿真设置和实验结果,第六节总结了本文。 建模思考 ......
Hadoop HA部署
实现Hadoop高可用性部署 Hadoop High Availability(HA)是一种设计模式,用于确保在Hadoop分布式文件系统(HDFS)和资源管理器(ResourceManager)等关键组件中发生故障时,系统能够继续提供服务。HA的目标是减小单点故障对系统可用性的影响,使Hadoop ......
【云原生 | Kubernetes 系列】—K8S部署RocketMQ集群(双主双从+同步模式)
【云原生 | Kubernetes 系列】—K8S部署RocketMQ集群(双主双从+同步模式) 版权 本文为云录原创文章,转载无需和我联系,但请注明来自云录 https://www.yunzhuan.site rocketMQ高可用有很多种方式,比如:单机部署,多主集群,双主双从同步部署,双主双从 ......
Linux安装zookeeper(伪集群)
环境: 系统: Alibaba Cloud Linux 3 (Soaring Falcon) jdk: jdk8 1.下载安装包 zookeeper官网: https://zookeeper.apache.org/releases.html 找到对应版本,这里以稳定版 3.8.3 为例,在节点上下载 ......
Docker部署系列之Docker Compose安装Redis三主三从集群
总结/朱季谦 在日常开发或者编程当中,经常需要用到redis集群,若是按照传统的方式,一个机器一个机器搭建,难免过于繁琐,故而可以通过dock er-compose编排方式,快速搭建。我在搭建过程当中,将操作记录下来,方便以后需要搭建三主三从节点时,可以基于以前的成功经验,快速搭建起来。 一、环境准 ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备2-JDK环境部署
华为云耀云服务器L实例-大数据学习-hadoop前置准备2-JDK环境部署 产品官网:https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,演示单台服 ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录
华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录 产品官网:https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例 ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置
华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置 产品官网:https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云 ......
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群 产品官网:https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,演示单 ......