集群apache doris

Apache Hudi Timeline:支持 ACID 事务的基础

Apache Hudi 维护在给定表上执行的所有操作的Timeline(时间线),以支持以符合 ACID 的方式高效检索读取查询的数据。 在写入和表服务期间也会不断查阅时间线,这是表正常运行的关键。 如果任何时间线操作出现混乱(由于多写入未配置锁提供程序等),则可能导致数据一致性问题(数据丢失或数据 ......
Timeline 事务 基础 Apache ACID

Hadoop-3.3.3分布式集群的文件配置,启动hadoop历史服务和启动日志聚集

一、分布式集群的文件配置 涉及$HADOOP_HOME/etc/hadoop路径下的5个文件 workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 首先修改workers 进入$HADOOP_HOME/etc/hadoop ......
分布式 集群 文件 Hadoop hadoop

虚拟机集群ssh配置免密登录

在dn节点机首先安装ssh,没有就执行以下代码 sudo apt-get install openssh-server 然后 cd ~/.ssh 如果没有该路径就执行一次 ssh localhost 然后执行以下代码,删除之前可能生成过的私钥,公钥 rm ./id_rsa* 执行以下代码,然后三次回 ......
集群 ssh

doris

## doris ### Partition & Tablet - Partition 逻辑分区往往根据业务通过用户指定的分区列进行范围划分,可以视为逻辑上最小的管理单元,好比导入和删除操作就是partition。 - list partition ![1652779895992](https:// ......
doris

haproxy+keepalived部署高可用k8s集群

四台机器 节点名称节点ip节点角色 基础配置 1、升级机器内核 2、将机器ip 名称写入到/etc/hosts中 3、基础环境准备 #关闭防火墙,selinux systemctl stop firewalld systemctl disable firewalld sed -i 's/enforc ......
集群 keepalived haproxy k8s 8s

记一次GFS集群节点系统重做数据恢复

背景: 比较倒霉,周日晚上服务器硬盘损坏更换后发现数据块损坏,系统无法正常使用只能重做系统,恢复了好多虚拟机,过程无比痛苦,目前只说一说恢复gfs。 思路: 登录gfs master节点查看peer状态,gluster peer status 发现另一个节点处于State: Peer Rejecte ......
数据恢复 节点 集群 数据 系统

Ubuntu 修改主机名和hosts文件并克隆虚拟机初步搭建集群

进入终端输入 sudo vim /etc/hosts 像红框里一样,添加自己虚拟机的主机名称映射 然后终端输入reboot 重启虚拟机 然后操作参考Ubuntu20虚拟机克隆以及克隆后静态IP和主机名的修改_ubuntu克隆后修改ip-CSDN博客 ......
集群 主机 文件 Ubuntu hosts

分布式存储——ceph集群部署

一、部署结构 以x.x.x.150、x.x.x.151、x.x.x.152三台服务器搭建最基本的三节点ceph集群,服务器系统使用的是centos7版本,IP网段为x.x.x.0/24,三台服务器的名称分别为: ceph001: x.x.x.150,管理节点 ceph002: x.x.x.151,子 ......
分布式 集群 ceph

nebula-br local-store 模式,快速搭建主备集群实践

单集群如何快速切换多集群模式?目前,NebulaGraph 集群复制有 3 种方式,如何在当中选中一种合适你的方式来搭建集群呢? ......
集群 local-store nebula-br 模式 nebula

关于pacemaker集群stonith:fence_azure_arm资源-SP-服务主机-密码过期的处理方法

在pacemaker中,一般都会创建一个stonith资源(Shoot The Other Node In The Head),笔者因为是在Azure平台、于是使用的为 stonith:fence_azure_arm 最近发现有一个与之关联的服务主体的密码过期了,导致状态异常,通过pcs statu ......

904-907 Prometheus自动发现机制 kube-state-metrics和metrics-server Prometheus监控Kubernetes集群 9.4-9.7

一、Prometheus自动发现机制 服务发现机制:为了实现自动将被监控目标添加到Permethus Prometheus数据源的配置分为静态配置和动态发现,常见为以下几类: static_configs:静态服务发现,即将配置直接写到配置文件或Configmap file_sd_config:文件 ......

Oracle集群升级迁移—Oracle数据库升级12C-19C

目录Oracle集群升级迁移—Oracle数据库升级12C-19C现有架构升级方式 Oracle集群升级迁移—Oracle数据库升级12C-19C 现有架构 现在的架构为一主一备,主备分别做了RAC ,数据库软件和grid infrastructure版本为12c 升级方式 升级方式如下图 ......
Oracle 集群 数据库 数据 12

doris FE启动异常:org.yaml.snakeyaml.representer.Representer: method <init>()V not found

doris FF启动异常,异常信息如下: 2023-11-01 09:53:22,691 INFO (main|1) [PaloFe.start():124] Palo FE starting... 2023-11-01 09:53:22,699 INFO (main|1) [FrontendOpt ......

解决集群下mp的雪花id重复问题

雪花算法的核心能影响到id生成的几个因素: 服务器时间 workId(机器 ID 部分) datacenterId(数据标识 ID 部分) 根据源码 public void init(GlobalConfig globalConfig) { // 初始化 Sequence //这里需要同时设置wor ......
集群 雪花 问题

Redis集群模式incr保证原子性的原理

1.主要是redis的key会解析到固定的主机上,比如集群上有host1,host2,host3;然后key1可能会解析后发现是要发到host2上,则在host2正常的情况下(有点像kafka rebalance;consumer处理哪些分区),key1会一直在host2上进行操作; 因此在redi ......
集群 原子 原理 模式 Redis

DHorse改用fabric8的SDK与k8s集群交互

现状 在dhorse 1.4.0版本之前,一直使用k8s官方提供的sdk与k8s集群交互,官方sdk的Maven坐标如下: <dependency> <groupId>io.kubernetes</groupId> <artifactId>client-java</artifactId> <vers ......
集群 fabric8 DHorse fabric SDK

apache.poi设置word页眉页脚

XWPFDocument docx = new XWPFDocument(); XWPFHeaderFooterPolicy headerFooterPolicy = docx.getHeaderFooterPolicy(); if (headerFooterPolicy == null) head ......
页眉 apache word poi

使用 Sealos 一键部署 Kubernetes 集群

Sealos 是一款以 Kubernetes 为内核的云操作系统发行版,使用户能够像使用个人电脑一样简单地使用云。 与此同时,Sealos 还提供一套强大的工具,可以便利地管理整个 Kubernetes 集群的生命周期。 Sealos 不仅可以一键安装一个单节点的 Kubernetes 开发环境,还 ......
集群 Kubernetes Sealos

Apache Commons Configuration/Apache Commons Configuration2 编辑ini文件

Apache Commons Configuration 依赖 <dependency> <groupId>commons-configuration</groupId> <artifactId>commons-configuration</artifactId> <version>1.10</ve ......

apache无法启动,报错显示80端口被占用

重启windows服务器后,发现apache无法启动,报错显示80端口被占用。 1. 在powershell中使用管理员权限运行如下代码 netstat -ano | findstr 0.0.0.0:80发现占用80端口的竟然是pid为4的系统任务 2. 暴力解决方法,关闭windows系统中的ht ......
端口 apache

docker 部署redis哨兵模式的集群

创建网络 docker network create --subnet=172.10.0.0/16 redis 创建文件目录 [root@master app]# mkdir -p /app/redis/server/config [root@master app]# mkdir -p /app/r ......
哨兵 集群 模式 docker redis

Redis的四种模式:单机、主从、哨兵、集群简介

Redis的单机模式 单机模式就是安装一个redis,启动起来,业务调用即可。具体安装步骤和启动步骤就不赘述了,单机在很多场景也是有使用的,例如在一个并非必须保证高可用的情况下。 单机的优点: 部署简单,0成本。 成本低,没有备用节点,不需要其他的开支。 高性能,单机不需要同步数据,数据天然一致性。 ......
主从 哨兵 集群 单机 模式

100 个常用 Kubernetes 诊断命令,助你轻松搞定各种 Kubernetes 集群故障

100 个常用 Kubernetes 诊断命令,助你轻松搞定各种 Kubernetes 集群故障 云原生百宝箱 奇妙的Linux世界 2023-10-30 08:13 发表于重庆 收录于合集 #Kubernetes285个 #云计算106个 #Docker208个 #开源474个 公众号关注 「奇妙 ......
Kubernetes 集群 故障 命令 常用

Centos7系统二进制安装Kubernetes(v1.20)集群

一、环境准备 参考:https://www.cnblogs.com/Mr-Ding/p/17773745.html 二、部署ETCD集群 2.1、准备cfssl证书生成工具 cd k8s1.20二进制包/ chmod +x cfssl_linux-amd64 cfssljson_linux-amd6 ......
二进制 集群 Kubernetes Centos7 Centos

Ansible部署mariadb高可用集群

节点规划 主机名 IP地址 master 192.168.238.10 node1 192.168.238.11 node2 192.168.238.12 node3 192.168.238.13 准备四台虚拟机,使用CentOS-7-x86_64-DVD-2009.iso镜像 基础准备 1,安装a ......
集群 Ansible mariadb

shell 脚本一键部署 k8s 高可用集群

github地址: https://github.com/Johnny-Demo/deploy/tree/k8s-cluster 有不理解的地方可以私信我 ......
集群 脚本 shell k8s k8

Nacos2.0.3集群搭建踩坑

Nacos2.0版本相比1.X新增了gRPC的通信方式,如果已经有Nacos集群,那么需要更改集群的配置方式,这里以Nginx为例,来介绍下如何搭建集群。 配置流程 新增端口是在配置的主端口(server.port)基础上,进行一定偏移量自动生成。 端口 与主端口的偏移量 描述 9848 1000 ......
集群 Nacos2 Nacos 0.3

Docker部署Redis集群----第三节(docker-redis集群主从复制【上】实现篇)

1、redis的集群方式有哪些? 主从复制 哨兵集群 redis-cluster集群 本节课我们主要讲解主从复制,现在大家手上是否有一台属于自己的云服务器了呢,今天我们要做的就是在云服务器上搭建我们的第一个集群主从复制。在讲之前,首先我们来了解下为什么要用集群模式以及集群模式的优点、给我们的项目带来 ......
集群 主从 docker-redis Docker docker

Docker部署Redis集群----第二节(docker安装centos和指令讲解)

1、安装docker 在安装前:先讲下,因为我们是在云服务上部署的,有时候会出现短时间不操作就会断开ssh远端连接记得加个心跳: [root@instance-rttngj1u ~]# vim /etc/ssh/sshd_config 在末尾添加这两行代码 ClientAliveInterval 6 ......
集群 指令 Docker docker centos

Docker部署Redis集群----第一节(docker初认识)

作者:逻辑链接:https://zhuanlan.zhihu.com/p/59183420来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 1、Docker是什么? docker是开源的应用容器引擎,我们可以理解为一个轻量级的“虚拟机”,开发者可以打包自己开发的应用或程 ......
集群 Docker docker Redis