集群apache doris

docker swarm 部署一主两从的redis集群

docker-compose文件准备 docker-compose-redis-cluster.yml version: '3.8' services: redis-master: image: redis command: redis-server --requirepass your_passw ......
集群 docker swarm redis

超算集群安装OpenFOAM-LIGGGHTS-CFDEM(普通用户权限-以CSU HPC CentOS7.9为例)

普通用户权限超算集群安装OpenFOAM-LIGGGHTS-CFDEM,由于缺少root权限,无法根据CFDEM官方instruction进行安装。 本文以CSU超算平台为例,利用普通用户权限进行编译安装。文章修正了已有教程中部分问题,特别感谢希望先生与记得小蘋初见教程。 1. 安装必要依赖包 此部 ......

Web服务器Apache和Nginx的区别

Apache和Nginx是两种主要Web服务器,Apache和Nginx最核心的区别在于Apache是同步多进程模型,一个连接对应一个进程;而Nginx是异步的,多个连接(万级别)可以对应一个进程。 Apache 1、apache 的 rewrite 比 nginx 强大,在 rewrite 频繁的 ......
服务器 Apache Nginx Web

Ranther管理K8S集群

什么是Ranther Rancher 是一个 Kubernetes 管理工具,让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托管服务提供商的集群,创建节点并安装 Kubernetes,或者导入在任何地方运行的现有 Kubernetes 集群。 R ......
集群 Ranther K8S K8 8S

集群参数调优

一、关键参数设置 1、HDFS 参数 值 描述 文件大小 文件大小 2、腾讯CHDS(对象大数据存储) 参数 值 描述 最大访问频次 ......
集群 参数

C++聊天集群服务器6

一、客户端开发 代码如下: #include "json.hpp" #include <iostream> #include <thread> #include <string> #include <vector> #include <chrono> #include <ctime> #includ ......
集群 服务器

基于Docker容器搭建hadoop完全分布式集群环境

简介 物理机:windows10 宿主机:Centos7虚拟机,需要安装Docker服务 hadoop集群节点:3个centos7的容器,hadoop1、hadoop2、hadoop3 组件: 容器镜像:Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
分布式 集群 容器 环境 Docker

Apache HTTP Server 的安装与配置

一、概要 1. 环境 (1) Rocky Linux 9.3 二、安装与配置 1. 安装 (1) 安装 sudo dnf install httpd -y (2) 服务 sudo systemctl start httpd sudo systemctl enable httpd systemctl ......
Apache Server HTTP

kubeadm更新k8s集群证书(1.23.14版本)

1、更新证书 [root@k8s-master01 kubernetes-1.23.14-0]# kubeadm certs renew all --config=kubeadm-config.yaml certificate embedded in the kubeconfig file for ......
集群 证书 kubeadm 版本 k8s

认识HTTP协议与apache

万维网:(www)并非计算机网络,而是一个大型的数据库,可以实现网页与网页之间的跳转 url:资源定位符 描述了一个资源在服务器上的具体位置 http:超文本传输协议 图片 视频 小程序 http: Hyper Text Transfer Protocol 应用层协议,默认端口: 80/tcp 可以 ......
apache HTTP

AMQP协议中的,消息队列RabbitMQ,ActiveMQ,Apache Kafka区别是什么?

都是基于AMQP协议来的一种实现方式。 参考chatGPT4 回答 请使用 Markdown 表格来展示 RabbitMQ、ActiveMQ 和 Apache Kafka 之间的区别: 维度 RabbitMQ ActiveMQ Apache Kafka 语言 Erlang Java Scala / ......
队列 RabbitMQ ActiveMQ 消息 Apache

kubeadm续期k8s集群证书

1、备份 mkdir /opt/2023-12-09-k8s-backup cp -a /etc/kubernetes /opt/2023-12-09-k8s-backup cp -a /var/lib/etcd /opt/2023-12-09-k8s-backupcp -a /root/.kube ......
集群 证书 kubeadm k8s k8

k8s:通过 kubectl 插件 Kubepug 实现集群升级检查(废弃API资源检查)

背景:k8s 的版本迭代很快,虽然主要版本一直没有变化,但是次要版本一直在迭代,2022年一年就发布了三个次要版本,同时不同的次要版本之间 API 资源一直在变化,有新加入的,也有废弃删除的。不同版本的 api 资源版本也有不同,往往不是向下兼容的,比如在低版本中 API 资源版本为 v1beta1 ......
集群 插件 Kubepug kubectl 资源

kafka集群双活-数据迁移

一、集群搭建(kafka使用自带的zookeeper) 前提:必须要有java环境 1、下载地址: http://kafka.apache.org/downloads 2、安装目录 /app/kafka tar -zxvf kafka_2.12-3.6.1.tgz 建立数据和日志存储目录 mkdir ......
集群 数据 kafka

已解决:若依更换日志EasyExcel框架导出报错 java.lang.NoClassDefFoundError: org/apache/poi/POIXMLTypeLoader

先描述一下当时的场景 回忆 看到出错了,我就想可能是哪个路径写错了,或者导依赖名字写对,或者说是多了少了标点符号什么的。 然而,还是想简单了,检查重启后发现问题并没有解决。 于是就把所有我改过的地方检查了一遍,检查和这个依赖相关的代码。发现还是没啥关系 后来去找百度、百度给的和我分析的一样,去找别的 ......

redis集群双活-数据迁移

一、redis双活 1、集群搭建 (一主两从) Redis-Sentinel是redis官方推荐的高可用性解决方案,sentinel哨兵是特殊的redis服务,不提供读写服务,主要用来监控redis实例节点,当用redis作master-slave的高可用时,如果master本身宕机,redis本身 ......
集群 数据 redis

nginx搭建SRS-HLS分发集群

1、NGINX Edge Cluster NGINX边缘集群,本质上就是带有缓存的反向代理,也就是NGNIX Proxy with Cache。 只需要配置NGINX的缓存策略就可以,不需要额外插件,NGINX本身就支持: 在/etc/nginx/conf.d下新建: vi ngins-srs-ca ......
集群 SRS-HLS nginx SRS HLS

将 .NET Aspire AppHost 部署到 Kubernetes 集群

使用Aspirate可以将Aspire程序部署到Kubernetes 集群 工具安装 dotnet tool install -g aspirate --prerelease 注意:Aspirate 正在开发中,该软件包将作为预览版进行版本控制,--prelease 选项将获得最新的预览版。 容器注 ......
集群 Kubernetes AppHost Aspire NET

java.lang.ClassNotFoundException: org.apache.commons.fileupload.disk.DiskFileItemFactory

DiskFileItemFactory类是文件上传才需要用到的类,所以,我们需要添加commons-fileupload依赖 <dependency> <groupId>commons-fileupload</groupId> <artifactId>commons-fileupload</arti ......

十一、RabbitMQ集群

一、clustering 1、使用集群的原因 2、搭建步骤 2.1 搭建架构图 2.2 操作步骤 2.3 实战部分操作演示 二、镜像队列 1、使用镜像的原因 2、搭建步骤 2.1 操作步骤 2.2 实战步骤 三、Haproxy+Keepalive实现高可用负载均衡 1、整体架构图 2、Haproxy ......
集群 RabbitMQ

gerrit 反向代理从 apache 换成 nginx 之后项目页报错“The page you requested was not found, or you do not have permission to view this page”

每次配置 gerrit 需要用反向代理来实现auth_basic_user_file,以前用apache 进行配置,但不喜欢 apache 要换成 nginx,结果换成 nginx 之后,登录后打开project页报错“The page you requested was not found, or ......
page permission not you requested

Redis集群

Redis Sentinel: 什么是 Sentinel? 有什么用? Sentinel 如何检测节点是否下线?主观下线与客观下线的区别? Sentinel 是如何实现故障转移的? 为什么建议部署多个 sentinel 节点(哨兵集群)? Sentinel 如何选择出新的 master(选举机制)? ......
集群 Redis

vSAN集群添加宿主机报错问题处理

背景: 1、新增宿主机到vsan集群,服务器网口只有4个,所以规划vsan和管理关联到标准交换机(vsan的适配器MTU-9000、管理的适配器MTU-1500)--使用两个网口、vmotion和业务vlan关联到分布式交换机 使用两个网口;2、在往vsan集群添加宿主机的时候,新的宿主机HA状态一 ......
宿主机 宿主 集群 问题 vSAN

hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

前言: 执行hive sql报错,sql逻辑是两个表左连接并将数据插入新的表中。 报错信息: [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......
hive MapredLocalTask Execution FAILED apache

BeeGFS部署高可用集群

BeeGFS 高可用集群搭建 参考文档:https://aws.amazon.com/cn/blogs/china/how-to-build-beegfs-on-aws-system/ 目标状态查询 元数据 targets > beegfs-ctl --listtargets --nodetype= ......
集群 BeeGFS

docker创建mysql集群

一、创建mysql的节点目录 # 创建第一个节点 mkdir /home/mysql-cluster/node1 cd /home/mysql-cluster/node1 mkdir conf data files log # 创建第二个节点 mkdir /home/mysql-cluster/no ......
集群 docker mysql

Kafka集群调优+能力探底

一、前言 我们需要对4个规格的kafka能力进行探底,即其可以承载的最大吞吐;4个规格对应的单节点的配置如下: 标准版: 2C4G 铂金版: 4C8G 专业版: 8C16G 企业版: 16C32G 另外,一般来讲,在同配置下,kafka的读性能是要优于写性能的,写操作时,数据要从网卡拷贝至堆内存,然 ......
集群 能力 Kafka

StackGres 数据库平台工程,使用 Citus + Patroni 创建生产级高可用分布式 PostgreSQL 分片集群

系列 StackGres, 可私有部署的云原生数据库平台工程 StackGres 数据库平台工程功能介绍与快速上手 StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer) StackGres 1.6 数据库平台工程,集群高可用(Patro ......

4、虚拟机单机、集群的克隆、删除脚本(以初始化好的虚拟机为模板)

摘自:https://blog.51cto.com/mfc001/6408229 虚拟机克隆、删除脚本 [root@ubunt ~]# cat clone.sh #!/bin/bash # #. /etc/init.d/functions (如果是ubuntu,注释此行) Red="\e[1;31m ......
集群 脚本 单机 模板

使用Slurm集群进行分布式图计算:对Github网络影响力的系统分析

本文在华为云弹性云服务器集群中部署Slurm作业调度系统,并运行针对Github协作网络影响力分析的分布式图计算应用程序。 ......
分布式 集群 影响力 Github 系统