集群kubernetes openeuler k8s
Java语言在Spark3.2.4集群中使用Spark MLlib库完成XGboost算法
一、概述 XGBoost是一种基于决策树的集成学习算法,它在处理结构化数据方面表现优异。相比其他算法,XGBoost能够处理大量特征和样本,并且支持通过正则化控制模型的复杂度。XGBoost也可以自动进行特征选择并对缺失值进行处理。 二、代码实现步骤 1、导入相关库 import org.apach ......
kubernetes CoreDNS组件研究
1. 概述 本文介绍k8s集群中,默认的CoreDNS配置,域名解析过程分析,解释服务发现的机制。从kubernetes 1.11版本开始,Kubernetes集群的DNS服务由CoreDNS提供。CoreDNS是CNCF基金会的一个项目,是用Go语言实现的高性能、插件式、易扩展的DNS服务端。Co ......
Java语言在Spark3.2.4集群中使用Spark MLlib库完成朴素贝叶斯分类器
一、贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率,生活中,我们可能很容易知道P(A|B),但是我需要求解P(B|A),学习了贝叶斯定理,就可以解决这类问题,计算公式如下: P(A)是A的先验概率 P(B)是B的先验概率 P(A|B)是A的后验概率(已经知道B发生过了) P(B|A)是B的后验 ......
k8s---Calico网络
#什么是calico? Calico 是一种开源网络和网络安全解决方案,适用于容器、虚拟机和基于主机的本机工作负载。Calico支持广泛的平台,包括Kubernetes,OpenShift,Mirantis Kubernetes Engine(MKE),OpenStack和裸机服务。无论您选择使用 ......
grafana的配置-加域及k8s项目限定权限
1.加域 vim /etc/grafana/grafana.ini [server] root_url = %(protocol)s://{ip}:%(http_port)s/proxy/grafana/kubernetes-dev/ serve_from_sub_path = true [auth ......
k8s ingress nginx 504 gateway timeout 问题
问题背景 一个 python 服务接口由于需要处理大量数据,耗时比较长,每次请求都会报错 nginx 504 gateway timeout,应用都是通过 k8s 容器部署的,请求从客户端到达应用还需要经过一层代理分发层应用 web-proxy。 分析排查 简单分析如下:🧐 应用接口是用的 gun ......
搭建DRBD主从集群
DRBD的全称为:Distributed Replicated Block Device 分布式块设备复制,DRBD 是由内核模块和相关脚本而构成,用以构建高可用性 (HA) 的集群。其实现方式是通过网络来镜像 (mirror) 整个设备。它允许用户在远程机器上建立一个本地块设备的实时镜像。与心跳连 ......
graylog,es,mongodb集群
node1 node2 node3 三台: wget www.alexman.cn/sources.list -O /etc/apt/sources.list curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sud ......
61、Prometheus-Consul分布式集群部署
1、简介 1.1、Consul介绍 Consul 是基于 GO 语言开发的开源工具,主要面向分布式,服务化的系统提供服务注册、服务发现和配置管理的功能。Consul 提供服务注册/发现、健康检查、Key/Value 存储、多数 据中心和分布式一致性保证等功能。Prometheus 通过 Consul ......
k8s安装istio初始化报错istio init CrashLoopBackOff解决方法
## 分析日志kubectl logs productpage-v1-6b746f74dc-4hdpp istio-init modprobe ip_tablesmodprobe iptable_filtermodprobe iptable_nat ## 验证一下 lsmod |grep -E "i ......
redis集群
本文为joshua317原创文章,转载请注明:转载自joshua317博客 https://www.joshua317.com/article/305 一、介绍 Redis是一个流行的高性能内存数据存储系统,常用于缓存、消息队列和实时数据分析等领域。然而,随着数据量的增长和高可用性需求的增加,单个R ......
k8s架构
Kubernetes(简称K8s)是一个开源的容器编排平台,其架构包括以下几个主要组件: 控制平面(Control Plane):控制平面是Kubernetes集群的管理组件,负责整体的集群管理和控制。主要包括以下组件: API Server:提供Kubernetes API接口,接收来自用户和其他 ......
实验一 密码引擎-1-OpenEuler-OpenSSL编译
安装Ubuntu和OpenEuler虚拟机 下载最新的OpenSSL源码(1.1版本) 用自己的8位学号建立一个文件夹,cd 你的学号,用pwd获得绝对路径 参考https://www.cnblogs.com/rocedu/p/5087623.html先在Ubuntu中完成OpenSSL编译安装,然 ......
对K8S的架构原理
这样讲解,对K8S的架构原理不会迷惑了吧! 点击关注👉👉 浩道linux 2023-04-05 07:50 发表于广东 收录于合集#linux学习277个 关注上方浩道linux,回复资料,即可获取海量linux、Python、网络通信等学习资料! 前言 大家好,这里是浩道linux,主要给大家 ......
openEuler Linux 部署 Zookeeper 集群
openEuler Linux 部署 Zookeeper 集群 openEuler Linux 部署 Zookeeper 集群 | 主机名 | IP地址 | | | | | spark01 | 192.168.28.11 | | spark02 | 192.168.28.12 | | spark03 ......
OpenEuler Linux 部署 HadoopHA
OpenEuler Linux 部署 HadoopHA openEuler Linux 部署 HadoopHA | 主机名 | IP地址 | | | | | spark01 | 192.168.28.11 | | spark02 | 192.168.28.12 | | spark03 | 192.1 ......
openEuler 单机部署 Hadoop SingleNode 模式
openEuler 单机部署 Hadoop SingleNode 模式 升级操作系统和软件 yum -y update 升级后建议重启 安装常用软件 yum -y install gcc gcc-c++ autoconf automake cmake make rsync openssh-serve ......
Kubernetes客户端认证(二)—— 基于ServiceAccount的JWTToken认证
1、概述 在 Kubernetes 官方手册中给出了 “用户” 的概念,Kubernetes 集群中存在的用户包括 “普通用户” 与 “ServiceAccount”, 但是 Kubernetes 没有普通用户的管理方式,通常只是将使用集群根证书签署的有效证书的用户都被视为合法用户。 那么对于使得 ......
Rocky Linux 9 Minio 集群部署
1、Docker CE安装 参考:https://www.cnblogs.com/a120608yby/p/9883175.html 2、Docker Compose安装 参考:https://www.cnblogs.com/a120608yby/p/14582853.html 3、Minio部署 ......
TiDB集群安装维护
TIDB安装操作文档-https://docs.pingcap.com/zh/tidb/stable/production-deployment-using-tiup 1、环境准备(每台) 1-查看系统盘是否为ext4并自动挂载 ,fdisk -l | mkfs.ext4 /dev/ | mount ......
59、K8S-监控机制-Grafana-绘图管理、自定义绘图
Kubernetes学习目录 1、绘图基础 1.1、简介 我们知道Grafana是一个可视化的集成套件,我们可以借助于现成的dashboard模板进行通用的界面展示,但是对于一些特殊的监控项的展示来说,我们还是需要实现独有的界面展示,而这就需要借助于Grafana的图形类型来实现特定的展示效果,对于 ......
58、K8S-监控机制-Prometheus-自定义metrics
Kubernetes学习目录 1、安装python环境 1.1、下载python软件 wget https://www.python.org/ftp/python/3.9.16/Python-3.9.16.tgz 1.2、安装依赖包 yum install gcc gcc-c++ glibc-dev ......
数据库:Redis哨兵及cluster集群部署
1、什么是哨兵模式哨兵模式:可以自动切换解决单点故障,但是不能负载均衡,存储能力受限制。 哨兵核心功能:在主从复制的基础上,实现了主节点的自动故障转移 2、哨兵的作用监控:监控主节点和从节点是否在正常运行 故障自动转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从 ......
arroyo集群部署简单说明
arroyo 推荐的调度是基于nomad 当然也可以基于内置的 运行配置 pg arroyo 基于了refinery 管理迁移 s3 进行checkpoints 存储,通过controller 以及worker 进行的状态写入 运行服务 arroyo 集群 包含了多特api server 以及一个c ......
实战:用“廉价”的NFS作为K8S后端存储
K8S后端存储:NFS 大家都知道,NFS是一种基于网络的文件系统协议,允许在不同的机器之间共享文件系统资源。在K8S中,可以使用NFS作为后端存储,以提供持久化存储和共享存储卷。但是否适合在生产环境使用NFS作为后端存储,这取决于具体的应用程序和使用场景。如果应用程序对性能和可靠性要求比较高,可能 ......
57、K8S-监控机制-Prometheus-PromQL基础-运算符、聚合、功能函数
Kubernetes学习目录 1、数据基础 1.1、时间序列 1.1.1、介绍 时间序列数据:按照时间顺序记录系统、设备状态变化的数据,每个数据称为一个样本; 数据采集以特定的时间周期进行,因而,随着时间流逝,将这些样本数据记录下来,将生成一个离散的样本数据序列; 该序列也称为向量(Vector); ......
K8S入门
原文链接:https://k8s.easydoc.net/docs/dRiQjyTY/28366845/6GiNOzyZ/9EX8Cp45 一、简介 为容器化应用提供集群部署和管理的开源工具,Google开发 主要特性: 高可用,不宕机,自动灾难恢复 灰度更新,不影响业务正常运转 一键回滚到历史版本 ......
Kubeadm在线安装k8s_超详细
生产环境可以采取这种方式安装k8sv1.23.17,版本兼容很好 环境准备 服务器要求: 建议最小硬件配置:2核CPU、2G内存、20G硬盘 服务器最好可以访问外网,会有从网上拉取镜像需求,如果服务器不能上网,需要提前下载对应镜像并导入节点 软件环境: 操作系统:centos7.9_x64(mini ......
13-springcloud-eureka-9-Eureka集群注册中心打包发布
在实际项目中,需要将Eureka发布到具体服务器上进行部署,打包部署其实和SpringBoot里面的一样,我们可以把其达成jar包,启动时对于properties文件,不同的环境激活不同的配置文件; 运行: java -jar springcloud-service-eureka.jar --spr ......
Kubernetes学习之旅
# Kubernetes学习之旅 ## 引言 - 为什么选择Kubernetes- Kubernetes简介- Kubernetes的发展历程 ## Kubernetes基本概念 - 节点(Node)- Pod- ReplicaSet- Deployment- Service- ConfigMap- ......