openkruise kubernetes大规模 大门
kubernetes探针及应用场景
kubernetes 提供了哪几种探针？分别有什么功能？应用场景有哪些？ LivenessProbe：容器存活性检查，用于判断容器是否健康。 功能： 如果 LivenessProbe 探针探测到容器不健康，则 kubelet 将删除该容器，并根据容器的重启策略做相应的处理。 如果一个容器不包含 Li ......
Kubernetes应用编排与管理 —— Deployment升级策略
1、Deployment概述 Deployment 是 Kubernetes 控制器的一种高级别实现，它构建于 ReplicaSet 控制器之上，它可用于为 Pod 和 ReplicaSet 资源提供声明式更新，并能够以自动方式实现跨多个 ReplicaSet 对象的滚动更新功能。相比较来说，Pod ......
如何设计和优化并行计算中的大规模分布式系统和网络
[toc] 《如何设计和优化并行计算中的大规模分布式系统和网络》技术博客文章 1. 引言 1.1. 背景介绍 随着互联网和物联网等技术的快速发展，计算需求日益增长，对计算性能的要求也越来越高。传统的单机计算已经难以满足大规模计算的需求，分布式系统和网络技术逐渐成为主流。并行计算作为一种重要的分布式计 ......
Kubernetes 系列：Kubernetes 的安装（三）
### 序 前面介绍了k8s组件和对象的一些基本概念，了解了k8s具体是做什么的以及架构，那么接下来我们开始介绍怎么去安装k8s，这里我们以windows为例，其他平台可以参考Kubernetes官方文档，其实安装方式都是类似的。 ### 先决条件 要在系统中安装 Kubernetes，以下是一些需 ......
Kubernetes添加用户
kubernetes中有两种用户, 一种是service account, 另一种是普通用户 ## Service Account 认证 > 从1.24开始, 创建service account的同时不再创建secret ```yaml apiVersion: v1 kind: ServiceAcc ......
Kubernetes编程——client-go 基础
client-go 基础 https://kubernetes.io/docs/reference/using-api/client-libraries/ https://github.com/kubernetes/client-go/ 一、代码仓库 Kubernetes 项目提供了一系列可供第三方 ......
Kubernetes 关键组件和概念（二）
### 序 上一篇我们介绍了 k8s 的基本架构，我们在这篇文章将介绍 `Kubernetes` 关键组件和概念。 还是先来一张图： ![1_2pdatNn7KzcQZpc8cOALOQ.webp][1] 根据上图我们分别对`Deployment`、`ReplicaSet`、`Pod`详细的介绍，其 ......
Kubernetes编程——查询集群提供哪些API资源
查询集群提供哪些API资源 [root@JumperServer:~] # kubectl api-resources NAME SHORTNAMES APIVERSION NAMESPACED KIND bindings v1 true Binding componentstatuses cs v ......
Kubernetes编程——通过命令行使用 API
通过命令行使用 API 长话短说，我们将使用以 batch API 组为例来讲 cli 相关的操作。 首先，需要在终端运行下面的命令： [root@localhost ~]# kubectl proxy --port=8089 Starting to serve on 127.0.0.1:8089 ......
Kubernetes编程——Kubernetes API 版本
Kubernetes API 版本 为了提高可扩展性，Kubernetes 支持在不同的 API 路径下提供不同版本的 API，比如 /api/v1 或 /api/extensions/v1beata1。不同的 API 版本意味着不同的稳定性和支持力度。 Alpha 级（比如 v1alpha1） A ......
Kubernetes(k8s)访问控制：权限管理之RBAC鉴权
Kubernetes(k8s)访问控制：权限管理之RBAC鉴权，Kubernetes访问控制，鉴权简介，设置k8s集群允许所有请求访问，设置k8s集群拒绝所有请求访问，RBAC授权，role，rolebinding，clusterrole,clusterrolebinding。 ......
Kubernetes 系列：了解 k8s 架构（一）
### Kubernetes 概述 当下，我们很多项目于都在`Cloud Native`(云原生)的上面，这种方法旨在使组织能够确保可用性并快速响应和适应变化，云原生其实就是一组本质上支持在不同云环境（公共云、私有云或混合云）上大规模构建、运行和管理应用程序的实践和技术。 云原生离不开两个概念：`容 ......
六、kubernetes网络-linux网络虚拟化（二）
1.6 初识Linux隧道：ipip 前文介绍的tun设备也叫作点对点设备，之所以叫这个名字，是因为tun经常被用来做隧道通信（tunnel）。我们可以通过命令ip tunnel help查看IP隧道的相关操作。Linux原生支持下列5种L3隧道：·ipip：即IPv4 in IPv4，在IPv4报 ......
使用ansible-app2k8s管理和部署服务到 kubernetes
- 使用 ansible 管理和部署服务到 kubernetes
- 适用于项目容器化，多套 k8s 环境的管理，可结合`CICD`工具做`DevOps`
- 来自于项目实践,已部署多套 k8s 环境 ......
kubernetes 概述
# 1.K8S概述 * k8s是谷歌在2014年开业的容器化集群管理系统 * 使用k8s进行容器化应用部署 * 使用k8s利于应用扩展 * k8s目标实施让部署容器化应用更加简洁和高效 ## 2.K8S功能 （1）自动装箱 基于容器对应用运行环境的资源配置要求自动部署应用容器 （2）自我修复(自愈能 ......
数据流水线技术：处理大规模数据、提高数据处理效率
[toc] 数据流水线技术是近年来快速发展的数据处理方式，能够高效地处理大规模数据、提高数据处理效率。本文将介绍数据流水线技术的基本概念、实现步骤、应用场景和优化改进等内容，为读者提供一份有深度有思考有见解的专业的技术博客文章。 ## 1. 引言 随着数据量的不断增加，传统的数据处理方式已经无法满足 ......
使用CosmosDB进行大规模数据的实时数据处理和流式传输
[toc] 使用 Cosmos DB 进行大规模数据的实时数据处理和流式传输 Cosmos DB 是微软公司推出的一种分布式数据库，具有高可用性、高性能、高扩展性、高安全性等优点，被广泛应用于云原生应用和大规模数据存储领域。在这篇文章中，我们将介绍如何使用 Cosmos DB 进行大规模数据的实时数 ......
CatBoost的分布式训练与调优：解决大规模数据集问题
[toc] 《CatBoost 的分布式训练与调优：解决大规模数据集问题》 引言 随着深度学习的兴起，大规模数据集的存储和处理成为一个重要的技术挑战。由于数据集的规模巨大，传统的分布式训练方法已经无法满足大规模数据集的训练需求。为此，CatBoost 提出了一种高效的分布式训练框架，用于解决大规模数 ......
Docker和Kubernetes与容器自动化扩展：最佳实践
[toc] Docker和Kubernetes是容器化技术的代表性平台，已经成为了现代软件开发和部署中不可或缺的一部分。本文将介绍Docker和Kubernetes的基本概念、实现步骤、应用示例以及优化和改进的方法。 ## 1. 引言 容器化技术已经成为了现代软件开发和部署中不可或缺的一部分。Doc ......
kubernetes 笔记
### 使用yaml配置，创建nginx集群（修改配置文件节点数，再重新执行就是修改部属的节点数） kubectl apply -f mynginx-deployment.yaml ### 查看nginx集群信息 kubectl describe deployment nginx-deploymen ......
kubernetes使用ceph作为持久化存储
1.资源规划 官方：https://ceph.com/en 官方文档：https://docs.ceph.com/en/latest/start/intro ceph 是一种开源的分布式的存储系统 包含以下几种存储类型： 块存储（rbd），对象存储(RADOS Fateway)，文件系统（cephf ......
模型剪枝在大规模数据集处理中的应用：让数据处理更高效、更快速
[toc] 引言 随着机器学习和深度学习应用的不断发展，大规模数据的处理变得越来越重要。然而，这些数据往往包含大量的特征和噪声，使得模型的训练和评估面临着巨大的挑战。为了提高模型的效率和准确性，模型剪枝 (Model Selection) 成为了一个必不可少的工具。本文将介绍模型剪枝在大规模数据集处 ......
数据流水线技术：处理大规模数据、提高数据处理效率
[toc] 数据流水线技术是近年来快速发展的数据处理方式，能够高效地处理大规模数据、提高数据处理效率。本文将介绍数据流水线技术的基本概念、实现步骤、应用场景和优化改进等内容，为读者提供一份有深度有思考有见解的专业的技术博客文章。 ## 1. 引言 随着数据量的不断增加，传统的数据处理方式已经无法满足 ......
使用CosmosDB进行大规模数据的实时数据处理和流式传输
[toc] 使用 Cosmos DB 进行大规模数据的实时数据处理和流式传输 Cosmos DB 是微软公司推出的一种分布式数据库，具有高可用性、高性能、高扩展性、高安全性等优点，被广泛应用于云原生应用和大规模数据存储领域。在这篇文章中，我们将介绍如何使用 Cosmos DB 进行大规模数据的实时数 ......
kubernetes安装和调试（1-20-9-docker19-03-0-weave）
 ### kubernetes安装和调试（1.20.9+docker19.03.0+weave） 学习kubernetes来对项目进行容器化部 ......
什么是 Kubernetes cluster 的 Node affinity
Node affinity 在概念上类似于nodeSelector，它允许您根据节点标签来限制Pod可以调度到哪些节点上。有两种类型的节点亲和性： - requiredDuringSchedulingIgnoredDuringExecution：除非满足规则，否则调度程序无法将Pod调度到节点上。这 ......
Kubernetes Ingress 之 Nginx Ingress
一. 引言 k8s 提供了一下四种方式来暴露端口，分别是： ClusterIP, 仅供集群内部访问 NodePort，端口映射，给node随机分配端口，然后由service进行代理 LoadBalancer, 负载均衡模式，一般由云服务商提供负载均衡策略 Ingress，网关模式，使用自定义的htt ......
模型剪枝在大规模数据集处理中的应用：让数据处理更高效、更快速
[toc] 引言 随着机器学习和深度学习应用的不断发展，大规模数据的处理变得越来越重要。然而，这些数据往往包含大量的特征和噪声，使得模型的训练和评估面临着巨大的挑战。为了提高模型的效率和准确性，模型剪枝 (Model Selection) 成为了一个必不可少的工具。本文将介绍模型剪枝在大规模数据集处 ......
Docker和Kubernetes与容器自动化扩展：最佳实践
[toc] Docker和Kubernetes是容器化技术的代表性平台，已经成为了现代软件开发和部署中不可或缺的一部分。本文将介绍Docker和Kubernetes的基本概念、实现步骤、应用示例以及优化和改进的方法。 ## 1. 引言 容器化技术已经成为了现代软件开发和部署中不可或缺的一部分。Doc ......
kubernetes Headless Services
Headless Services介绍 有时不需要或不想要负载均衡，以及单独的 Service IP。 遇到这种情况，可以通过显式指定 Cluster IP（spec.clusterIP）的值为 "None" 来创建 Headless Service。 你可以使用一个Headless Service ......