集群grafana loki k8s
Koordinator 支持 K8s 与 YARN 混部,小红书在离线混部实践分享
Koordinator 是一个开源项目,基于阿里巴巴在容器调度领域多年累积的经验孵化诞生,目前已经支持了 K8s 生态内的在离线混部,然而在 K8s 生态外,仍有相当数量的用户会将大数据任务运行在 Apache Hadoop YARN[1]这类资源管理系统中。 ......
k8s pod从私有仓库拉取镜像凭证配置
方案一: 通过Docker配置文件创建secret # 配置.docker/config.json文件,包含了与 Docker Hub 或其他私有仓库进行身份验证所需的凭据信息。 [root@mac-25 ~]# cat ~/.docker/config.json { "auths": { "reg ......
YARN集群中应用程序的执行流程
Hello,各位“极客”好,上一篇文章中介绍了YARN集群架构的基本内容,那么,在YARN集群中应用程序的执行流程是怎样的呢?这个问题很重要,就要好好说道说道了...... 客户端提交应用程序(可以是MapReduce程序、Spark程序等)到ResourceManager。 ResourceMan ......
k8s pv pvc
如下代码测试本地的PVC: apiVersion: v1 kind: PersistentVolume metadata: name: mypv labels: type: local spec: accessModes: - ReadWriteOnce storageClassName: loca ......
k8s集群搭建-2
一、前面做过k8s的集群搭建主要是1.24版本一下的,1.24版本后"弃用docker"改用CRI了。所以这里就之前的集群安装做一下补充。 老版集群地址:https://www.cnblogs.com/ll409546297/p/16718681.html 二、k8s版本选择:docker-ce:2 ......
SAP-DB-服务器组-003-pacemaker集群-在AWS平台里-创建及配置-SAPHanaTopology资源及SAPHana及VIP
关于基础环境的安装,还是可以参考笔者另一篇文章,APP的部分 《SAP-APP-服务器组-001-pacemaker集群的基础环境的安装部署》 https://www.cnblogs.com/5201351/p/17899446.html 1、DB需要多安装 resource-agents-sap- ......
Zookeeper-快速入门、服务搭建、集群搭建教程
官网:https://zookeeper.apache.org/ zookeeper常用用途: 集群管理,zookeeper作为注册中心,管理服务提供方的ip地址端口号url信息,并在服务消费方请求需要时发送给服务消费方。 配置中心(不过一般用阿波罗apollo或者阿里的Nacos来做) 多个app ......
ceph集群搭建详细教程(ceph-deploy)
ceph-deploy比较适合生产环境,不是用cephadm搭建。相对麻烦一些,但是并不难,细节把握好就行,只是命令多一些而已。 实验环境 服务器主机 public网段IP(对外服务) cluster网段IP(集群通信) 角色 deploy 192.168.2.120 用于部署集群、管理集群 cep ......
jmeter +prometheus+grafana做性能测试监控
1,环境搭建 >mac系统 打开终端terminal,复制并粘贴以下命令: /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh) 然后按回车 brew -ver ......
k8s组件、工作原理详解
1.k8s组件 Master 组件:kube-apiserver(API Server): 角色: 提供集群的唯一入口,处理所有 API 请求。 原理: 接收来自客户端(kubectl、UI 界面)和其他组件的请求,验证和授权请求,然后将其转发到其他组件或更新 etcd 中的数据。etcd: 角色: ......
搭建ceph集群
本文完全拷贝出处:https://www.cnblogs.com/qiuhom-1874/ 前文我们了解了Ceph的基础架构和相关组件的介绍,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html;今天我们来部署一个ceph集群; 部署工具介 ......
prometheus告警记录——grafana模板
grafana面板 { "annotations": { "list": [ { "builtIn": 1, "datasource": { "type": "datasource", "uid": "grafana" }, "enable": true, "hide": true, "iconCo ......
记录一次k8s无法拉取镜像的bug
Kubernetes 中创建一个用于拉取私有镜像的 Secret 要在 Kubernetes 中创建一个用于拉取私有镜像的 Secret,可以按照以下步骤进行: 创建一个 Docker 配置文件,其中包含您的私有镜像仓库的凭据。这个文件通常位于 ~/.docker/config.json。如果您没有 ......
YARN集群架构
玩Hadoop的不知道YARN?这简直是天大的笑话!之前介绍Hadoop核心组件的时候(详见《Hadoop的“前世今生”》那篇博文)就曾提到过“YARN是实现了集群资源管理以及作业调度的框架”,那么本文就对YARN集群架构做进一步的介绍。 YARN集群总体上是经典的Master/Slave架构,主要 ......
K8s的常用命令
本文旨在记录K8s使用过程中常用的CLI命令集,用作个人学习,不定期更新。 1.创建资源 一般创建资源会有两种方式:通过文件或者命令创建。 # 通过文件创建一个Deployment kubectl create -f /path/to/deployment.yaml cat /path/to/dep ......
Hive和Spark生产集群搭建
1.环境准备 1.1 版本选择 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 MySQL-8.0.31 mysql Datax Datax Datax Datax Datax Datax Spark-3.3.1 Spar ......
k8s~ingress_service_endpoint_pod四壮士
在Kubernetes中,Service和Endpoints是两个重要的概念,它们之间存在着密切的关系。 Service:Service是Kubernetes中用于定义一组Pod的访问方式的抽象。通过创建Service,可以为一组具有相同标签的Pod提供统一的访问入口,使得客户端可以通过Servic ......
K8S增加限制后的启动时间验证
K8S增加限制后的启动时间验证 背景 前段时间看了下JVM载linux上面的启动时间, 进行过一些验证. 最近想着能够验证一下K8S上面的启动相关的信息 所以就整理了一下. 虽然没有特别好的结论, 但是还是发现自己对JVM的启动和参数还是了解的不够深入. 自己的几个启动参数 1. "-XX:MaxR ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
普罗米修斯prometheus整合grafana进行监控配置
promethus - job_name: "),mall-order"), metrics_path: "),/actuator/prometheus"), static_configs: - targets: ["),10.6.1.73:8020"),,"),10.6.1.73:8021"),] ......
k8s Ingress使用详解(云原生kubernetes)
k8s Ingress使用详解(云原生kubernetes) 目录一、什么是Ingress二、Ingress 工作机制三、Ingress 核心概念四、Ingress 工作原理五、Ingress 使用搭建 Ingress 环境1、获取 ingress-nginx2、创建ingress-nginx部署两 ......
深入 K8s 网络原理(二)- Service iptables 模式分析
目录1. 概述2. 准备 Service 和 Pods 资源3. K8s 里 Service 的实现原理3.1 kube-proxy 组件3.2 iptables 简介3.3 iptables 规则3.3.1 Service,Pod 和 Host 信息3.3.2 从 NodePort 入手寻找 ip ......
K8S的污点和容忍度(理论+实战)
5分钟搞懂K8S的污点和容忍度(理论+实战) 不焦躁的程序员 软件开发行业 研发总监 3 人赞同了该文章 本文主要快速讲解Kubernetes的污点和容忍度,一句话总结:如果Pod能容忍某个节点上的污点,那么Pod就可以调度到该节点。 在K8S中,如果Pod能容忍某个节点上的污点,那么Pod就可 ......
k8s 1.23.17 安装
k8s 集群环境 hostname role IP zijian-k8s-01 master 192.168.63.31 zijian-k8s-02 worker 192.168.63.32 zijian-k8s-03 worker 192.168.63.33 安装步骤 master, worker ......
Grafana 自定义数据源支持 RESTful API 查询
背景 数据爆炸的时代,信息化步伐越来越快,接入互联网的服务越来越多。随着业务迭代变更越来越复杂化,需求/产品者对系统的要求越来越高,对业务走势及健康状态需要更直观的感知。这意味着我们需要随时能够“看见”系统的状态,对系统/业务的实时监控以及可视化是技术演进的必然。 Grafana 是什么? Graf ......
DHorse v1.5.0 发布,基于 k8s 的发布平台
版本说明 新增特性 支持同一机器部署多个DHorse服务; 支持Next、.NET应用部署; 优化Node、Nuxt应用构建和部署的性能; 默认使用fabric8客户端与k8s集群交互,可以通过指定参数-Dkubernetes-client=official切回到k8s官方客户端; 支持企业微信、钉 ......
K8S - Add-on: cert-manager
https://cert-manager.io/docs/ cert-manager cert-manager adds certificates and certificate issuers as resource types in Kubernetes clusters, and simpli ......
K8S - Ingress
If we only have one service, we can easily add an A record in the domain in AWS Route 53. But it will be a pain when we have a lot more of them, becau ......
一文搞定K8S监控告警平台选型
公众号「架构成长指南」,专注于生产实践、云原生、分布式系统、大数据技术分享 前言 最近在搞K8S的监控告警平台选型,对比了目前比较流行两款开源平台kube-prometheus、夜莺,也踩了一些坑分享一下 kube-prometheus 项目地址:https://github.com/prometh ......