docker-zk-kafka docker kafka zk
.Net6在Docker环境下操作Selenium.Chrome的那些坑
.Net6中想实现对某个网址截屏，可通过Selenium模拟访问网址并实现截图。 实现 安装Nuget包 <PackageReference Include="Selenium.Chrome.WebDriver" Version="85.0.0" /> <PackageReference Inclu ......
Apache Kafka 的基本概念
基本概念 主题 Topic topic 是 Kafka 最基础的组织单位，类似于关系数据库中的数据表。做为使用 kafka 的开发者，你最应该考虑的是和 topic 相关的抽象。创建不同的 topic 保存不同种类的 events，或者通过不同的 topic 保存各种版本经过过滤、转换后的同类 ev ......
为什么要虚拟化，为什么要容器，为什么要Docker，为什么要K8S？
如标题中的问题所提到的虚拟化，容器，Docker和K8s那样，我们不妨这样问：这些技术到底适用于哪些场景，有没有别的技术可以替代？这些技术的优劣在哪里？ ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
三台服务器使用docker搭建redis一主二从三哨兵，概念-搭建-整合springboot
一、前言 redis在我们企业级开发中是很常见的，但是单个redis不能保证我们的稳定使用，所以我们要建立一个集群。 redis有两种高可用的方案： High availability with Redis Sentinel（哨兵） Scaling with Redis Cluster（分片集群） ......
prometheus-监控docker服务器
1. prometheus-监控docker服务器 prometheus-监控docker服务器 cAdvisor（Container Advisor）：用于收集正在运行的容器资源使用和性能信息。 项目地址：https://github.com/google/cadvisor docker部署cAd ......
Centos下部署最后一版支持Docker的k8s集群
部署版本 首先要确定部署的版本 查询Kubernetes对Docker支持的情况 kubernetes/dependencies.yaml at master · kubernetes/kubernetes (github.com) 查询Kubernetes Dashboard对Kubernetes ......
【JVM故障问题排查心得】「内存诊断系列」Xmx和Xms的大小是小于Docker容器以及Pod的大小的，为啥还是会出现OOMKilled？
为什么我设置的大小关系没有错，还会OOMKilled？ 这种问题常发生在JDK8u131或者JDK9版本之后所出现在容器中运行JVM的问题：在大多数情况下，JVM将一般默认会采用宿主机Node节点的内存为Native VM空间（其中包含了堆空间、直接内存空间以及栈空间），而并非是是容器的空间为标准。 ......
使用 Bitnami Helm 安装 Kafka
服务器端 K3S 上部署 Kafka Server Kafka 安装 📚️ Quote: charts/bitnami/kafka at master · bitnami/charts (github.com) 输入如下命令添加 Helm 仓库： > helm repo add tkemarket ......
使用Prometheus监控docker compose方式部署的ES
需求 收集 ES 的指标, 并进行展示和告警; 现状 ES 通过 docker compose 安装 所在环境的 K8S 集群有 Prometheus 和 AlertManager 及 Grafana 方案 复用现有的监控体系, 通过: Prometheus 监控 ES. 具体实现为: 采集端 el ......
Apache Kafka 移除 ZK Proposals
Zookeeper 和 KRaft 这里有一篇 Kafka 功能改进的 proposal 原文。要了解移除 ZK 的原因，可以仔细看看该文章。以下是对该文章的翻译。 动机 目前，Kafka 使用 Zookeeper 保存与分区（patitions）、brokers 相关的元数据，以及选举 Kafka ......
MongoDB从入门到实战之Docker快速安装MongoDB
前言 在上一篇文章中带领带同学们快速入门MongoDB这个文档型的NoSQL数据库，让大家快速的了解了MongoDB的基本概念。这一章开始我们就开始实战篇教程，为了快速把MongoDB使用起来我将会把MongoDB在Docker容器中安装起来作为开发环境使用。然后我这边MongoDB的可视化工具用的 ......
当 xxl-job 遇上 docker → 它晕了，但我不能乱！
开心一刻 某次住酒店，晚上十点多叫了个外卖 过了一阵儿，外卖到了 因为酒店电梯要刷卡，所以我下楼去接 到了电梯口看到个模样不错的妹纸 我：是你么? 妹纸愣了下：嗯！ 于是拉上进电梯回房间，正准备开始呢 我俩的电话同时响了 按下接听键，一男一女同时问：我到电梯口了，你人呢? 尴尬了，取错外卖了 然后一 ......
从源码构建docker-ce
准备环境 准备一台Linux主机，并在上面安装好docker-ce，安装好make，git就可以开始编译工作了。对，就是如此简单，可能你会对此感到异或为啥要装docker,我不是准备编译这个玩意么，为啥不装go,docker不是用go开发的么？ 这些疑问会在后面的步骤中解答。 # docker-ce ......
docker registry（私库）搭建，使用，WEB可视化管理部署
Docker Registry 是Docker官方一个镜像，可以用来储存和分发Docker镜像。目前比较流行的两个镜像私库是Docker Registry ，HarBor 其中HarBor最合适企业级应用，提供良好的WEB界面进行管理。 Docker Registry搭建 本文主要介绍Docker ......
Kafka技术专题之「性能调优篇」消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。 ......
Selenium4+Python3系列（十三） - 与docker中的jenkins持续集成
前言 文章更新到这一篇时，其实我还是很开心的，因为这也正是这系列教程的最后一篇文章，也算是完成了一个阶段性的小目标，也很感谢那些愿意看我文章与我交流学习的同学，感谢有你们的支持和陪伴。 Jenkins的下载安装 1、拉取镜像： 笔者是Mac系统，为了方便就直接使用Docker进行安装了，终端输入如下 ......
【JVM故障问题排查心得】「内存诊断系列」Docker容器经常被kill掉，k8s中该节点的pod也被驱赶，怎么分析？
我有一个在主机中运行的Docker容器（也有在同一主机中运行的其他容器）。该Docker容器中的应用程序将会计算数据和流式处理，这可能会消耗大量内存。
该容器会不时退出。我怀疑这是由于内存不足，但不是很确定。我需要找到根本原因的方法。那么有什么方法可以知道这个集装箱的死亡发生了什么？ ......
RabbitMQ、RocketMQ、Kafka延迟队列实现
延迟队列在实际项目中有非常多的应用场景，最常见的比如订单未支付，超时取消订单，在创建订单的时候发送一条延迟消息，达到延迟时间之后消费者收到消息，如果订单没有支付的话，那么就取消订单。 那么，今天我们需要来谈的问题就是RabbitMQ、RocketMQ、Kafka中分别是怎么实现延时队列的，以及他们对 ......
制作 Python Docker 镜像的最佳实践
概述 📚️Reference: 制作容器镜像的最佳实践 这篇文章是关于制作 Python Docker 容器镜像的最佳实践。(2022 年 12 月更新） 最佳实践的目的一方面是为了减小镜像体积，提升 DevOps 效率，另一方面是为了提高安全性。希望对各位有所帮助。 通用 Docker 容器镜像 ......
云原生架构（二）环境搭建（Mac上安装Istio---Docker+Kubernetes+Istio一条龙）
系列目录 云原生架构（一）原理概览 云原生架构（二）环境搭建 云原生架构（三）简单样例 云原生架构（四）源码详解 云原生架构（五）总结提高 一、背景 Istio 项目由 Google 和 IBM 的团队与 Lyft 的 Envoy 团队合作启动。它已经完全在 GitHub 上公开开发。目前已经是“S ......
Docker进阶-Dockerfile建立一个自定义的镜像执行自定义进程
前言 docker对我来说是一个很方便的工具，，上一篇文章也写了docker基本的一些使用，这篇文章重点描述一下Dockerfile的使用，从零建立一个自己定制化的镜像，并可以执行我们需要的任务。 作者：良知犹存 转载授权以及围观：欢迎关注微信公众号：羽林君 或者添加作者个人微信：become_me ......
项目完成小结 - Django-React-Docker-Swag部署配置
前言 最近有个项目到一段落，做个小结记录。 内容可能会多次补充，在博客上实时更新哈~ 如果是在公众号阅读这篇文章，可以点击「查看原文」访问最新版本~ 这个项目是前后端分离，后端为了快，依然用我的DjangoStarter框架。前端一开始是小程序，后面突然换成公众号H5的形式，还好我用了Taro，大差 ......
Kafka事务「原理剖析」
一、事务概览 提起事务，我们第一印象可能就是ACID，需要满足原子性、一致性、事务隔离级别等概念，那kafka的事务能做到什么程度呢？我们首先看一下如何使用事务 Producer端代码如下 KafkaProducer<String, String> producer = new KafkaProdu ......
go操作Kafka
1. Kafka介绍 1.1.1. Kafka是什么 kafka使用scala开发，支持多语言客户端（c++、java、python、go等） Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使用Ka ......
Docker 工作原理分析
docker 容器原理分析 docker 的工作方式 Namespace 容器对比虚拟机 Cgroups 容器看到的文件 Mount namespace chroot rootfs Volume（数据卷) 打包一个go镜像 总结 参考 docker 容器原理分析 docker 的工作方式 当我们的程 ......
Flink同步Kafka数据到ClickHouse分布式表
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP ......
Docker定时删除none镜像
在使用docker的时候会产生none镜像文件，偶尔没什么，但是比如使用了自动化部署工具那就不一样了，一天没准就上百个none镜像了，非常消耗资源，所以需要定时清理 删除 none 镜像命令 docker image prune -f 删除自动化部署中的碎片化文件 在自动化部署中 Docker 生成 ......