docker-zk-kafka docker kafka zk

java——spring boot集成kafka——单播与多播消息的实现

单播消息的实现: 单播消息:⼀个消费组⾥ 只会有⼀个消费者能消费到某⼀个topic中的消息。于是可以创建多个消费者,这些消费者在同⼀个消费组中。 创建一个消费者,此消费者属于消费组testGroup,获取borker为:10.31.167.10:9092中 主题为test的消息; ./kafka-c ......
消息 spring kafka java boot

wsl 中 docker-compose 搭建 kafka 集群出现的外部访问错误

在 wsl 中用 docker-compose 搭建了一台 zookeeper + 三台 broker 的 kafka 集群,使用的镜像是 bitnami/kafka,在按照镜像文档运行容器后,发现运行在宿主机里的客户端程序无法正确的推送/消费消息,研究后发现镜像文档只适用于客户端程序和 kafka ......
集群 docker-compose 错误 compose docker

java——spring boot集成kafka——单节点示例

首先安装一个zk。然后再安装kafka: 执⾏以下命令创建名为“test”的topic,这个topic只有⼀个partition,并且备份因⼦也设置为1: 然后在kafka节点下,执行如下命令: ./kafka-topics.sh --create --zookeeper 172.16.253.35 ......
节点 示例 spring kafka java

kubernetes failed to create kubelet: misconfiguration: kubelet cgroup driver: "cgroupfs" is different from docker cgroup driver: "systemd"

错误原因 kubernetes 的文件驱动与 docker 不一致,导致镜像无法启动。 docker info 可以看到驱动方式 Cgroup Driver: systemd。 解决方案 统一资源管理,一致使用 systemd 或者 cgroupfs。 在 Linux 上,控制组(CGroup)用于 ......
quot kubelet cgroup driver misconfiguration

Kafka快速使用与详解

一、Kafka简介 1. 概念 Kafka是一个分布式的、基于发布/订阅的消息队列,最初由LinkedIn开发,并于2011年成为Apache项目的一部分。Kafka具有高吞吐量、可扩展性、持久性和容错性等特性,被广泛应用于大数据领域,如数据采集、数据传输、数据处理等场景。 Kafka主要由以下三个 ......
Kafka

kratos中使用kafka不同group消费同一个topic的坑

参考项目地址 https://gitee.com/huoyingwhw/kratos_kafka.git 现象 像上图那样写的话,项目启动后,往topic中放入数据,只有article_group2会消费数据! 原因 ~~~ ......
kratos kafka group topic

centos7安装Docker(转)

原文:https://cloud.tencent.com/developer/article/1701451 1、安装前必读 在安装 Docker 之前,先说一下配置,我这里是Centos7 Linux 内核:官方建议 3.10 以上,3.8以上貌似也可。 注意:本文的命令使用的是 root 用户登 ......
centos7 centos Docker

docker 必会基础知识

Docker知识汇总 docker安装 安装地址 windows:https://desktop.docker.com/win/stable/amd64/Docker%20Desktop%20Installer.exe?utm_source=docker&utm_medium=webreferral ......
基础知识 基础 知识 docker

docker启动出现Job for docker.service failed because the control process exited error code问题

只需要修改docker.server文件即可: 执行以下命令: vim vim /lib/systemd/system/docker.service 然后将ExecStart=/usr/bin/dockerd -H fd:// 改成ExecStart=/usr/bin/dockerd -H fd:/ ......
docker because control service process

java——Zookeeper学习——zk概览转载

一、ZooKeeper简介 ZooKeeper是一个分布式协调服务,提供了诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知和分布式锁等分布式基础服务。 1.1、数据结构 ZooKeeper采用znode的树状层级结构来存储信息,znode节点可能包含数据也可能没有数据,znode存储数据格式 ......
概览 Zookeeper java

docker挂载volume的用户权限问题,理解docker容器的uid

docker挂载volume的用户权限问题,理解docker容器的uid 在刚开始使用docker volume挂载数据卷的时候,经常出现没有权限的问题。这里通过遇到的问题来理解docker容器用户uid的使用,以及了解容器内外uid的映射关系。 遇到的问题 本地有一个node的项目需要编译,采用d ......
docker 容器 权限 用户 volume

Kafka消费者

消费者读取消息。在其他基于发布与订阅的消息系统中,消费者可能被称为订阅者 或 读者。 消费者订阅一个或多个主题,并按照消息生成的顺序读取它们。消费者通过检查消息的偏移量来区分已经读取过的消息。 ......
消费者 Kafka

docker 部署 1

先打包本地idea 项目 上传到 linux 服务器 任意目录 并创建一个叫Dockerfile 文件 创建镜像 docker build -t mydemo . 启动镜像 映射端口 访问 ip:4200/hello ......
docker

docker-compose 进阶篇

一、概述 docker-compose 项目是docker官方的开源项目, 负责实现对docker容器集群的快速编排,来轻松高效的管理容器,定义运行多个容器。 docker-compose将所管理的容器分为三层, 分别是工程(project),服务(service)以及容器(containner) ......
docker-compose compose docker

gralde-plugin->docker-compose的使用

在java web项目中,本地开发经常会需要在本地使用docker启动数据库等之类的服务。gradle提供了一个插件,允许通过gradle task启动docker的容器。在这里我们介绍的一个gralde插件com.avast.gradle.docker-compose 简单使用 引入插件 plug ......

Docker学习

Docker为什么出现? 一款产品: 开发--上线两套环境! 应用环境,应用配置! 开发 运维。问题:我在我的电脑上可以运行!版本更新,导致服务不可用!对于运维来说,考验就十分大? 环境配置是十分的麻烦,每一个机器都要部署环境(集群Redis、ES、Hadoop....)!费时费力。 发布一个项目i ......
Docker

在CentOS上安装Docker引擎

1,先决条件 #### 1-1操作系统要求 1-2 卸载旧版本 2,安装方法 2-1使用存储库安装 设置存储库 安装 Docker 引擎 本文永久更新地址: 官方地址:https://docs.docker.com/engine/install/centos/ 1,先决条件 #### 1-1操作系统 ......
引擎 CentOS Docker

在docker上安装MySQL和Redis

1. 通过docker命令下载mysql5.7镜像 mysql5.7前期准备 2. 通过docker命令下载mysql8.0镜像 mysql8.0前期准备 3. 通过docker命令下载redis镜像 redis前期准备 本文永久更新地址: 1. 通过docker命令下载mysql5.7镜像 mys ......
docker MySQL Redis

Docker安装Nacos

1、拉取镜像 docker pull nacos/nacos-server 2、挂载目录,用于映射到容器,目录按自己的情况创建 #新建目录 (根据实际情况创建) mkdir -p /home/nacos/logs/ mkdir -p /home/nacos/conf/ 3、mysql新建nacos的 ......
Docker Nacos

window11下Jenkins+Docker 实现一键自动化部署项目!步骤齐全,少走坑路(原创原创)

1.安装jdk 这个就不写了,自行百度,我这边装了两个版本的,jenkins要求11或17,所以装的jdk11,环境发布用的是jdk8 2.安装docker 官方地址:https://dockerdocs.cn/docker-for-windows/install/index.html 参考地址:h ......
步骤 Jenkins 项目 window Docker

构建一个flink程序,从kafka读取然后写入MYSQL

最近flink已经变得比较流行了,所以大家要了解flink并且使用flink。现在最流行的实时计算应该就是flink了,它具有了流计算和批处理功能。它可以处理有界数据和无界数据,也就是可以处理永远生产的数据。具体的细节我们不讨论,我们直接搭建一个flink功能。总体的思路是source -> tra ......
程序 flink MYSQL kafka

kafka学习

https://github.com/Snailclimb/springboot-kafka/blob/master/docs/3-10%E5%88%86%E9%92%9F%E5%AD%A6%E4%BC%9A%E5%A6%82%E4%BD%95%E5%9C%A8SpringBoot%E7%A8%8B ......
kafka

m1 docker mysql8/arm64v8 解决 `only_full_group_by` 问题

m1 docker mysql8/arm64v8 解决 only_full_group_by 问题 问题原因 MySql从5.7版本开始默认开启only_full_group_by规则,规则核心原则如下,没有遵循原则的sql会被认为是不合法的sql order by后面的列必须是在select后面存 ......

docker常用知识记录

安装docker(以contos8为例) # 卸载老版本 yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ dock ......
常用 知识 docker

docker 根据dockerfile创建镜像

原文传送:传送门 DockerFile dockerfile 时用来构建docker 镜像的文件,命令参数脚本 构建步骤: 编写dockerfile文件 docker build构建成镜像 docker run docker push 发布镜像 docker hub 阿里云仓库 from #基础镜像 ......
dockerfile 镜像 docker

查看 docker-for-mac的 runtiime

使用容器命名空间 docker run -it --rm --privileged --pid=host justincormack/nsenter1 进入容器 uanme -a # Linux docker-desktop 5.15.49-linuxkit #1 SMP PREEMPT Tue S ......
docker-for-mac runtiime docker for mac

docker-compose.yml 参数详解

version: '3.8' # Docker Compose 文件版本号 services: # 定义应用程序中的服务,每个服务对应一个容器 web: # 定义一个名为 web 的服务 image: nginx:latest # 指定该服务使用的 Docker 镜像名称 build: . # 指定 ......
docker-compose 参数 compose docker yml