docker-zk-kafka docker kafka zk
java——spring boot集成kafka——单播与多播消息的实现
单播消息的实现: 单播消息:⼀个消费组⾥ 只会有⼀个消费者能消费到某⼀个topic中的消息。于是可以创建多个消费者,这些消费者在同⼀个消费组中。 创建一个消费者,此消费者属于消费组testGroup,获取borker为:10.31.167.10:9092中 主题为test的消息; ./kafka-c ......
wsl 中 docker-compose 搭建 kafka 集群出现的外部访问错误
在 wsl 中用 docker-compose 搭建了一台 zookeeper + 三台 broker 的 kafka 集群,使用的镜像是 bitnami/kafka,在按照镜像文档运行容器后,发现运行在宿主机里的客户端程序无法正确的推送/消费消息,研究后发现镜像文档只适用于客户端程序和 kafka ......
java——spring boot集成kafka——单节点示例
首先安装一个zk。然后再安装kafka: 执⾏以下命令创建名为“test”的topic,这个topic只有⼀个partition,并且备份因⼦也设置为1: 然后在kafka节点下,执行如下命令: ./kafka-topics.sh --create --zookeeper 172.16.253.35 ......
kubernetes failed to create kubelet: misconfiguration: kubelet cgroup driver: "cgroupfs" is different from docker cgroup driver: "systemd"
错误原因 kubernetes 的文件驱动与 docker 不一致,导致镜像无法启动。 docker info 可以看到驱动方式 Cgroup Driver: systemd。 解决方案 统一资源管理,一致使用 systemd 或者 cgroupfs。 在 Linux 上,控制组(CGroup)用于 ......
Kafka快速使用与详解
一、Kafka简介 1. 概念 Kafka是一个分布式的、基于发布/订阅的消息队列,最初由LinkedIn开发,并于2011年成为Apache项目的一部分。Kafka具有高吞吐量、可扩展性、持久性和容错性等特性,被广泛应用于大数据领域,如数据采集、数据传输、数据处理等场景。 Kafka主要由以下三个 ......
kratos中使用kafka不同group消费同一个topic的坑
参考项目地址 https://gitee.com/huoyingwhw/kratos_kafka.git 现象 像上图那样写的话,项目启动后,往topic中放入数据,只有article_group2会消费数据! 原因 ~~~ ......
centos7安装Docker(转)
原文:https://cloud.tencent.com/developer/article/1701451 1、安装前必读 在安装 Docker 之前,先说一下配置,我这里是Centos7 Linux 内核:官方建议 3.10 以上,3.8以上貌似也可。 注意:本文的命令使用的是 root 用户登 ......
docker 必会基础知识
Docker知识汇总 docker安装 安装地址 windows:https://desktop.docker.com/win/stable/amd64/Docker%20Desktop%20Installer.exe?utm_source=docker&utm_medium=webreferral ......
docker启动出现Job for docker.service failed because the control process exited error code问题
只需要修改docker.server文件即可: 执行以下命令: vim vim /lib/systemd/system/docker.service 然后将ExecStart=/usr/bin/dockerd -H fd:// 改成ExecStart=/usr/bin/dockerd -H fd:/ ......
java——Zookeeper学习——zk概览转载
一、ZooKeeper简介 ZooKeeper是一个分布式协调服务,提供了诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知和分布式锁等分布式基础服务。 1.1、数据结构 ZooKeeper采用znode的树状层级结构来存储信息,znode节点可能包含数据也可能没有数据,znode存储数据格式 ......
docker挂载volume的用户权限问题,理解docker容器的uid
docker挂载volume的用户权限问题,理解docker容器的uid 在刚开始使用docker volume挂载数据卷的时候,经常出现没有权限的问题。这里通过遇到的问题来理解docker容器用户uid的使用,以及了解容器内外uid的映射关系。 遇到的问题 本地有一个node的项目需要编译,采用d ......
Kafka消费者
消费者读取消息。在其他基于发布与订阅的消息系统中,消费者可能被称为订阅者 或 读者。
消费者订阅一个或多个主题,并按照消息生成的顺序读取它们。消费者通过检查消息的偏移量来区分已经读取过的消息。 ......
docker 部署 1
先打包本地idea 项目 上传到 linux 服务器 任意目录 并创建一个叫Dockerfile 文件 创建镜像 docker build -t mydemo . 启动镜像 映射端口 访问 ip:4200/hello ......
docker-compose 进阶篇
一、概述 docker-compose 项目是docker官方的开源项目, 负责实现对docker容器集群的快速编排,来轻松高效的管理容器,定义运行多个容器。 docker-compose将所管理的容器分为三层, 分别是工程(project),服务(service)以及容器(containner) ......
gralde-plugin->docker-compose的使用
在java web项目中,本地开发经常会需要在本地使用docker启动数据库等之类的服务。gradle提供了一个插件,允许通过gradle task启动docker的容器。在这里我们介绍的一个gralde插件com.avast.gradle.docker-compose 简单使用 引入插件 plug ......
Docker学习
Docker为什么出现? 一款产品: 开发--上线两套环境! 应用环境,应用配置! 开发 运维。问题:我在我的电脑上可以运行!版本更新,导致服务不可用!对于运维来说,考验就十分大? 环境配置是十分的麻烦,每一个机器都要部署环境(集群Redis、ES、Hadoop....)!费时费力。 发布一个项目i ......
在CentOS上安装Docker引擎
1,先决条件 #### 1-1操作系统要求 1-2 卸载旧版本 2,安装方法 2-1使用存储库安装 设置存储库 安装 Docker 引擎 本文永久更新地址: 官方地址:https://docs.docker.com/engine/install/centos/ 1,先决条件 #### 1-1操作系统 ......
在docker上安装MySQL和Redis
1. 通过docker命令下载mysql5.7镜像 mysql5.7前期准备 2. 通过docker命令下载mysql8.0镜像 mysql8.0前期准备 3. 通过docker命令下载redis镜像 redis前期准备 本文永久更新地址: 1. 通过docker命令下载mysql5.7镜像 mys ......
Docker安装Nacos
1、拉取镜像 docker pull nacos/nacos-server 2、挂载目录,用于映射到容器,目录按自己的情况创建 #新建目录 (根据实际情况创建) mkdir -p /home/nacos/logs/ mkdir -p /home/nacos/conf/ 3、mysql新建nacos的 ......
window11下Jenkins+Docker 实现一键自动化部署项目!步骤齐全,少走坑路(原创原创)
1.安装jdk 这个就不写了,自行百度,我这边装了两个版本的,jenkins要求11或17,所以装的jdk11,环境发布用的是jdk8 2.安装docker 官方地址:https://dockerdocs.cn/docker-for-windows/install/index.html 参考地址:h ......
构建一个flink程序,从kafka读取然后写入MYSQL
最近flink已经变得比较流行了,所以大家要了解flink并且使用flink。现在最流行的实时计算应该就是flink了,它具有了流计算和批处理功能。它可以处理有界数据和无界数据,也就是可以处理永远生产的数据。具体的细节我们不讨论,我们直接搭建一个flink功能。总体的思路是source -> tra ......
kafka学习
https://github.com/Snailclimb/springboot-kafka/blob/master/docs/3-10%E5%88%86%E9%92%9F%E5%AD%A6%E4%BC%9A%E5%A6%82%E4%BD%95%E5%9C%A8SpringBoot%E7%A8%8B ......
m1 docker mysql8/arm64v8 解决 `only_full_group_by` 问题
m1 docker mysql8/arm64v8 解决 only_full_group_by 问题 问题原因 MySql从5.7版本开始默认开启only_full_group_by规则,规则核心原则如下,没有遵循原则的sql会被认为是不合法的sql order by后面的列必须是在select后面存 ......
docker常用知识记录
安装docker(以contos8为例) # 卸载老版本 yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ dock ......
docker 根据dockerfile创建镜像
原文传送:传送门 DockerFile dockerfile 时用来构建docker 镜像的文件,命令参数脚本 构建步骤: 编写dockerfile文件 docker build构建成镜像 docker run docker push 发布镜像 docker hub 阿里云仓库 from #基础镜像 ......
查看 docker-for-mac的 runtiime
使用容器命名空间 docker run -it --rm --privileged --pid=host justincormack/nsenter1 进入容器 uanme -a # Linux docker-desktop 5.15.49-linuxkit #1 SMP PREEMPT Tue S ......
docker-compose.yml 参数详解
version: '3.8' # Docker Compose 文件版本号 services: # 定义应用程序中的服务,每个服务对应一个容器 web: # 定义一个名为 web 的服务 image: nginx:latest # 指定该服务使用的 Docker 镜像名称 build: . # 指定 ......