分布式 机器 故事docker
花了半个小时基于 ChatGPT 搭建了一个微信机器人
相信大家最近被 ChatGPT 刷屏了，其实在差不多一个月前就火过一次，不会那会好像只在程序员的圈子里面火起来了，并没有被大众认知到，不知道最近是因为什么又火起来了，而且这次搞的人尽皆知。 想着这么火的 AI 完全可以好好玩一玩呀，于是就尝试着将 ChatGPT 接入到了个人微信中，实现在微信中调戏 ......
在腾讯云上创建一个玩具docker-mysql数据服务
有时候开发需求会自己做一下测试数据，在自己电脑本地安装的服务多了电脑环境会搞的很乱，这时使用云服务器安装个docker服务是一个不错的选择。 下面步骤是在腾讯云上安装docker-mysql镜像，并导入数据，使用的过程。 服务端配置 首先使用ssh登录服务器，然后按照下面的步骤一步一步操作即可。 安 ......
【极客升维记】人与机器的较量
最近一个月，ChatGPT在持续走热，整个技术圈似乎在“瑟瑟发抖”。因为大家在不断的构思着“科幻”的那一幕：整个世界被机器所控制，人沦为“机器”的“工具”。 ......
redis实现分布式锁（包含代码以及分析利弊）
redis实现分布式锁（基础版） 使用redis实现分布式锁的方法有多种，基础版本是基于setnx命令，即如果不存在则设置。这个命令可以保证只有一个客户端能够成功设置一个key，从而获得锁。设置key的时候需要设置一个过期时间，以防止死锁。释放锁的时候需要删除key，或者使用lua脚本来保证原子性。 ......
用Java写一个分布式缓存——RESP服务端
本篇我们将完成一个RESP的socket的服务端，初步完成一个单机版缓存。
另外我们还需要完成命令的动态路由。
源码：https://github.com/weloe/Java-Distributed-Cache ......
分布式配置nacos搭建踩坑指南(下)
上一篇介绍了在配置nacos中的碰到的坑，这一篇介绍一下如何正确进行nacos的环境搭建和配置，所以本文分为两部分，第一部分为环境搭建，介绍如何安装和运行。第二部分为alibaba Sprint Boot配置，介绍如何正确配置。 注意：本文基于nacos 2.2.0,alibaba Spring B ......
100 行 shell 写个 Docker
作者：vivo 互联网运维团队- Hou Dengfeng 本文主要介绍使用shell实现一个简易的Docker。 一、目的 在初接触Docker的时候，我们必须要了解的几个概念就是Cgroup、Namespace、RootFs，如果本身对虚拟化的发展没有深入的了解，那么很难对这几个概念有深入的理解 ......
docker搭建maven私服（nexus3），整合springboot上传下载依赖
一、前言 我们在JavaWeb开发中必不可少的就是jar包管理-maven，在没有maven之前，都是自己手动下载jar包导入到项目中，非常的繁琐。 maven出现之后，又迎来新的问题，对于仓库里人家发布的都可以引用下载，但是公司自己内部写的jar包，不想让外人看到，自己公司来回粘贴复制，非常的繁琐 ......
05安装一个Hadoop分布式集群
安装一个Hadoop分布式集群 最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从 ......
无需依赖Docker环境制作镜像
随着高版本的Kubernetes弃用Docker，企业也可以不依赖Docker环境了，但是DevOps通过Kubernetes部署的话，仍然需要制作镜像，那么在没有Docker环境的情况下如何制作呢？推荐一款谷歌的开源工具Jib，github地址，它是一个无需Docker守护进程——也无需深入掌握D ......
分布式事务 | 使用DTM 的Saga 模式
DTM 首创的子事务屏障技术，使得开发者基于DTM 提供的SDK能够轻松开发出更可靠的分布式应用，彻底将开发人员从网络异常的处理中解放出来，再也不用担心空补偿、防悬挂、幂等等分布式问题。如果要进行分布式事务框架的选型，DTM 将是不二之选。 ......
分布式事务 | 使用 dotnetcore/CAP 的本地消息表模式
本地消息表模式，其作为柔性事务的一种，核心是将一个分布式事务拆分为多个本地事务，事务之间通过事件消息衔接，事件消息和上个事务共用一个本地事务存储到本地消息表，再通过定时任务轮询本地消息表进行消息投递，下游业务订阅消息进行消费，本质上是依靠消息的重试机制达到最终一致性。 ......
一文带你入门图机器学习
本文主要涉及图机器学习的基础知识。 我们首先学习什么是图，为什么使用图，以及如何最佳地表示图。然后，我们简要介绍大家如何在图数据上学习，从神经网络以前的方法 (同时我们会探索图特征) 到现在广为人知的图神经网络 (Graph Neural Network，GNN)。最后，我们将一窥图数据上的 Tra ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
.Net Core对于`RabbitMQ`封装分布式事件总线
首先我们需要了解到分布式事件总线是什么； 分布式事件总线是一种在分布式系统中提供事件通知、订阅和发布机制的技术。它允许多个组件或微服务之间的协作和通信，而无需直接耦合或了解彼此的实现细节。通过事件总线，组件或微服务可以通过发布或订阅事件来实现异步通信。 例如，当一个组件完成了某项任务并生成了一个事件 ......
从零开始，打造属于你的 ChatGPT 机器人！
大家好！我是韩老师。 不得不说，最近 OpenAI/ChatGPT 真的是太火了。 前几天，微软宣布推出全新的 Bing 和 Edge，集成了 OpenAI/ChatGPT 相关的技术，带动股价大涨： 微软市值一夜飙涨 5450 亿 国内外各家大厂也是纷纷跟进，发布或者将要发布与 OpenAI/Ch ......
Docker安装
我们很容易就可以在你的环境中安装docker，只要你选择好你的安装方式即可。 Docker实际上分为Docker Desktop和 Docker engine。Docker Desktop是一个桌面应用程序，可以在各种linux、macOS和windows 10上安装。 在Linux中，我们通常安装 ......
自动化运维：使用Maven与Docker运行Selenium测试
在这篇文章中，我们将向您展示如何创建交付流水线并实现以下目标： 使用Web应用程序构建Docker镜像 在Docker容器中运行该应用程序 从不同的容器中使用Maven运行Selenium测试 出于本文演示目的，我们将使用托管在GitHub上的Java示例项目: github.com/buddy-r ......
(一) MdbCluster分布式内存数据库——基础架构介绍
(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了，大概是原来的内存数据库很不好用，一次次地让我们踩坑，我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来，我思考最多的总是如何带着团队做出有意义和有价值的产品，而不是将时间浪费在无谓的琐 ......
可能是最简单的本地GPT3 对话机器人，支持OpenAI 和 Azure OpenAI
毫无疑问，GPT是目前最火的人工智能方向，已经商用的有OpenAI公司原生的GPT3 和 ChatGPT ，以及微软公司的Azure OpenAI Service （暂时还没有包含ChatGPT）。关于他们的各种资料以及讨论（甚至争论），网上已经有很多了。我这里不准备重复。本文分享的一个是我自己为了 ......
机器学习-Kmeans
前言 K-means是一种经典的无监督学习算法，用于对数据进行聚类。K-means算法将数据集视为具有n个特征的n维空间，并尝试通过最小化簇内平方误差的总和来将数据点划分为簇。本文将介绍K-means算法的原理、实现和应用。 定义 K-means是一种无监督学习算法， 用于对数据进行聚类。该算法将数 ......
机器学习入门总结
交叉验证是机器学习当中的概念，一般深度学习不会使用交叉验证方法，原因是深度学习的数据集一般都很大。但是也有例外，Kaggle 的一些医疗类比赛，训练集一般只有几千张，由于训练数据很少，用来作为验证集的数据会非常少，因此训练的模型在验证集上精度可能会有很大波动，这直接取决于我们所选择的验证集和训练集划... ......
基于Docker安装的Stable Diffusion使用CPU进行AI绘画
基于Docker安装的Stable Diffusion使用CPU进行AI绘画 由于博主的电脑是为了敲代码考虑买的，所以专门买的高U低显，i9配核显，用Stable Diffusion进行AI绘画的话倒是专门有个CPU模式，不过安装过程经历了许多坎坷，特此记录一下 博主的环境是Windows 11附带 ......
分布式协议与算法-Raft算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 大家都知道，Raft算法属于Multi-Paxos算法，它是在Multi-Paxos思想的基础上，做了一些简化和限制。关于Paxos算法，博主在之前的文章有过总结，大家可以从这里跳转：分布式协议与算法-Paxos算法 关于Raft算法相关的开 ......
应用容器引擎-Docker
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。 @Author：Akai-yuan @更新时间：2023/1/31 ......
部署实战-Docker+nginx部署前后端分离项目
本文是基于Docker、Docker-compose、nginx、centos7、springboot进行前后端分离项目部署 关于Docker相关知识，可以查看文章：应用容器引擎-Docker Dockerfile的文章链接：Dockerfile详解 @Author：Akai-yuan @更新时间： ......
Docker不做虚拟化内核，对.NET有什么影响？
#引子 前两天刷抖音，看见了这样一个问题。 问题：容器化不做虚拟内核，会有什么弊端？Java很多方法会跟CPU的核数有关，这个时候调用系统函数，读到的是宿主机信息，而不是我们限制资源的大小。 思考：在我们.NET中是否也会出现这种问题呢？ #环境准备 1. 准备程序 在我们.NET中，并行编程（Pa ......
使用docker安装hadoop（已实现）
1.拉镜像 这里推荐第一个 docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base 或者 docker pull qianiqan/hadoop_only 2.创建容器 三个容器的名称分别是Master、Slave1 ......
Docker快速部署Nacos
前置 机器配置不能太低 ( ~~2c2g的轻量服务器直接崩掉了~~) Docker https://www.docker.com/ 开始安装 mysql 使用docker安装mysql 可以不输入这个直接跳到下一步,docker会帮你下载. docker pull mysql 运行mysql doc ......