分布式 机器 故事docker
痞子衡嵌入式：Farewell, 我的写博故事2016-2019
-- 题图：苏州天平山枫叶 现在是 2022 年末，痞子衡又要起笔博文年终总结了，看着 2020 年之前的博文总结缺失，始终觉得缺憾，所以写下此篇 2016 - 2019 总结合辑。2016 年之前，痞子衡也发表过一些文章，不过没有持续性，那时候更多是以个人笔记形式留在硬盘里。2016 年是痞子衡正 ......
分布式文件系统之FastDFS
目录结构： 一 分布式文件系统 二 FastDFS入门 三 FastDFS环境搭建 四 FastDFS在Java项目中开发示例 五 FastDFS分布式文件系统集群 一 分布式文件系统 分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文 ......
机器学习--起手式
几个贯穿始终的概念 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 当我们把人类学习简单事物的过程抽象为几个阶段，再将这些阶段通过不同的方法具体化为代码，依靠通过计算机的基础能力--计算。我们就可以让机器能够“学会”一些简单的事物。 我们首先将视线聚焦在最简单的判断 ......
机器学习--要学点什么
前言 可以说掌握了机器学习，你就具备了与机器对话，充分利用机器为人类服务的能力。在人工智能时代，这将成为一项必备技能，就好比十年前你是编程大牛，二十年前你英语超好一样。因此，无论你是什么专业的学生，学一点机器学习的知识绝对只有好处，没有坏处. 但是由于目前学习机器学习是为了准备美赛,所以我并不打算死 ......
使用Prometheus监控docker compose方式部署的ES
需求 收集 ES 的指标, 并进行展示和告警; 现状 ES 通过 docker compose 安装 所在环境的 K8S 集群有 Prometheus 和 AlertManager 及 Grafana 方案 复用现有的监控体系, 通过: Prometheus 监控 ES. 具体实现为: 采集端 el ......
Google分布式文件系统GFS论文学习
GFS作为最著名的分布式文件系统，首先具备了大规模、可扩展、适配大文件、自动运维等高级特性。虽然是比较早期的分布式文件系统，但是它里面的设计思想还是值得现代分布式系统设计参考的，并且还有很多后期著名的分布式文件系统就是根据 GFS 来的。 一、设计预期 在论文前面，列举了设计预期，也就是 GFS 是 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构二）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 结合 OP Storming 的实践 结合 OP Storming 的实践 业务模型 设计模型 代码实现 业务模型 我们可以把关键对象（职位、客户行为记录、线索）参考为 actor 猎头 ......
【机器学习】李宏毅——Domain Adaptation(领域自适应)
本文介绍了Domain Adaptation(领域自适应)的相关知识，包括现在出现的具体问题、问题如何解决、所面对的各种情况等等。 ......
MongoDB从入门到实战之Docker快速安装MongoDB
前言 在上一篇文章中带领带同学们快速入门MongoDB这个文档型的NoSQL数据库，让大家快速的了解了MongoDB的基本概念。这一章开始我们就开始实战篇教程，为了快速把MongoDB使用起来我将会把MongoDB在Docker容器中安装起来作为开发环境使用。然后我这边MongoDB的可视化工具用的 ......
当 xxl-job 遇上 docker → 它晕了，但我不能乱！
开心一刻 某次住酒店，晚上十点多叫了个外卖 过了一阵儿，外卖到了 因为酒店电梯要刷卡，所以我下楼去接 到了电梯口看到个模样不错的妹纸 我：是你么? 妹纸愣了下：嗯！ 于是拉上进电梯回房间，正准备开始呢 我俩的电话同时响了 按下接听键，一男一女同时问：我到电梯口了，你人呢? 尴尬了，取错外卖了 然后一 ......
把盏言欢,款款而谈,ChatGPT结合钉钉机器人(outgoing回调)打造人工智能群聊/单聊场景,基于Python3.10
就像黑火药时代里突然诞生的核弹一样，OpenAI的ChatGPT语言模型的横空出世，是人工智能技术发展史上的一个重要里程碑。这是一款无与伦比、超凡绝伦的模型，能够进行自然语言推理和对话，并且具有出色的语言生成能力。 ......
实用！7个强大的Python机器学习库！⛵
本文整理了7个非常有效的机器学习Python库：Prophet、Deep Lake、Optuna、pycm、NannyML、ColossalAI、emcee，用简单的方式编写复杂且耗时的代码，大大提升工作效率！ ......
分布式事务 | 基于MassTransit Courier实现Saga 编排式分布式事务
Saga 模式 Saga 最初出现在1987年Hector Garcaa-Molrna & Kenneth Salem发表的一篇名为《Sagas》的论文里。其核心思想是将长事务拆分为多个短事务，借助Saga事务协调器的协调，来保证要么所有操作都成功完成，要么运行相应的补偿事务以撤消先前完成的工作，从 ......
就离谱！使用机器学习预测2022世界杯：小组赛挺准，但冠亚季军都错了 ⛵
本文使用机器学习建模对 FIFA 2022世界杯结果进行了预测，赛后将其与真实结果进行比较，可以看出：小组赛到1/4决赛的预测准确率很高，半决赛和决赛的预测准确率为0，冠亚季军无一预测准确。 ......
全自动化数据洞察！数据分布对比可视化！⛵
本文介绍如何使用 Pandas Profiling 的比较报告功能，分析两个数据集的分布差异，完成数据探索分析 (EDA) 的完整流程，为后续分析做准备。 ......
从源码构建docker-ce
准备环境 准备一台Linux主机，并在上面安装好docker-ce，安装好make，git就可以开始编译工作了。对，就是如此简单，可能你会对此感到异或为啥要装docker,我不是准备编译这个玩意么，为啥不装go,docker不是用go开发的么？ 这些疑问会在后面的步骤中解答。 # docker-ce ......
docker registry（私库）搭建，使用，WEB可视化管理部署
Docker Registry 是Docker官方一个镜像，可以用来储存和分发Docker镜像。目前比较流行的两个镜像私库是Docker Registry ，HarBor 其中HarBor最合适企业级应用，提供良好的WEB界面进行管理。 Docker Registry搭建 本文主要介绍Docker ......
如何基于 Redis 实现分布式锁
什么是分布式锁 分布式锁：不同进程必须以互斥方式使用共享资源的一种锁方法实现。 实现分布式锁的基础 互斥。任何时刻，只有一个客户端持有锁。 无死锁。最终总是有可能获得锁，即使持有锁的客户端已经崩溃。 单个 Redis 分布式锁实现 上锁 上锁需要考虑俩点 原子性 锁能自动释放 首先要考虑持有锁的客户 ......
【分布式技术专题】「架构设计方案」盘点和总结秒杀服务的功能设计及注意事项技术体系
分析秒杀的业务场景，最重要的有一点就是超卖问题，假如备货只有100个，但是最终超卖了200，一般来讲秒杀系统的价格都比较低，如果超卖将严重影响公司的财产利益，因此首当其冲的就是解决商品的超卖问题。 ......
作者推荐 | 【分布式技术专题】「架构设计方案」图解学习法总结集群模式下的各种软负载均衡策略实现及原理分析
通常来说，负载均衡分为硬件负载均衡及软件负载均衡。硬件负载均衡，顾名思义，在服务器节点之间安装专门的硬件进行负载均衡的工作，F5或者A10便为其中的佼佼者。软件负载均衡则是通过在服务器上安装的特定的负载均衡软件或是自带负载均衡模块完成对请求的分配派发。例如，平时我们使用的Nginx或者API-Gat... ......
【秒杀购物商城业务服务】「分布式架构服务」盘点中间件服务的高可用模式及集群技术的方案分析
- 基于MySQL数据库集群技术实现服务的高可用
- 基于Tomcat的集群负载机制实现Tomcat服务器的高可用
- 基于Nginx负载均衡机制实现负载均衡（介绍和配置）
- 基于Redis缓存服务实现数据缓存控制相关介绍和技术点分析
- 对未来的分布式技术架构扩展和延伸介绍（包含云原生部分） ......
Selenium4+Python3系列（十三） - 与docker中的jenkins持续集成
前言 文章更新到这一篇时，其实我还是很开心的，因为这也正是这系列教程的最后一篇文章，也算是完成了一个阶段性的小目标，也很感谢那些愿意看我文章与我交流学习的同学，感谢有你们的支持和陪伴。 Jenkins的下载安装 1、拉取镜像： 笔者是Mac系统，为了方便就直接使用Docker进行安装了，终端输入如下 ......
【JVM故障问题排查心得】「内存诊断系列」Docker容器经常被kill掉，k8s中该节点的pod也被驱赶，怎么分析？
我有一个在主机中运行的Docker容器（也有在同一主机中运行的其他容器）。该Docker容器中的应用程序将会计算数据和流式处理，这可能会消耗大量内存。
该容器会不时退出。我怀疑这是由于内存不足，但不是很确定。我需要找到根本原因的方法。那么有什么方法可以知道这个集装箱的死亡发生了什么？ ......
秒级查询之开源分布式SQL查询引擎Presto实操-上
大数据交互式查询是每个数据分析人员不可或缺的需求，本篇以业界交互式查询的经典之作Presto为研究对象，了解其架构和优缺点及丰富连接器。并通过安装一个协调节点和3个worker节点的分布式集群，使用命令行界面演示hive连接器的查询数据表的示例，最后了解其使用的要点。 ......
rate-limit 一款 java 开源渐进式分布式限流框架使用介绍
项目简介 rate-limit 是一个为 java 设计的渐进式限流工具。 目的是为了深入学习和使用限流，后续将会持续迭代。 特性 渐进式实现 支持独立于 spring 使用 支持整合 spring 支持整合 spring-boot 内置多种限流策略 快速开始 需求 jdk 1.7 maven 3. ......
为什么分布式限流会出现不均衡的情况？
概述 在微服务、API 化、云原生大行其道的今天，服务治理不可或缺，而服务治理中限流几乎是必不可少的手段；微服务化往往伴随着分布式的架构，那么仅仅单机限流是不够的，还需要分布式的限流。 那么问题就来了：分布式限流中，往往会出现「限流不均衡」或「限流误差」的情况，这是为什么呢？ 限流 国庆假期，限流这 ......
制作 Python Docker 镜像的最佳实践
概述 📚️Reference: 制作容器镜像的最佳实践 这篇文章是关于制作 Python Docker 容器镜像的最佳实践。(2022 年 12 月更新） 最佳实践的目的一方面是为了减小镜像体积，提升 DevOps 效率，另一方面是为了提高安全性。希望对各位有所帮助。 通用 Docker 容器镜像 ......
云原生架构（二）环境搭建（Mac上安装Istio---Docker+Kubernetes+Istio一条龙）
系列目录 云原生架构（一）原理概览 云原生架构（二）环境搭建 云原生架构（三）简单样例 云原生架构（四）源码详解 云原生架构（五）总结提高 一、背景 Istio 项目由 Google 和 IBM 的团队与 Lyft 的 Envoy 团队合作启动。它已经完全在 GitHub 上公开开发。目前已经是“S ......
自己动手基于 Redis 实现一个 .NET 的分布式锁类库
分布式锁的核心其实就是采用一个集中式的服务，然后多个应用节点进行抢占式锁定来进行实现，今天介绍如何采用Redis作为基础服务，实现一个分布式锁的类库，本方案不考虑 Redis 集群多节点问题，如果引入集群多节点问题，会导致解决成本大幅上升，因为 Redis 单节点就可以很容易的处理10万并发量了，这 ......
Docker进阶-Dockerfile建立一个自定义的镜像执行自定义进程
前言 docker对我来说是一个很方便的工具，，上一篇文章也写了docker基本的一些使用，这篇文章重点描述一下Dockerfile的使用，从零建立一个自己定制化的镜像，并可以执行我们需要的任务。 作者：良知犹存 转载授权以及围观：欢迎关注微信公众号：羽林君 或者添加作者个人微信：become_me ......