分布式 集群 服务器 文件
基于Docker部署Dubbo+Nacos服务
一、说明 本文介绍基于 Docker 部署一套 Dubbo + Nacos 的微服务环境，并解决容器里的 IP 及端口的访问问题。 基于上文《基于jib-maven-plugin快速构建微服务docker镜像》 中在阿里云镜像仓库构建的镜像来进行部署。 二、部署 Nacos 注册中心 拉取 naco ......
Rpc-实现Client对ZooKeeper的服务监听
1、前言 在上一篇文章中，完成了ZooKeeper注册中心，添加了一个简单的本地缓存 但是，存在一些问题： 当本地缓存OK，ZooKeeper对应服务有新的实例时，本地缓存不会自动更新 当ZooKeeper对应服务实例关闭，本地缓存不会监控到实例消失 2、编写 之前我们是将缓存直接放在ZooKeep ......
链接服务器查询导致的阻塞
背景 客户反馈数据库在上午10点时出现严重阻塞，阻塞源头会话在等待OLEDB，没有见过这个等待类型，请我们协助分析。 现象 登录SQL专家云，进入趋势分析，下钻到10点钟的活动会话，看到发生了两次严重的阻塞。 转到活动会话原始数据，看到阻塞的源头是会话331，正在执行UPDATE语句，阻塞了其它会话 ......
Eureka高可用集群服务端和客户端配置
微服务应用中，生产环境一般都需要保障服务注册中心的高可用！高可用也分好几个等级，例如：同数据中心(可用Zone区)高可用——》同地域(Region)跨数据中心(可用Zone区)高可用——》全国跨地域(Region)跨数据中心(可用Zone区)高可用——全球跨地域(Region)跨数据中心(可用Zon ......
为K8S集群准备Ceph存储
随着K8S存储接口逐渐成熟并顺势推出CSI接口规范后，原来“in-tree”(树内)模式的很多存储插件也逐步迁移到了“out-of-tree”(树外)模式的CSI插件上，甚至有些原来支持的存储卷类型都被直接移除了(例如在K8S v1.26上直接移除了 glusterfs 卷类型)，查阅了一下K8S官 ......
gitlabApi如何获取项目文件夹的commitId
在我们做配置管理系统和gitlab系统集成的时候，有一个常见的场景，就是要获取某个文件的commitId，来记录本次配置文件提交的版本。这个通过gitlabApi很容易实现： GET /projects/:id/repository/files/:file_path?ref=:ref 其中： id: ......
利用kubeadm部署Kubernetes v1.22.10高可用集群
一、概述 Kubernetes集群控制平面(Master)节点右数据库服务(Etcd)+其它服务组件（Apiserver、Controller-manager、Scheduler等）组成；整个集群系统运行的交互数据都将存储到数据库服务(Etcd)中，所以Kubernetes集群的高可用性取决于数据库 ......
NuGet私有服务器ProGet Docker搭建和公司中实战用法
一、什么时候需要用到NuGet私有服务器 很多公司中架构师会搭建一个统一的项目基础架构模板，然后全部新项目都会拿这个基础架构来开发新的项目，那架构中就会有很多的中间件，比喻公司内部的封装好的Redis中间件，访问数据库的中间件，MQ中间件，小程序中间件等等。 现在很多项目都用这个模板开发了，然后其中 ......
ASP.NET Core - .NET 6 的入口文件
自从.NET 6 开始，微软对应用的入口文件进行了调整，移除了 Main 方法和 Startup 文件，使用顶级语句的写法，将应用初始化的相关配置和操作全部集中在 Program.cs 文件中，如下： var builder = WebApplication.CreateBuilder(args); ......
python文件处理
1.文件介绍 python操作文件 1.python文件的基本操作 打开文件关键字open 语法格式：open（'文件路径'，'读写模式'，'字符编码'） f = open('a.txt','r',encoding='utf-8')#打开文件 print（f.read()）#操作文件 f.close ......
Nacos服务调用(基于Openfeign)
在<<Nacos服务注册>>这篇文章里，我搭建了一个nacos服务中心，并且注册了一个服务，下面我们来看在上一篇文章的基础上，怎样用Openfeign来调用这个服务。 0.同上篇，启动nacos 1.搭建alibaba spring cloud脚手架 访问https://start.aliyun.c ......
odoo 给列表视图添加按钮实现数据文件导入
实践环境 Odoo 14.0-20221212 (Community Edition) 代码实现 模块文件组织结构 说明：为了更好的表达本文主题，一些和主题无关的文件、代码已略去 odoo14\custom\estate │ __init__.py │ __manifest__.py │ ├─mod ......
Nodejs 使用 ZooKeeper 做服务发现
将单体服务拆分为微服务后，为了服务高可用，一般会做集群多实例。但在分布式下，怎么进行高效、便捷的进行服务访问问题，出现了各类服务注册和服务发现框架。这里使用的是Zookeeper。ZooKeeper 官网 https://zookeeper.apache.org。 我们的业务系统使用的开发语言是JA ......
推荐一个分布式单点登录框架XXL-SSO!
有关单点登录(SSO)之前有写过两篇文章 一文读懂 JWT! 看完这篇不能再说不懂SSO原理了！ 如果说XXL-JOB你可能并不陌生,它是非常火爆的一个分布式任务调度平台。但其实在该作者还有一个非常优秀的开源项目叫XXL-SSO,这两个个项目都是1000+Star。 XXL-SSO 是一个分布式单点 ......
微服务学习计划——SpringCloud
微服务学习计划——SpringCloud 在学习并掌握了众多基础框架之后，我们的项目繁杂且难以掌握，那么我们就需要开启一门新的课程，也就是我们常说的微服务架构 随着互联网行业的发展，对服务的要求也越来越高，服务架构也从单体架构逐渐演变为现在流行的微服务架构。 这篇文章我们将会概括到下面几个知识： 认 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
一个容器，但是一整个k8s集群
你可能需要一个快速启动和销毁的 k8s 集群；你可能在资源受限的环境中运行 k8s 集群；你可能是一个完全的初学者，觉得搭建完整的 k8s 套件太难。那么这篇短文可能可以帮到你。 ......
使用一个文件集中管理你的 Nuget 依赖版本号
在 .net 7 以前，项目对于 nuget 依赖项的版本依赖散落与解决方案的各个角落。这导致升级维护和查看的时候都比较麻烦。在 .net 7 中，你可以使用一个文件来集中管理你的 Nuget 依赖版本号。本篇文章将介绍如何使用这个功能。 ......
aspnetcore 原生 DI 实现基于 key 的服务获取
你可能想通过一个字符串或者其他的类型来获取一个具体的服务实现，那么在 aspnetcore 原生的 MSDI 中，如何实现呢？本文将介绍如何通过自定义工厂来实现。 ......
云服务器安装 redis
下载地址：https://download.redis.io/releases/ 此处示例使用的版本是：redis-6.2.10.tar.gz 前提环境： 云服务器 Xshell（操作终端） Xftp（传输工具） Redis Desktop Manager（redis 可视化客户端，可选） 1. 下 ......
ArcGIS Pro SDK 002 对数据文件的读取和操作
做系统开发或者数据处理的时候，我一般还是喜欢使用文件数据源，例如矢量用.shp文件存储，栅格数据用.tif或者.img文件存储。ArcGIS Pro SDK中对数据源操作的API和ArcObjects SDK中差别还是比较大的。 1、打开数据文件 打开文件数据的步骤如下。 （1）使用Shape文件所 ......
Luffy项目：2、项目需求（2），项目库的创建，软件开发目录，Django配置文件介绍
Luffy项目 一、Luffy项目需求（2） 1、后台日志封装 需求： 在项目目录下创建logs目录，用于记录项目日志 要求： 打印在控制台 记录在logs文件下的日志文件中 所有项目日志统一管理 操作步骤： - 第一步：在项目配置文件中进行配置 大字典 # 详情在下方大字典中查看 - 第二步：在u ......
Nacos服务发现原理分析
微服务将自己的实例注册到nacos注册中心，nacos服务端存储了注册列表，然后通过ribbon调用服务，具体是如何调用？如果nacos服务挂了，还能正常调用服务吗？调用的服务列表发生变化，调用方是如何感知变化的？带着这些问题，来探索一下服务发现的原理。 版本 2.1.1 Nacos Server: ......
小公司需要使用微服务架构吗？
一、使用微服务的四大门派 2.1、跟风派 技术大环境分析，到目前为止（2023.02）技术大环境： 各大公司都在宣传微服务以及自家实践情况 各种技术媒体也发布很多关于微服务的文章 和别人讨论技术相关的架构时，必然会提到微服务架构 这样的氛围下，微服务这 3 个字时不时的出现在眼前，加深你对它的印象。 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Serverless Streaming：毫秒级流式大文件处理探秘
摘要：本文将以图片处理的场景作为例子详细描述当前的问题以及华为云FunctionGraph函数工作流在面对该问题时采取的一系列实践。 文章作者｜旧浪：华为云Serverless研发专家、平山：华为云中间件Serverless负责人 一、背景 企业应用从微服务架构向 Serverless（无服务器）架 ......
使用 shell 脚本拼接 srt 字幕文件 (srtcat)
将多个 srt 文件拼接成一个，找了好多工具，都太重了，自己用 shell 手搓一个。一开始没觉得这个小工具有多么难，以为半天肯定能搞定，结果足足搞了三天。绊倒我的居然是时间字段的拆分和前导零的删除，看看 shell 里有多少种实现方案，以及我为何选择了当前的方案。 ......
Nginx基础02：配置文件nginx.conf（Part1）
我们使用Nginx主要是通过其配置文件nginx.conf来实现的。按照一定的规则，编写特定的指令，可以帮助我们实现对Web服务的控制！所以，学习Nginx的用法，几乎就是学习nginx.conf！ 如何使用本篇文章 本文作为一篇高度总结和罗列nginx.conf中所有的基础配置项，循规蹈矩地按照文 ......
多变量两两相互关系联合分布图的Python绘制
本文介绍基于Python中seaborn模块，实现联合分布图绘制的方法。 联合分布（Joint Distribution）图是一种查看两个或两个以上变量之间两两相互关系的可视化图，在数据分析操作中经常需要用到。一幅好看的联合分布图可以使得我们的数据分析更加具有可视性，让大家眼前一亮。 那么，本文就将 ......