分布式 体系
容器云平台监控告警体系（五）—— Prometheus发送告警机制
1、概述 在Prometheus的架构中告警被划分为两个部分，在Prometheus Server中定义告警规则以及产生告警，Alertmanager组件则用于处理这些由Prometheus产生的告警。本文主要讲解Prometheus发送告警机制也就是在Prometheus Server中定义告警规 ......
redis 做分布式限流
参看来源： https://blog.51cto.com/u_15708799/5703440 测试有效代码： @Test public void testLimitWait() throws InterruptedException { ExecutorService pool = Executo ......
聊聊微服务治理体系思想
你的微服务项目真的支持集群部署吗？真的做到业务解耦了吗？我相信现在大一点的项目，基本都会选择微服务，但是，真的能体现微服务核心价值的项目不多。在我上篇文章《聊聊微服务架构思想》中，基于个人认知，讲述了软件架构的发展历程和微服务核心思想，主要阐述了微服务架构要解决的痛点和使用微服务带来的好处。凡事都有 ......
全栈声明式可观测：KubeVela 的云原生应用洞察体系
随着云原生技术的日趋成熟，越来越多的工作负载都迁移到 Kubernetes 之上，包括各类无状态微服务和复杂的有状态应用。为了支撑这些应用所需的各项基础设施，开发者不得不面对大量的底层 API。这就形成了两个挑战，一方面是难以标准化，各种工作负载自身都会形成自己的运维管理平台，带来了企业平台层的分化 ......
Copula估计边缘分布模拟收益率计算投资组合风险价值VaR与期望损失ES|附代码数据
全文链接：http://tecdat.cn/?p=24753 最近我们被客户要求撰写关于Copula的研究报告，包括一些图形和统计输出。 在这项工作中，我通过创建一个包含四只基金的模型来探索 copula，这些基金跟踪股票、债券、美元和商品的市场指数 摘要 然后，我使用该模型生成模拟值，并使用实际收 ......
Ffmpeg分布式视频转码问题总结
本文主要聊一聊云原生时代分布式转码系统实施过程中碰到的一些问题。 聊问题之前简单介绍一下我们的分布式转码方案。 云原生分布式转码 在计算资源招之即来的云计算时代，正在重构着软件架构的方方面面。 对软件架构师或者运维管理者影响比较大的一个点便是不需要在做容量规划，不需要提前评估为了应对某个活动应该准备 ......
Mysql分布式锁的简单实现
在做多线程操作数据库时避免不了的会遇到线程之间争抢同一条记录的问题，在mysql里可以实现分布式锁解决线程的反复调用问题。 具体方法是利用数据库的唯一约束，设置一个比如状态的列来判断此记录是否正在被线程处理，可以默认值为0，表示未被处理，当值变为1时表示正在处理，值为2时表示处理完成。 此时我们只需 ......
高性能分布式网络服务器框架
该项目是使用 C/C++ 开发的一款高性能的后端分布式服务器网络框架。该项目具有如下要点： 使用 C++11 重写并简化 muduo 网络库； 仿写了 tcmalloc 的高并发内存池； 加入了 sylar 的日志模块并将其改进为异步日志； 使用到了 protobuf 和 Zookeeper 来作为 ......
高级数据库-分布式
1并行数据库 为什么要分片 如何分片 垂直分片 水平分片 主键水平分片 衍生水平分片 混合分片 分多少片 如何测试正确性 完整性 关系R分解为片段R1, R2，…，当且仅当R中的每个数据项也可以在某个Ri中找到时，Rn是完备的 重构行 如果关系R被分解为片段R1, R2，…， Rn，那么应该存在某种 ......
软件体系架构质量属性-性能
摘要：随着软件系统规模和复杂度的不断增加，软件性能已成为软件体系架构中至关重要的一个质量属性。性能问题会直接影响用户体验、系统稳定性和可靠性等方面，因此，如何确保软件体系架构在设计和实现过程中具备良好的性能特征，已成为软件开发过程中的一个重要问题。本文主要介绍了软件体系架构中的性能问题，探讨了如何在 ......
jmeter分布式压测csv文件配置
1、在控制机上添加csv数据文件设置 2、将文件发送到执行机上的bin/目录下 3、然后输入./文件名即可 4、最后远程执行执行机 ......
项目播报 | 璞华×江苏鼎为云，打造数字化“采云链”体系，赋能新能源机电行业生态化
数字化转型升级，提高采购效率，打造智慧供应链。作为中国领先的采购数字化服务商，璞华拥有丰富的采购数字化实战经验及强大品牌影响力，沉淀了成熟的采购数字化解决方案。未来，璞华采云链将一如既往地以创新领先的产品和专业的服务帮助更多的优秀企业实现采购数智化转型。 ......
分布滞后线性和非线性模型（DLNM）分析空气污染（臭氧）、温度对死亡率时间序列数据的影响|附代码数据
全文下载链接 http://tecdat.cn/?p=23947 最近我们被客户要求撰写关于分布滞后线性和非线性模型的研究报告，包括一些图形和统计输出。 分布滞后非线性模型（DLNM）表示一个建模框架，可以灵活地描述在时间序列数据中显示潜在非线性和滞后影响的关联。该方法论基于交叉基的定义，交叉基是由 ......
08 04 jmeter 性能测试案例 分布式压力测试
打开虚拟机 打开所在位置 返回上一目录 复制两个虚拟机 查看虚拟机ip 关闭防火墙 启动 主要虚拟机的tomcat 另外两个虚拟机 如果 将进程删除再进 找到 #号去掉 false改为true #去掉 数字改为好记的端口 之后两个虚拟机都要打开jmeter 须在bin目录下 jmeter-serve ......
C#中的分布式ID生成组件IDGen介绍并给出示例代码
C#中的IDGen是一个C#实现的Twitter Snowflake算法的ID生成器，可以生成全局唯一的ID，支持高并发场景下的ID生成。在本篇文章中，我们将介绍IDGen的使用方法并提供相关的C#示例代码。 IDGen的介绍 IDGen是一款开源的分布式唯一ID生成器，支持多种ID生成算法，并且可 ......
新起点！大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本
我们很高兴向大家宣布，2023年4月14日，Taier 正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来，收到了很多开发者和行业用户的积极评价，在诸多生产环境中已得到充分应用。Taier 1.4版本正是吸收了各类实践经验及大家的建议，进行了此次迭代优化。 本次更新不仅包含了性能优 ......
【获奖案例巡展】信创先锋之星——江西金发基于分布式数据库的互联网金融业务系统
为表彰使用大数据、人工智能等基础软件为企业、行业或世界做出杰出贡献和巨大创新的标杆项目，星环科技自2021年推出了“新科技 星力量” 星环科技科技实践案例评选活动，旨在为各行业提供更多的优秀产品案例，彰显技术改变世界的力量，目前已成功举办两届，收到了来自各界的积极参与。 第二届星环科技科技实践案例评 ......
12 11 | 全局思维和持续完善体系的建立，让团队持续成长
你好，我是乔新亮，很高兴又与你见面了。 在技术管理领域，有一个很古怪的现象，不知道你是否有注意到：很多管理者，在面对团队成员的争吵时，会选择冷处理、和稀泥，也有人干脆沉默以对，直接忽略这个状况。 但你肯定知道，理论上，管理者是应该介入争吵，及时调停的 —— 不然团队士气和协作就会受损。 那为什么会有 ......
第 2 章分布式系统中的调度
介绍 在分布式计算中，调度器负责管理传入的容器请求，并确定接下来要运行哪些容器，在哪个节点上运行它们，以及在该节点上并行运行多少个容器。调度器的复杂性各不相同，最简单的调度器具有简单的先进先出 (FIFO) 策略。不同的调度器偏重于各种（某些层面上是相互冲突的）目标，例如： 尽可能充分利用集群资源 ......
体系|大型互联网系统全生命周期的运维管理——你真的了解SRE？
关于SRE和运维体系的文章很多，但大多数学院风浓厚，本文试着从一个出身运维一线SRE管理者的角度进行总结阐述，给你一份可实操接地气的运维体系，所有感悟来自小米和新浪的多年运维实战，希望对你有所启发。 在面向大型、复杂互联网系统的治理时，尤其离不开SRE，当体量上来后，系统的用户量、模块、调用链、指标 ......
大厂SRE管理者要如何设计团队的DevOps自动化体系？
自动化体系在一个技术团队中尤其重要，他代表着效率和未来。在运维团队，我认为SRE自动化的终极目标就是建立一套DevOps体系，能够把所有的运维场景承载下来并全部自动化，全链路的提升SRE的工作效率、解放人力，为此在团队里我提出了自动化的北极星：能自动化的全部自动化。 解放人力不是把自己干掉，我认为自 ......
Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)
分布式爬虫(scrapy_redis) 分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。 在分布式爬虫中，每个爬虫进程或者机器都具有独立的爬取能力，可以独立地爬取指定的网页或者网站，然后将爬取到的数据进行汇总和处理。 分布式爬虫相对于单机爬虫的优 ......
计算机组成原理-ARM指令集体系结构(二)
ARM汇编语言 ARM指令格式 Label Op-code operand1,operand2,operand3 ;comment 一段简单的ARM代码(执行后R0寄存器的值为0x0C,R1寄存器的值为0x0C)： 汇编伪指令AREA定义代码段。例子中的代码段名字为MyCODE，属性为CODE。汇编 ......
ASP.NET Core - 缓存之分布式缓存
分布式缓存是由多个应用服务器共享的缓存，通常作为访问它的应用服务器的外部服务进行维护。 分布式缓存可以提高 ASP.NET Core 应用的性能和可伸缩性，尤其是当应用由云服务或服务器场托管时。 与其他将缓存数据存储在单个应用服务器上的缓存方案相比，分布式缓存具有多个优势。 当分发缓存数据时，数据： ......
由浅入深详解四种分布式锁
在多线程环境下，为了保证数据的线程安全，锁保证同一时刻，只有一个可以访问和更新共享数据。在单机系统我们可以使用synchronized锁或者Lock锁保证线程安全。synchronized锁是Java提供的一种内置锁，在单个JVM进程中提供线程之间的锁定机制，控制多线程并发。只适用于单机环境下的并发 ......
实现声明式锁，支持分布式锁自定义锁、SpEL和结合事务
工作中遇到事务一般使用声明式事务，一个注解@Transactional搞定。编程式事务则显得略繁琐。 @Autowired private PlatformTransactionManager transactionManager; public void service() throws Exce ......
计算机组成原理-ARM指令集体系结构(一)
ARM寄存器集 ARM有16个程序员可见寄存器(r0-r15)以及一个状态寄存器。ARM共有14个通用寄存器(r0-r13)，寄存器r14存放子程序返回地址，寄存器r15为程序计数器，其中r13被保留用作栈指针。 ARM的当前处理器状态寄存器(CPSR)包括了Z(零)、N(负)、C(进位)和V(溢出 ......
基于Mongodb分布式锁简单实现，解决定时任务并发执行问题
前言 我们日常开发过程，会有一些定时任务的代码来统计一些系统运行数据，但是我们应用有需要部署多个实例，传统的通过配置文件来控制定时任务是否启动又太过繁琐，而且还经常出错，导致一些异常数据的产生 网上有很多分布式锁的实现方案，基于redis、zk、等有很多，但是我的就是一个用了mysql和mongo的 ......