链路 分布式opentelemetry rocketmq
Wallis 公式、Stirling 公式与正态分布
参考： 张筑生《数学分析新讲》第二册[1] 张颢《概率论》[2] Wikipedia, Math StackExchange, etc. 1 Warm up Example 1 求 limn→∞(2n−1)!!(2n)!!=limn→∞1×3×5×⋯×(2n−1)2×4×6×⋯×2n Solutio ......
以太网链路聚合与交换机堆叠、集群
随着业务的发展和园区网络规模的不断扩大，用户对于网络的带宽、可靠性要求越来越高。对于这种情况，传统解决方案通过升级设备方式提高网络带宽，同时通过部署冗余链路并辅以STP协议实现高可靠，然而这种方案存在灵活度低、故障恢复时间长、配置复杂、成本高等缺点。为了解决这些问题，我们将思考另一种解决方案：通过链 ......
redis 做分布式限流
参看来源： https://blog.51cto.com/u_15708799/5703440 测试有效代码： @Test public void testLimitWait() throws InterruptedException { ExecutorService pool = Executo ......
Copula估计边缘分布模拟收益率计算投资组合风险价值VaR与期望损失ES|附代码数据
全文链接：http://tecdat.cn/?p=24753 最近我们被客户要求撰写关于Copula的研究报告，包括一些图形和统计输出。 在这项工作中，我通过创建一个包含四只基金的模型来探索 copula，这些基金跟踪股票、债券、美元和商品的市场指数 摘要 然后，我使用该模型生成模拟值，并使用实际收 ......
Ffmpeg分布式视频转码问题总结
本文主要聊一聊云原生时代分布式转码系统实施过程中碰到的一些问题。 聊问题之前简单介绍一下我们的分布式转码方案。 云原生分布式转码 在计算资源招之即来的云计算时代，正在重构着软件架构的方方面面。 对软件架构师或者运维管理者影响比较大的一个点便是不需要在做容量规划，不需要提前评估为了应对某个活动应该准备 ......
Mysql分布式锁的简单实现
在做多线程操作数据库时避免不了的会遇到线程之间争抢同一条记录的问题，在mysql里可以实现分布式锁解决线程的反复调用问题。 具体方法是利用数据库的唯一约束，设置一个比如状态的列来判断此记录是否正在被线程处理，可以默认值为0，表示未被处理，当值变为1时表示正在处理，值为2时表示处理完成。 此时我们只需 ......
高性能分布式网络服务器框架
该项目是使用 C/C++ 开发的一款高性能的后端分布式服务器网络框架。该项目具有如下要点： 使用 C++11 重写并简化 muduo 网络库； 仿写了 tcmalloc 的高并发内存池； 加入了 sylar 的日志模块并将其改进为异步日志； 使用到了 protobuf 和 Zookeeper 来作为 ......
高级数据库-分布式
1并行数据库 为什么要分片 如何分片 垂直分片 水平分片 主键水平分片 衍生水平分片 混合分片 分多少片 如何测试正确性 完整性 关系R分解为片段R1, R2，…，当且仅当R中的每个数据项也可以在某个Ri中找到时，Rn是完备的 重构行 如果关系R被分解为片段R1, R2，…， Rn，那么应该存在某种 ......
RabbitMQ、RocketMQ、Kafka性能对比分析
MQ的作用 MQ的作用是解耦、异步、削峰填谷。 未使用MQ的情况 MySql并发写大部分情况下维持在600-800之间，并发读1200-1500之间，所以消费端在消费消息的时候需控制在并发小于1000，从而达到限流的效果。 使用MQ的情况 MQ做个缓冲，消息放到磁盘，几个G或上T都可以存储，消息丢失 ......
jmeter分布式压测csv文件配置
1、在控制机上添加csv数据文件设置 2、将文件发送到执行机上的bin/目录下 3、然后输入./文件名即可 4、最后远程执行执行机 ......
MDC轻量化日志链路跟踪的若干种应用场景
"If debugging is the process of removing software bugs, then programming must be the process of putting them in." - Edsger Dijkstra “如果调试是消除软件Bug的过程，那 ......
k8s快速部署rocketMq及rocketMq-console-ng
一、部署rocketMq apiVersion: apps/v1 kind: Deployment metadata: labels: app: rocketmq-broker name: rocketmq-broker namespace: default spec: replicas: 1 se ......
链路聚合-实验
一、实验背景 什么是链路聚合？ 将多个物理端口汇聚在一起，形成一个逻辑端口，以实现出/入吞吐量在各成员端口的负载分担 当交换机检测到其中一个成员端口的链路发生故障时，就停止在此端口上发送封包，并根据负荷分担策略在剩下的链路中重新计算报文的发送端口，故障端口恢复后再次担任收发端口。 链路聚合在增加链路 ......
交换机链路聚合与多网卡绑定（bond）
概念介绍 bonding是linux内核自带的模块，它能将Linux系统的多个网卡绑定为一个逻辑端口，同时对外提供一个统一的IP地址，目前bonding模块的工作模式共有七种mode(0~6) mode介绍 mode0 ，(balance-rr) 轮询均衡 传输数据包顺序是多个网卡轮询传输，可能会出 ......
链路聚合
一、实验背景 什么是链路聚合？ 将多个物理端口汇聚在一起，形成一个逻辑端口，以实现出/入吞吐量在各成员端口的负载分担 当交换机检测到其中一个成员端口的链路发生故障时，就停止在此端口上发送封包，并根据负荷分担策略在剩下的链路中重新计算报文的发送端口，故障端口恢复后再次担任收发端口。 链路聚合在增加链路 ......
分布滞后线性和非线性模型（DLNM）分析空气污染（臭氧）、温度对死亡率时间序列数据的影响|附代码数据
全文下载链接 http://tecdat.cn/?p=23947 最近我们被客户要求撰写关于分布滞后线性和非线性模型的研究报告，包括一些图形和统计输出。 分布滞后非线性模型（DLNM）表示一个建模框架，可以灵活地描述在时间序列数据中显示潜在非线性和滞后影响的关联。该方法论基于交叉基的定义，交叉基是由 ......
08 04 jmeter 性能测试案例 分布式压力测试
打开虚拟机 打开所在位置 返回上一目录 复制两个虚拟机 查看虚拟机ip 关闭防火墙 启动 主要虚拟机的tomcat 另外两个虚拟机 如果 将进程删除再进 找到 #号去掉 false改为true #去掉 数字改为好记的端口 之后两个虚拟机都要打开jmeter 须在bin目录下 jmeter-serve ......
C#中的分布式ID生成组件IDGen介绍并给出示例代码
C#中的IDGen是一个C#实现的Twitter Snowflake算法的ID生成器，可以生成全局唯一的ID，支持高并发场景下的ID生成。在本篇文章中，我们将介绍IDGen的使用方法并提供相关的C#示例代码。 IDGen的介绍 IDGen是一款开源的分布式唯一ID生成器，支持多种ID生成算法，并且可 ......
肖sir___项目链路了解
项目链路： 一、业务链路 二、环境架构 1、电商架构图： 保险链路： 链路有四个部分：信息采集模块、信息验证、审批、生成合同 信息采集模块：包括购买保险产品，客户个人信息1.纸质文档给客户填写，在回来录入系统2.客户直接登录网站，在线填写信息，提交3.团体购买保险，批量录入信息功能，一次把团体信息录 ......
新起点！大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本
我们很高兴向大家宣布，2023年4月14日，Taier 正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来，收到了很多开发者和行业用户的积极评价，在诸多生产环境中已得到充分应用。Taier 1.4版本正是吸收了各类实践经验及大家的建议，进行了此次迭代优化。 本次更新不仅包含了性能优 ......
【获奖案例巡展】信创先锋之星——江西金发基于分布式数据库的互联网金融业务系统
为表彰使用大数据、人工智能等基础软件为企业、行业或世界做出杰出贡献和巨大创新的标杆项目，星环科技自2021年推出了“新科技 星力量” 星环科技科技实践案例评选活动，旨在为各行业提供更多的优秀产品案例，彰显技术改变世界的力量，目前已成功举办两届，收到了来自各界的积极参与。 第二届星环科技科技实践案例评 ......
华为 S53300-配置链路聚合
1、多个端口配置接入类型，并加入到vlan [Quidway]port-group 1 [Quidway-port-group-1]group-member GigabitEthernet 0/0/1 to GigabitEthernet 0/0/22 [Quidway-port-group-1]p ......
第 2 章分布式系统中的调度
介绍 在分布式计算中，调度器负责管理传入的容器请求，并确定接下来要运行哪些容器，在哪个节点上运行它们，以及在该节点上并行运行多少个容器。调度器的复杂性各不相同，最简单的调度器具有简单的先进先出 (FIFO) 策略。不同的调度器偏重于各种（某些层面上是相互冲突的）目标，例如： 尽可能充分利用集群资源 ......
AiFault之全链路监控在小米小爱的设计实践
AiFault是我们AIoT SRE团队研发的插件化智能应用运维中台，旨在用DevOps思想和工具化思维，系统全面的解决应用运维的各种问题，目标是能够承载一套完整的运维体系，最终实现一站式智能运维。 作为当初刚到小爱的SRE工程师，倍感痛苦，每天花大量时间处理告警定位问题，但似乎总是摸不到小爱同学的 ......
RocketMQ基础
生产者 基本概念 发送消息（Message）主要包括topic、tag、properties和transactionId 普通消息发送 RocketMQ发送信息的方式有三种，同步、异步和单向传输。前两种方式是可靠性传输，单向传输是只负责发送，不管服务端是否接收和保存成功，该方式适合对消息可靠性要求不 ......
Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)
分布式爬虫(scrapy_redis) 分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。 在分布式爬虫中，每个爬虫进程或者机器都具有独立的爬取能力，可以独立地爬取指定的网页或者网站，然后将爬取到的数据进行汇总和处理。 分布式爬虫相对于单机爬虫的优 ......
IPv6链路复用/地址选择/IPv6路由+RFC6724
IPv6的一个重要特点是可以进行链路复用，然而这种性质可能会引起数据转发的些许问题。本文旨在介绍IPv6链路复用的相关情况。 本文主要介绍了复用链路IPv6下的源目地址选择，有基础者可直接阅读第2章节。(当然这种情况主要指的是上层协议未明确指定源目的情况下。) 如有疑问，欢迎留言指导。 第2章节基本 ......
Rocketmq运维控制台DashBoard使用详
1.总览 搭建好了RocketMQ的DashBoard之后，直接在浏览器打开:http://localhost:8081 默认会进入到驾驶舱（dashboard） 整体横向菜单分为八个部分： OPS(运维)：主要是设置nameserver和配置vipchannel Dashboard(驾驶舱)：控制 ......
RocketMQ实战系列（一）——RocketMQ简介
RocketMQ是一款分布式消息引擎，由阿里巴巴旗下的MetaQ和RocketMQ合并而来。RocketMQ提供了高可靠、高吞吐量、可伸缩、易于使用的消息发布/订阅服务，适用于大规模分布式系统的消息通信。 RocketMQ的特点包括： 1. 高可靠：RocketMQ采用主从同步复制机制，保证消息的可 ......