分布式 场景
直播实时数仓基于DataLeap开放平台在发布管控场景的业务实践
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 背景 业务背景 随着字节业务的高速增长，业务场景越来越丰富，业务基于数据做的决策也越来越多，对数据的时效性要求也越来越高。原有离线批处理的数据仓库已经无法满足诉求，因此需要打造一套同时具备高时效性和高稳定性的计算能 ......
线上SQL超时场景分析-MySQL超时之间隙锁
数据库底层实现博大精深，本文所述，根据线上场景进行了一些研究和探讨，希望能为相关场景提供一些启示。文章中难免会有不足之处，希望读者能给予宝贵的意见和建议 ......
多元高斯分布
https://www.bilibili.com/video/BV1zf4y1L7mQ/?spm_id_from=333.337.search-card.all.click&vd_source=5a8099d424866bf1cdbfa5a7afadeca6 ......
分布式文件系统FastDFS
目录目前系统存在的缺点分布式文件系统FastDFS介绍概念架构文件上传文件下载 目前系统存在的缺点 目前是通过tomcat提供虚拟目录的方式供用户访问；当然也可以通过nginx实现静态资源访问的方式 文件冗余在tomcat挂了的情况下不能提供服务； 目前是单一文件服务的存储（依赖tomcat不能进行 ......
TSINGSEE青犀车辆违停AI算法在园区道路管控场景中的应用方案
对区域内的车辆目标进行提取、对违停行为自动判定、自动识别车牌，可以准确、快速地对机动车违停行为进行检测、抓拍、取证、告警 ......
【限流】Redis + Lua 实现分布式限流器
目录Redis + Lua 限流实现1. 导入依赖2. 配置application.properties3. 配置RedisTemplate实例4. 定义限流类型枚举类5. 自定义注解6. 切面代码实现7. 控制层实现8. 测试 Redis + Lua 限流实现 技术栈：自定义注解 + aop + ......
VMware lsdoctor的使用场景
此软件经常会更新模板，最好下载最新的 https://kb.vmware.com/s/article/80469 VMware lsdoctor 是一个用于诊断和修复 vCenter LookupService 数据库中问题的工具。它可以用于检测和更正可能导致拓扑更改失败、升级或维护失败的问题。 l ......
分布式锁，怎么个事？
平时的工作中，由于生产环境中的项目是需要部署在多台服务器中的，所以经常会面临解决分布式场景下数据一致性的问题，那么就需要引入分布式锁来解决这一问题。 本文参考文章： https://www.cnblogs.com/niceyoo/p/13711149.html https://cloud.tence ......
Microsoft SQL Server 2012 SP4 中可以通过一些技术和方法来实现分布式数据库的功能
Microsoft SQL Server 2012 SP4 中，虽然没有内置的原生支持分布式数据库的功能，但您仍然可以通过一些技术和方法来实现分布式数据库的功能。下面我将介绍几种常见的实现方式： 分布式查询 您可以使用 SQL Server 的链接服务器功能，建立到其他 SQL Server 实例的 ......
Redis系列之常见数据类型应用场景
目录String简单介绍常见命令应用场景Hash简单介绍常见命令应用场景List简单介绍常见命令应用场景Set简单介绍常见命令应用场景Sorted Set(Zset)简单介绍常见命令应用场景Bitmap简单介绍常见命令应用场景附录 Redis支持多种数据类型，比如String、hash、list、S ......
hive ACID事务得应用场景
Hive的ACID语义可以完成以下使用场景: 1、流数据的接入。许多用户都使用 Apache Flume, Apache Storm, or Apache Kafka 将流式数据导入Hadoop集群。 这些工具都是每秒百万行级的数据写入，而Hive只能每十五分钟到一个小时添加一次分区。快速的增加分区 ......
一文带你零基础深入理解随机变量，概率分布与统计量
一. 随机事件与概率 1.1 随机现象 在自然界和人类活动中，发生的现象多种多样，比如下列这些现象： 1. 偶数能被2整除 2. 光的速度是常数 3. 一家门店一天之内的订单量 4. 一个新生儿可能是男生也可能是女生 5. AB实验存在对照组和实验组 6. 李华上厕所的时间 不难发现，其中①②⑤这类 ......
Seata分布式事务框架-AT模式与TCC模式介绍
Seata AT事务方案Seata 的 AT 模式（Automatic Transaction）是一种无侵入的分布式事务解决方案。下面结合具体业务场景来分析其执行的原理。 业务场景订单系统 当用户下订单时，执行以下三步流程： 订单系统保存订单 订单系统调用库存服务，减少商品库存 订单系统调用账户服务 ......
StarRocks 新一代极速全场景MPP数据库
StarRocks 介绍 1.StarRocks介绍 StarRocks是新一代极速全场景MPP数据库。 StarRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。 StarR ......
分布式任务调度(00)--Quartz
1 任务调度整体流程 2 组件 调度器 ：工厂类创建Scheduler，根据触发器定义的时间规则调度任务 任务：Job表示被调度的任务 触发器：Trigger 定义调度时间的元素，按啥时间规则执行任务。一个Job可被多个Trigger关联，但是一个Trigger 只能关联一个Job import o ......
这次弄下k8s 分布式多机测试，这次专门多创建了几个机器进行安装，实时监控机器状态
k8s 实机分布式测试，这次弄一下这个，上次弄的是单机版本的minikube, 在单机上minikube替代了kubectl的工作，在单机上可以创建多个布署等，实际使用会有多个系统，分布式才是正常生产时发按它效率的时间。 k8s说明上要求机器要有2g内存，这里我创建了四个vm, 每个4g内存，这样可 ......
【发布】DDD 工程脚手架 + 一键安装分布式技术栈环境！
作者：小傅哥 博客：https://bugstack.cn 沉淀、分享、成长，让自己和他人都能有所收获！😄 大家好，我是技术UP主小傅哥。 写了那么多案例工程，开发了那么多技术项目。那小傅哥做的这些案例和项目是每一个都要手动创建一遍吗？🤔 如果不是一个个都手动创建，那么有什么提效工具吗？ 不用， ......
多元高斯分布/高斯过程全解析
大纲 公式推导 参数估计 高斯分布运算 高斯分布性质 高斯过程（Gaussian process） 高斯混合模型 概念区分 边缘分布(marginal distribution)和联合分布 概率密度函数和概率分布函数 1. 多元高斯分布公式推导 首先我们知道一元高斯分布是：\(N(x|u,\sigm ......
视频直播场景下对象存储的应用
本文分享自天翼云开发者社区《视频直播场景下对象存储的应用》，作者：王****宇 视频直播是当前比较火的互联网应用场景，越来越多的人通过直播进行娱乐和营销带货。国家规定，直播带货类需提供不低于3年的存档回看能力，而其他直播内容也需要提供不低于60天的视频保存能力。具体要求可参看： 《互联网直播服务管理 ......
分页查询在某些场景下引发的数据漏处理问题
背景 问题描述 假设有一个表字段statues,我们分页获取数据。status初始状态为1，我们分批获取数据，每一批获取1000，对数据进行处理，如果处理成功就更新status为2，否则不更新。 注意事项： 分页循环查询满足条件的数据然后进行处理，通过PageHelper或者直接使用“limit s ......
分布式图算法Pregel
最近看了Google的Pregel论文，图算法有一些经典且不可被替代的应用场景，如社交网络，相互引用等。但是在单个结点上的运算量往往过少，注重的是消息传播和逻辑处理，而不是单纯的大规模计算。虽然已经过去了十几年，但是其中的messsage passing，combiner，aggregator，gr ......
理论讲解 -分布式系统
分布式系统常见理论讲解 分布式系统是指由多个节点通过网络进行通信和协作的系统，它具有高可用性、高扩展性、高性能等优点，但也面临着一些挑战，如数据一致性、容错性、负载均衡等。为了解决这些问题，分布式系统设计出现了一些经典的理论和方法，如 CAP 理论、BASE 理论、一致性等。 CAP 理论 CAP ......
Nebula Graph开源分布式图数据库,万亿级数据,毫秒级延时
推荐一个分布式图数据库Nebula Graph,万亿级数据,毫秒级延时 什么是Nebula Graph Nebula Graph 是一款开源的、分布式的、易扩展的原生图数据库，能够承载包含数千亿个点和数万亿条边的超大规模数据集，并且提供毫秒级查询 什么是图数据库 图数据库是专门存储庞大的图形网络并从 ......
Hadoop-3.3.3分布式集群的文件配置，启动hadoop历史服务和启动日志聚集
一、分布式集群的文件配置 涉及$HADOOP_HOME/etc/hadoop路径下的5个文件 workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 首先修改workers 进入$HADOOP_HOME/etc/hadoop ......
云计算-hadoop的安装（书接上回+分布式搭建）
书接上回，这次来进行分布式集群的搭建。 执行命令：echo $JAVA_HOME 查看路径，我的路径如图所示： 然后在/usr/local/hadoop目录下，执行命令gedit ./etc/hadoop/hadoop-env.sh 打开文本，然后再第一行添加刚刚的路径，如图所示： 因为之前一节咱们 ......
uniapp小程序小bug，扫码进入小程序场景值为1001的情况之一。
首先，这个问题原因是这样的用户第一次扫码进入小程序在app.vue 的onLaunch下拿不到optiond的query对象的值场景值为1001，按照正常来说扫码进来应该是1047。排查原因只有用户在打开小程序的情况下 没有杀掉进程只是切换页面到微信主页进行扫码进入小程序，结果就会出现扫码进入小程序 ......
Jmeter分布式测试的注意事项和常见问题
Jmeter分布式测试的注意事项和常见问题 Jmeter是一款开源的性能测试工具，使用Jmeter进行分布式测试时，也需要注意一些细节和问题，否则可能会影响测试结果的准确性和可靠性。 Jmeter分布式测试时需要特别注意的几个方面 1. 参数化文件的位置和内容 如果使用csv文件进行参数化，即通过读 ......