死信 队列 机制 平台

新一代开源流数据湖平台Apache Paimon入门实操-上

本篇介绍一个强大的流数据湖平台,Flink官方开创,发展速度迅速,先了解其基本定义、适用场景和原理,然后基于yarn方式部署和测试,最后通过Catalog管理、创建表和修改多个示例了解基本使用 ......
源流 新一代 数据 Apache Paimon

白鲸调度系统助力国内头部券商打造国产信创化 DataOps 平台

![file](https://img2023.cnblogs.com/other/2685289/202308/2685289-20230803180034435-79319118.png) ## 导读 国内某头部券商是国内排名前三的全国性大型综合证券公司。作为证券行业领头羊之一,该券商一直高度重 ......
白鲸 券商 头部 国产 DataOps

Linux平台C++读写Word文档(DuckX库)

## 1、安装cmake > 如果没有cmake或者cmake版本太旧,都需要进行重新安装 > 此次推荐直接安装编译好的软件包 进入官网:https://cmake.org/download/ ![](https://img2023.cnblogs.com/blog/2430497/202308/2 ......
文档 Linux DuckX 平台 Word

官宣 | CODING 荣获可信云软件研发效能度量平台先进级最高评估成果

[点击链接了解详情](https://coding.net/?utm_source=channel) ![img](https://mmbiz.qpic.cn/sz_mmbiz_gif/jxHgxicVs5Y2N4DyQJT8Y6J3gx111okphVZ9XADdozcNXgQZtDib4dKKU ......
效能 可信 成果 先进 CODING

硬件管理平台-硬件产品库-底层实现

## **HardwareAbstract** 在编写**LoadLibrary**前,我们需要完善**HardwareAbstract**类,否则TreeView显示什么?后续的内容应该如何操作?都将是一个坑。 由于本项目已完成,所以就不再一点一点的回顾**HardwareAbstract**类中 ......
硬件 底层 产品库 产品 平台

国标GB28181安防视频平台EasyGBS大批量通道接入后,创建角色接口未响应的排查

安防视频监控国标对接EasyGBS视频能力丰富,部署灵活,既能作为业务平台使用,也能作为视频能力层被业务平台调用。平台可提供流媒体接入、处理、转发等服务,支持内网、公网的监控设备通过国标GB/T28181协议进行视频监控直播。 ......
大批量 国标 接口 通道 角色

TSINGSEE青犀视频安防监控EasyCVR视频汇聚平台电子地图定位偏移的排查与解决

TSINGSEE青犀视频监控管理平台EasyCVR能在复杂的网络环境中,将分散的各类视频资源进行统一汇聚、整合、集中管理,实现视频资源的鉴权管理、按需调阅、全网分发、智能分析等,平台融合性强、开放度高、部署轻快,在智慧工地、智慧园区、智慧工厂、智慧码头、智慧水利等场景中有着广泛的应用前景。 ......
视频 电子地图 TSINGSEE EasyCVR 地图

TSINGSEE青犀视频汇聚平台EasyCVR视频广场面包屑侧边栏支持拖拽操作

智能视频监控平台EasyCVR能在复杂的网络环境中,将海量设备实现集中统一接入与汇聚管理,实现视频的处理与分发、录像与存储、按需调阅、平台级联等。 ......
面包屑 侧边 视频 面包 TSINGSEE

springboot + redis stream做轻量级消息队列

### 背景 前面我们探讨了使用redis stream做消息中间件的可行性,结论是在保证数据并发量不大, 数据敏感性不高, 且不方便使用重量级MQ,kafka的情况下可以使用. 探讨过程:https://www.cnblogs.com/qds1401744017/p/17598613.html # ......
轻量 轻量级 队列 springboot 消息

单调队列

一个支持在队尾插入,队头和队尾删除的队列,整个队列呈单调性 如果要求最大值则维护一个递减的单调队列,最小值则递增 用deque写很方便(前几天用数组模拟队列 代码调不出bug难受死了) 例题 P1886 滑动窗口 思路: 用一个deque,存点的序号(用于判断是否过期)和点的数字。每次新增加一个元素 ......
队列

redis stream做轻量级消息队列的可行性

#### 背景 对于消息数量很少的场景, 尝试使用redis stream来做消息队列. #### 为什么要用redis的stream, redis的其他数据结构可以吗? 参考文章1:https://www.zhihu.com/question/43688764?sort=created 参考文章2 ......
轻量 轻量级 队列 可行性 消息

kratos项目中使用kafka实现延迟队列

项目地址 https://gitee.com/huoyingwhw/kratos_kafka B站视频地址 B站视频地址——kratos项目中使用kafka实现延迟队列 ......
队列 项目 kratos kafka

AntJob和Hangfire的使用体验(.net Job平台)

先附上两个项目的Github的地址 AntJob: NewLifeX/AntJob: 分布式任务调度系统,纯NET打造的重量级大数据实时计算平台,万亿级调度经验积累!面向中小企业大数据分析场景。 (github.com) Hangfire: Hangfire – Background jobs an ......
Hangfire AntJob 平台 net Job

消息队列详解

文章目录1、什么是消息队列2、消息队列特点3、消息队列的的传输模式4、常用的消息队列1、什么是消息队列消息队列一般简称为 MQ (Messges Queue),是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成,是在消息的传输过程中保存消息的容器。消息队列本 ......
队列 消息

消息队列二十年

2020 年我有幸加入腾讯 tdmq 初创团队,当时 tdmq 还正在上云公测阶段,我第一次从一个使用工具的人转变成了开发工具的人, 这个过程使我沉淀了很多消息队列知识与设计艺术。 后来在业务中台的实践中,也频繁地使用到了 MQ,比如最常见的消息推送,异常信息的重试等等, 过程中也对消息队列有了更加 ......
队列 消息

中断与异常机制

中断/异常机制 可以说 操作系统是由 “中断驱动”或者“事件驱动”的。 主要作用: 及时处理设备发来的中断请求 可使OS捕获用户程序提出的服务请求 防止用户程序执行过程中的破坏性活动 ......... 概念 CPU对系统发生的某个事件做出的一种反应。CPU暂停正在执行的程序,保留现场后自动转去执行 ......
机制

知识点1—双重检查,锁机制

记录一些比较好的文章 首先有个前提条件,双IF加lock是对多线程而言的 https://www.cnblogs.com/nzbbody/archive/2011/12/29/2306154.html //概念https://blog.csdn.net/sinat_20559947/article/ ......
知识点 机制 知识

RabbitMQ(五)延时队列及其在分布式事务的使用场景

### RabbitMQ(五)延时队列 ​ 延时队列的使用场景: - 未支付订单,超过一段时间后,系统自动取消订单并释放占有物品 - 锁定库存一段时间后,检查订单不存在或者被取消,则解锁库存 #### 1 定时任务存在的问题 ​ 如果使用Spring Schedule定时轮询数据库,则 - 消耗系统 ......
队列 分布式 RabbitMQ 场景 事务

134.为什么C++没有垃圾回收机制?这点跟Java不太一样

# 134.为什么C++没有垃圾回收机制?这点跟Java不太一样 1. 性能:垃圾回收机制需要额外的内存和计算资源,这会引入一定的开销。C++的设计目标之一是提供高效的性能,垃圾回收机制可能会对程序的性能产生负面影响。因此,C++没有内置的垃圾回收机制,以便程序员自行管理内存等资源。 2. 控制:C ......
机制 垃圾 Java 134

JS 垃圾回收机制

# 垃圾回收机制 和C++不同,JS的内存回收由运行环境执行,减少了程序员的操作量. ## 回收机制 目前,JS垃圾回收采用`标记清理`方法.当上下文代码执行时,将变量`标记`为`在上下文`,上下文执行完毕时,标记为`不在上下文`等待回收.回收机制每隔一段时间将不在上下文变量回收. ## 内存泄漏 ......
机制 垃圾 JS

反射机制--python

引用: https://www.cnblogs.com/vipchenwei/p/6991209.html https://www.cnblogs.com/vipchenwei/p/6991209.html 1.反射是什么: 反射就是通过字符串的形式,导入模块;通过字符串的形式,去模块寻找指定函数, ......
机制 python

安防视频监控平台EasyCVR修改参数提示database or disk is full的原因排查

安防视频融合平台EasyCVR基于云边端一体化架构,可支持多协议、多类型设备接入,包括:NVR、IPC、视频编码器、无人机、车载设备、智能手持终端、移动执法仪等。平台具有强大的数据接入、处理及分发能力。 ......
视频监控 database 参数 原因 EasyCVR

构建易于运维的 AI 训练平台:存储选型与最佳实践

伴随着公司业务的发展,数据量持续增长,存储平台面临新的挑战:大图片的高吞吐、超分辨率场景下数千万小文件的 IOPS 问题、运维复杂等问题。除了这些技术难题,我们基础团队的人员也比较紧张,负责存储层运维的仅有 1 名同事,因而组件的易用性,一直也是我们评估的重要维度。 我们尝试过文件系统包括有 NFS ......
平台 AI

让数据管理由繁至简的低代码开发平台

随着社会数字化能力的快速升级,各行各业正逐渐迈向数字化转型的新时代。尤其是AI的爆发,数据智能技术正在彻底改变着这个行业的面貌,随着越来越多的企业开始将人工智能、机器学习和大数据分析技术应用到其业务中,数据的价值正在得到充分的发掘。 毋庸置疑,在数字经济时代,数据上升为新的关键生产要素和资产,逐渐超 ......

GIL锁;python垃圾回收机制;计算密集型用多进程,io密集型用多线程

# GIL锁;python垃圾回收机制;计算密集型用多进程,io密集型用多线程 ## GIL锁及其作用 ```python 1.GIL(Global Interpreter Lock)又称全局解释器锁,本质就是一个互斥锁。 2.它保证了cpython进程中的每个线程必须获得这把锁才能执行,不获得不能 ......
密集型 线程 进程 机制 垃圾

蓝牙智能设备数据采集平台化方案

由于Android APP/IOS APP平台和开发语言的差异,对开发端和用户端来说,在系统兼容适配、外接蓝牙的安装更新,以及不同平台之间的移植都有不同程度的制约。 ......
数据采集 智能 方案 数据 设备

scrapy源码分析:redis分布式爬虫队列中,priority值越大,优先级越高

# scrapy源码分析:redis分布式爬虫队列中,priority值越大,优先级越高 # 一、背景 scrapy爬虫项目中,遇到scrapy的priority属性,搞不懂priority的值越大优先级越高,还是值越小优先级越高 ```python # 通过priority修改优先级 return ......
爬虫 优先级 队列 分布式 源码

数据集成风险与应对:数据集成平台守护您的高效数据

在企业数据集成的道路上,就像穿越一座复杂的迷宫,充满了不可预知的陷阱和挑战。然而,您不必惊慌失措!本文将深入探讨数据集成过程中常见的12个陷阱,并向您展示轻易云数据集成平台如何通过精心设计的解决方案,助您轻松规避陷阱,实现高效率的数据集成。通过避免数据格式不匹配、重复数据、数据丢失、数据质量差、安全 ......
数据 风险 平台

盘点一对一直播源码iOS系统维持平台稳定功能(一):弹性扩缩容

进行弹性扩缩容配置 private void scaleUp() { System.out.println("扩容:增加直播平台实例"); currentCapacity++; } private void scaleDown() { ... ......
一对一 弹性 源码 功能 系统

Redis 内存管理机制和实现

Redis是一个基于内存的键值数据库,其内存管理是非常重要的。本文内存管理的内容包括:过期键的懒性删除和过期删除以及内存溢出控制策略。 最大内存限制 Redis使用 maxmemory 参数限制最大可用内存,默认值为0,表示无限制。限制内存的目的主要 有: 用于缓存场景,当超出内存上限 maxmem ......
机制 内存 Redis