数据 数据分析 消费者 案例
今年双11，火山引擎数据飞轮为企业生意带来更大确定性
今年 4 月，火山引擎提出了数据驱动的新范式——数据飞轮。针对企业当下“有数据，但不驱动”的问题，“数据飞轮”以数据消费为核心，使企业数据流充分融入业务流，增强业务发展动力。而刚刚过去的“双 11”，则成为在实践中检验“数据飞轮”真实成效的一次契机。 ......
分析网络路由的工具 pathping 和 mtr
结合了 ping 和 tracert/traceroute 的工具有PathPing(Windows) 和 MTR（My Traceroute，在Unix/Linux上） PathPing(Windows) PathPing：这个工具结合了 ping 和 tracert 的功能，它会发送多个数据包到 ......
云电脑：IO虚拟化实现的技术分析
云电脑是一种基于云计算技术的虚拟化电脑，它通过网络将物理硬件资源虚拟化成多个虚拟机，每个虚拟机都拥有独立的操作系统和应用程序。IO虚拟化技术是实现云电脑的关键技术之一，它可以实现网络和存储等资源的虚拟化。本文将从专业论述的角度来探讨云电脑中IO虚拟化技术的实现原理、分类和应用场景。 ......
道路病害数据集调研【检测数据集】
RoadDamageDetector 地址：https://github.com/sekilab/RoadDamageDetector/ 注意：CRDDC2022 数据集包含 GRDDC2020 数据集，Road Damage Dataset 2019 包含 Road Damage Dataset ......
RabbitMQ 消费者可靠性——业务幂等性
如何保证业务是幂等的？ 方案一： 生产者、消费者都配置上 setCreateMessageIds(true)。配好后，生产者给MQ发消息，消息就会带上自动生成的 id。将来消费者拿到消息后，就可以获取到 id，把 id保存起来 做唯一匹配 代码示例： package com.itheima;impo ......
数据库设计规范
数据库设计（Database Design)是指对于一个给定的应用环境，构造最优的数据库模式，建立数据库及其应用系统，使之能够有效地存储数据，满足各种用户的应用需求（信息要求和处理要求）。 一、数据库设计的原则 表设计原则 1 （1）规范化与反规范化 规范化的优点是减少了数据冗余，节约了存储空间，相 ......
他山之石，可以攻玉｜银行业数据中心数字化转型之模型篇 04（完结）
导语： 银行业数据中心数字化转型是一项系统性工程既涉及管理层面转型——包括数字化转型战略、基础架构和技术架构转型、技术创新和知识体系转型，又涉及执行层面转型——包括人员管理（P）、流程管理（P）、技术管理（T）、资源管理（R）等。数据中心数字化转型作为一项宏大的系统性工程，必须要依据一个模型或标 ......
构建满足流批数据质量监控用火山引擎DataLeap
面对今日头条、抖音等不同产品线的复杂数据质量场景，火山引擎 DataLeap 数据质量平台如何满足多样的需求？ ......
RabbitMQ避免重复消费
在Java中，可以使用消息队列来实现消息的异步处理，其中常用的消息队列有 RabbitMQ、ActiveMQ、Kafka 等。 什么是幂等性？ 幂等性是指无论操作执行多少次，都是得到相同的结果，而不会产生其他副作用。 在rabbitMQ中 什么是消息重复消费？ 同一条消息在MQ中被消费多次 出现重复 ......
如何实现图像搜索，文搜图，图搜图，CLIP+faiss向量数据库实现图像高效搜索
如何实现图像搜索，文搜图，图搜图，CLIP+faiss向量数据库实现图像高效搜索 这是AIGC的时代，各种GPT大模型生成文本，还有多模态图文并茂大模型， 以及stable diffusion和stable video diffusion 图像生成视频生成等新模型， 层出不穷，如何生成一个图文并貌的 ......
表示层USL 业务逻辑层Bll 数据访问层DAL
1.表示层（USL）：UI User 主要表示WEB方式，也可以表示成WINFORM方式。如果逻辑层相当强大和完善，无论表现层如何定义和更改，逻辑层都能完善地提供服务。 2.业务逻辑层（BLL）：主要是针对具体的问题的操作，也可以理解成对数据层的操作，对数据业务逻辑处理。如果说数据层是积木，那逻辑层 ......
数据类型内置方法
数据类型内置方法介绍 八大基本数据类型 数字类型 整形（int） 浮点型（float） 字符串（str） 列表（list） 元组（tuple） 布尔（bool） 字典（dict） 集合（set） 【一】整型（int） （1）类型强转 可以将由纯整数构成的字符串直接转换成整型 符合int类型格式的字符 ......
【FAQ】运动健康服务端侧数据常见问题及解答
目录 Q1：Health Kit开放的API是否支持同时获取多个华为手环的健康数据？ Q2：当前通过Health Kit获取运动健康数据的功能是否免费？ Q3：在联盟平台申请Health Kit权限，上传开发者申请资料清单时，提示“上传失败，请重新上传”，需如何处理？ Q4：睡眠记录返回的数据结果与 ......
【scikit-learn基础】--『数据加载』之玩具数据集
机器学习的第一步是准备数据，好的数据能帮助我们加深对机器学习算法的理解。 不管是在学习还是实际工作中，准备数据永远是一个枯燥乏味的步骤。scikit-learn库显然看到了这个痛点，才在它的数据加载子模块中为我们准备了直接可用的数据集。 在它的数据加载子模块中，提供了6种直接可用来学习算法的经典数据 ......
数据监控
实现原来：请求接口数据，数据解析，数据进行处理，使用echarts进行趋势图绘制，截图邮件，数据阈值范围判断，对接软件告警，Jenkins持续集成； 一.数据处理： 二.结构 三.基础方法： ......
StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer)
Postgres 配置 PostgreSQL 的配置在 SGPostgresConfig CRD 中指定。如果在创建集群时没有指定自定义配置，StackGres 将创建一个默认配置，您可以在 这里 看到。 https://stackgres.io/doc/latest/reference/crd/s ......
拼版不合理案例详解
上一节我们讲到PCB的拼版是一个至关重要的环节，它不仅影响着产品的生产效率，也直接关系到产品的质量和成本。合理的拼版能够优化生产流程，减少浪费，提高产能。 然而，在实际操作中，由于各种因素的影响，很多工程师的PCB拼版存在着不少问题。本文将带您探讨PCB拼版中的不合理案例，帮助您深入了解如何优化拼版 ......
倾斜摄影三维模型的根节点合并的优势分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
终于有人把内外网数据交换方案讲清楚了！
顾名思义，内外网数据交换方案，解决的是不同网络之间的场景下，文件数据的交换问题，那么首先，我们得搞清楚，为什么会有不同的网络？为什么要划分内外网？ 划分内外网主要有两个原因，一个是安全考虑，一个是合规要求： 安全性：不同的网络可以设置不同的安全策略和权限，有助于保护数据安全和防止潜在的威胁。即使是内 ......
最新Unity DOTS教程之BlobAsset核心机制分析
最近DOTS发布了正式的版本, 我们来分享一下DOTS里面BlobAsset机制，方便大家上手学习掌握Unity DOTS开发。 BlobAsset 概叙 DOTS提供了BlobAsset机制来把数据生成高效的二进制数据。BlobAsset的数据是不可变的。BlobAsset只支持非托管类型数据。支 ......
最新Unity DOTS系列之Aspect核心机制分析
最近DOTS发布了正式的版本, 我们来分享一下DOTS里面Aspect机制，方便大家上手学习掌握Unity DOTS开发。 Aspect 机制概述 当我们使用ECS开发的时候，编写某个功能可能需要某个entity的一些组件，如果我们一个个组件的查询出来，可能参数会写很长。如果我们编写某个功能的时候， ......
Unity DOTS系列之Struct Change核心机制分析
最近DOTS发布了正式的版本, 我们来分享一下DOTS里面Struct Change机制，方便大家上手学习掌握Unity DOTS开发。 基于ArchType与Chunk的Entity管理机制 我们回顾以下ECS的内存管理核心机制,基于ArchType+Chunk的Entity管理模式。每个Enti ......
Mysql不同数据库之间表结构同步
开发环境的Mysql表结构做了修改，要同步到其他环境数据库中使用数据库管理工具JookDB的表结构同步功能就很方便。虽然Navicat也有这个功能但是有免费的当然是用免费的。 用JookDB添加数据库后在数据库节点上右键选择“同步结构”即可开始表结构同步。 1.选择结构同步的源库和目标库。 2.点“ ......
跨网文件摆渡系统：安全、高效的数据传输桥梁
在企业高度信息化的时代，数据的流通与共享已经成为企业、组织乃至个人之间不可或缺的沟通方式。然而，在数据流通的过程中，我们经常会遇到各种难题和挑战，尤其是当涉及到不同网络环境之间的文件传输。这不仅需要保证文件的安全性，还要确保传输的高效性。 1、数据泄露风险：近些年企业数据泄露成本逐年增加，波及各个行 ......
图形渲染处理器技术分析（上）
图形渲染处理器技术分析（上） 1 指令处理概览 我们可以将处理器的操作大致分为五个阶段，如下图所示。 指令处理的五个阶段：指令获取、操作数获取、执行、内存访问、寄存器写入。 指令的多时钟周期管线图。图中时间从左到右在页面上前进，指令从页面的顶部到底部前进。管线阶段的表示沿指令轴放置在每个部分，占据适 ......
SQL 日期处理和视图创建：常见数据类型、示例查询和防范 SQL 注入方法
SQL处理日期 在数据库操作中，处理日期是一个关键的方面。确保插入的日期格式与数据库中日期列的格式匹配至关重要。以下是一些常见的SQL日期数据类型和处理方法。 SQL日期数据类型 MySQL日期数据类型 DATE - 格式为YYYY-MM-DD DATETIME - 格式为YYYY-MM-DD HH ......
【数据结构】静态map
map可以动态进行插入删除等操作，但其常数太高了。 如果只用一个有序数组来存储的话，那么可以提供更好的查询复杂度的常数，同时在构建的时候由于不需要保存额外的信息所以非常节约内存： struct my_map { vector<pair<pii, int>> vec; void clear() { v ......
记录一次 postgresql 优化案例（ volatility 自定义函数无法并行查询 ）
同事最近做个金融适配项目，找我看条SQL，告知ORACLE跑1分钟，PG要跑30分钟(其实并没有这么夸张)😎， 废话不说，贴慢SQL。 慢SQL（关键信息已经加密）： explain analyze SELECT c_qxxxxaode, '2023-03-22 00:00:00' AS d_cd ......
数据结构与算法总结-----1
前言 在学习专业知识的过程中，我们经常看到两个词一起出现，数据结构和算法，为什么呢？因为通常选择正确的数据结构往往能够让我们程序算法 的效率变得更好。 解决问题方法的效率，跟数据的组织方式是相关联的。例如在线性表中删除一个数，选择顺序表(数组)，时间复杂度是O(N)，而用链表删除一个数是比顺序表的效 ......
Oracle常用数据库操作
数据库备份和还原 备份类型：Oracle数据库备份可以分为物理备份和逻辑备份两种类型。物理备份是指备份数据库文件，包括数据文件、控制文件、日志文件等，可以恢复整个数据库。逻辑备份是指备份数据库中的逻辑数据，如表、视图、存储过程等，可以恢复数据库中的数据。 备份工具：Oracle提供了多种备份工具，如 ......