数据管理 火山bytehouse airflow
el-table导出当前页数据
下载依赖 npm i --save https://cdn.sheetjs.com/xlsx-0.20.1/xlsx-0.20.1.tgz npm install file-saver --save el-table添加id <el-table id="outTable" >//添加id 拼接导出函 ......
sqlserver不同服务器数据库联合查询
测试语句 添加服务器 EXEC sp_addlinkedserver @server = '127.0.0.1', @srvproduct = '', @provider = 'SQLOLEDB', @datasrc = ''、 测试查询 SELECT * FROM [127.0.0.1].[myD ......
数据库索引概念及其如何使用的相关介绍
在日常开发中，难免会与数据库打交道，然而对数据库中数据的操作又会与另一个名词挂钩，“索引”，下面简单介绍一下索引的相关概念以及何时使用索引最合适。 一、什么是索引？索引是一种数据结构，它可以把表中的数据按照某种规则（如B树、哈希表等）进行排序，以便快速查询和访问数据。使用索引能减少磁盘I/o操作和数 ......
简单地配置MySQL数据库application.properties
在springboot项目中，有两种配置文件，一种是application.properties,另一种是application.yml,两种都可以配置spring boot 项目中的一些变量的定义，参数的设置等。下面来说说两者的区别： 用简单配置数据库为例： application.propert ......
动手学深度学习v2：数据操作+数据预处理
数据操作 import torch x=torch.arange(12) # x的output为 tensor([0,1,2,3,4,5,6,7,8,9,10,11]) # 可以通过张量的shape属性来访问张量的形状和张量中元素的总数 x.shape # output: torch.Size([1 ......
珠海盈致浅析MES生产管理系统的优点
MES系统是用于管理和控制制造过程的信息化系统.它具有许多优点： 1. 生产过程可视化:MES系统提供实时的生产过程监控和数据收集,使管理人员能够清晰地了解生产线上的各个环节,包括设备状态、生产进度、质量指标等.这使得管理人员能够作出准确的决策并快速响应变化.2. 生产资源优化:MES系统可以对生产 ......
防止商业秘密外泄：从企业内部管理抓起
商业秘密泄露是企业面临的重大风险之一，而有效的内部管理措施是防止商业秘密泄露的关键。华企盾DSC数据防泄密系统是一款专业的防泄密软件，其主要功能包括文件加密、U盘管控、屏幕监控、桌面行为管理、日志审计等，可以全面保护企业的商业秘密。 企业应该建立完善的内部管理制度，明确商业秘密的定义、范围和保护措施 ......
数据治理9大核心领域（转）
转自：https://blog.csdn.net/xiyuzhanshen123/article/details/96484520 数据治理不仅需要完善的保障机制，还需要理解具体的治理内容，比如我们的数据该怎么进行规范，元数据又该怎么来管理，每个过程需要哪些系统或者工具来进行配合呢？这些问题都是数据 ......
GaussDB(for MySQL)新特性TDE发布：支持透明数据加密
透明数据加密（Transparent Data Encryption，简称TDE），作为一种在数据“静止”时保护数据的机制，对数据文件执行实时I/O加密和解密 ......
pytest框架之yaml详解以及Parametrize数据驱动
1. YAML语法详解 yaml是一个完全类似于json数据序列化格式 重点： yaml完全兼容json yaml和json，都是数据，不是语句 序列化：将内存中的对象，转为文件 反序列化：将文件内容，转为内存中的对象 文本文件（可以使用记事本进行创建，编辑，修改） 优点： 结构更加清晰 语法高级， ......
元数据管理系统
产品背景 市场分析 元数据管理是数据治理的基础，企业以元数据为基础进行数据治理，能帮助企业更好地对数据资产进行管理，理清数据之间的关系，实现精准高效的分析和决策。就国内而言，目前完备成熟的元数据产品较少，市场正处于上升期，是抢占市场份额的好时机。 用户痛点 随着大数据技术的发展和日渐成熟，如何进行海 ......
sqlserver查询某数据库下表的占用空间
要查看 SQL Server 中哪个表占用的空间最多，您可以使用以下查询来列出所有表及其占用的空间大小，并按照占用空间从大到小进行排序： SELECT t.NAME AS TableName, p.rows AS RowCounts, SUM(a.total_pages) * 8 / 1024 AS ......
数据治理之元数据管理（转）
转自：https://blog.csdn.net/jiangzhenbo/article/details/85255240 这篇文章主要讲数据治理的基础和核心之一：元数据。从关于元数据的三个概念谈起，讲到元数据的分布范围和如何获取元数据，最后从几个常见的应用出发，谈谈元数据的一些实际应用场景。 一、 ......
大数据治理技术核心，可扩展的元数据架构设计（转）
转自：https://blog.csdn.net/weixin_45727359/article/details/127662364 元数据管理是随着数据仓库的建设逐渐完善起来的，这也决定了元数据管理主要集中在数据领域。例如数据结构、数据加工转换关系等。而随着我们对元数据理解的不断深入，其实元数据广 ......
元数据管理功能列表
1. 数据地图 数据地图展现是以拓扑图的形式对数据系统的各类数据实体、数据处理过程元数据进行分层次的图形化展现，并通过不同层次的图形展现粒度控制，满足开发、运维或者业务上不同应用场景的图形查询和辅助分析需要。 2. 元数据分析 血缘分析 血缘分析（也称血统分析）是指从某一实体出发，往回追溯其处理过程 ......
元数据分类
•技术元数据：存储位置、数据模型、数据库表、字段长度、字段类型、ETL脚本、SQL脚本、 接口程序、数据关系等•业务元数据：业务定义、业务术语、 业务规则、业务指标等•管理元数据：数据所有者、数据质量定责、数据安全等级等。 描述数据的数据 数据 业务元数据(描述数据定义的数据) 1. 企业数据标准; ......
AIX小机Oracle数据库还原
环境说明：中百由于断电导致小机异常关机，正常后启动小机系统正常，数据库未启动。 登陆到oracle用户下启动数据库发现数据库文件丢失。 查看底层vg卷，发现pv处于激活状态，df-g查看lv未挂载。 将所有vg卷dbvg、appvg、mndhb_vg_01下的lv手动挂载 挂载成功后再测试数据库是否 ......
高级数据结构
并查集 普通并查集的应用只需要注意边带权的转化。 合并方式优化按深度大小要更合理一些。 可持久化并查集：把原来的 \(fa\) 数组变成可持久化数组，注意不要路径压缩，直接按秩合并即可。 可撤销并查集：还是不要路径压缩，只用按秩合并，每次记录一下修改了什么，撤销的时候倒回去就行。只需要撤销的时候就不 ......
中电金信推出行业首个外汇客户风险管理系统，助力金融机构稳中提效
中电金信基于多年的行业积累洞察、和对金融机构的访谈调研发现，《办法》推出前，部分银行缺乏内控系统，只能手工判断客户是否符合便利化办理条件，并需要企业提供资料，同时缺乏交易风险审查，事后抽查存在不愿配合提供单据材料或需要反复沟通对接问题，业务的开展不具有便利性。而《办法》的推出对于推动商业银行外汇业务 ......
021 数据库学习笔记--求百分比
--通过函数处理除法，获取百分比 alter function [dbo].[fungetrate]( @num1 int, @num2 int) returns nvarchar(10) as begin declare @res varchar(10) select @res = case wh ......
C#开源的一款友好的.NET SDK管理器
前言 今天推荐一款由C#开源的、友好的.NET SDK管理器：Dots。 工具介绍 Dots 是一款 .NET SDK 管理器，可让您轻松安装、卸载和切换 .NET SDK。它是一款跨平台工具，可在 Windows 和 macOS 上运行，即将支持 Linux。它由 C# 编写，使用 Avaloni ......
Atlas关系型数据库元数据模型
[ { "category": "ENTITY", "guid": "00b4a314-1185-4cd4-84e9-20275990d58d", "createdBy": "hadoop", "updatedBy": "hadoop", "createTime": 1615973091411, " ......
基于buildroot connman 网络管理工具的应用
快速了解connman的使用 可以参考： https://www.jianshu.com/p/03aed25b96f7 ConnMan - ArchWiki (archlinux.org) wifi配置文件的介绍：https://man.archlinux.org/man/connman-servi ......
SAP-DB-HANA-数据库-基于AWS平台-Backint-数据备份还原功能的安装与配置
1、先创建S3桶，相关的信息：project-backup-qq-5201351，配置自己的KMS 2、创建一个IAM-Role，名称：Role-For-awtxxx05 ，这个Role需要绑定在EC2上面，此Role要包含如下两个policy (a)，aws托管的：AmazonSSMManaged ......
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
数据汇总的第一个案例：数据汇总
原始数据： 格式为xls格式： 代码如下： import xlrdfrom xlutils.copy import copydef read_data(): wb = xlrd.open_workbook('C:/Users/admin/Desktop/baihuo.xls') sh = wb.sh ......
[刷题班] LeetCode442. 数组中重复的数据
题目描述 思路 原地哈希： 利用值域与数组下标空间大小的等同关系，我们可以构造一种对应"关系" 找到数字i时，将位置i-1处的数字翻转为负数 如果位置i-1上的数组已经为负数，则i是出现两次的数字，并将其加入到结果集中 方法一： class Solution { public List<Intege ......
Mysql 数据库ERROR 1820 (HY000): You must reset your password using ALTER USER 解决办法
Mysql 5.7数据库原来一直都能正常访问，突然访问不了，查看日志提示数据库需要修改密码， 具体解决办法如下操作： Windows 下： mysql的bin目录下， mysql> use mysql; 判断“password_expired”是否为Y mysql> select authentic ......