随笔 数据
OSM（OpenStreetMap）全球路网数据下载方式介绍
本文对OpenStreetMap（OSM）网页与各类OSM数据的多种下载方式加以详细介绍，并对不同数据下载方式加以对比~ ......
COMP5310 分析数据
COMP5310 Project Stage 2ASummarise and Analyse the DataDue: 11:59pm on 6th of April 2023 (Week 7)Value: 10% of the unit This stage is usually done wit ......
Qt音视频开发32-qmedia内核回调拿图片数据
一、前言 使用qmediaplayer来打开视频并播放，默认首选会采用QVideoWidget控件来展示，优点是不用自己来绘制，一切交给了QVideoWidget控件，这样可以做到极低的CPU占用，缺点也明显，就是无法拿到每一帧的图片，很多时候我们还需要主动拿到每一帧的图片来运算做人工智能，通过不断 ......
数据库系统的三层架构
1、传统的数据库访问程序： （1）数据库访问和数据处理放在一起实现 （2）用户界面层直接调用数据访问实现 （3）整个系统功能放在同一项目中实现 2、三层架构模式 三层架构： （1）界面层（UI） 为用户提供一种交互式操作界面。 作用： 根据用户的具体需求，为每个功能模块部署输入控件、操作控件和输出控 ......
Redis数据库高可用
一、Redis高可用 在web服务器中，高可用是指服务器可以正常访问的时问，衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99% 99.998等等)。但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务（如主从分离、快速容灾技术)，还需要考虑数据容量的扩展、数据安全 ......
CloudCanal 落地 DB2 数据迁移同步功能
简述 Db2 是一款具有悠久历史的关系型数据库，由 IBM 公司开发和维护，广泛应用于金融级业务场景。 CloudCanal 近期提供了 Db2 为源端的数据迁移同步 功能，用户可以便利地将 Db2 中数据实时同步到其他数据库，实现数据更广泛、更实时的应用。 功能介绍 目标数据库和能力 | 目标端数 ......
接口自动化之测试数据动态生成并替换
一、测试数据 1. 随机库random 查看内置random方法，该方法自行学习，不再介绍。 show print([name for name in dir(random) if callable(getattr(random, name))]) ['Random', 'SystemRandom' ......
RestSharp组件Get请求带body的时候返回数据丢失问题
###postman的复制代码默认就是RestSharp。方便也好用，但是使用get请求并且带Body的时候要注意，返回的数据竟然会有丢失 ####解决办法： string RequestByGet(string index, string action, object paramter) { va ......
azure databricks使用external hive metastore跨工作区共享元数据
为什么要使用external hive metastore可以跨workspace的共享元数据，不用每次创建workspace的时候都重复的把元数据重建一次。更好的元数据集中管理，Create once, use everywhere。为灾难恢复(DR)做好为准备，并降低复杂性。（PAAS一样会存在 ......
千万级数据量表如何快速添加索引/字段
添加字段语句 ALTER TABLE id_t ADD title(255) DEFAULT '' COMMENT '标题' AFTER id; 问题 线上的一张表如果数据量很大千万级，执行加字段加索隐操作就会锁表，这个过程可能需要很长时间甚至导致服务崩溃，那么这样操作就很有风险了。 解决一 1. ......
JSON多层嵌套复杂结构数据扁平化处理转为行列数据
背景 公司的中台产品，需要对外部API接口返回的JSON数据进行采集入湖，有时候外部API接口返回的JSON数据层级嵌套比较深，举个栗子: 上述的JSON数据中，最外层为请求返回对象，data里面包含返回的业务数据，业务数据按照学校 / 班级 / 学生进行嵌套 在数据入湖时，需要按照最内层的学生视角 ......
JDBC和MyBatis数据库访问技术
传统的Java Web应用开发时，一般使用JDBC进行数据库连接和操作SQL命令。但是，随着互联网技术的飞速发展，使用JDBC已经满足不了项目的开发需求，出现了Hibernate、MyBatis等一些优秀的持久层框架，它们结合了JDBC的优点，使得开发简捷、规范、快速，系统易维护、易扩展。 1.1 ......
技术贴，必看！谷歌云新的 BigQuery 版本：数据云的灵活性和可预测性
在数据云和 AI 峰会上，谷歌宣布推出具有三个定价层级的 BigQuery 版本——标准版、企业版和企业增强版——供您选择，并能够根据您的个人工作负载进行混合搭配以获得合适的性价比需要。 ......
数据链路层
封装成帧： MAC没有帧定界，因为他们有时间间隔地发送帧，不需要区别。 差错检测： 法一：奇偶校验：主机一个主机二规定0，1的个数为奇数或者偶数，如果有误，奇数偶数发生变化，那么就知道出现了误码。但如果正好出现2个误码，就没有改变奇偶性，则无法辨别是否出现误码。 法二：循环冗余校验：发送方用发送数据 ......
数据库基础知识
一、DB/DBSM/DBS 1. 数据库DataBase(DB) 是信息的集合；或是由DBSM管理的数据的集合 2. 数据库管理系统Database Management System(DBSM) 是一种操纵和管理DB的大型软件，通常用于建立、使用、维护DB 3. 数据库系统Data Base Sy ......
河北稳控科技便携式钻孔测斜仪数据采集仪的使用方法
河北稳控科技便携式钻孔测斜仪数据采集仪的使用方法 开机关机手动开机开机前，请将测斜探头连接到采集仪传感器接口上。禁止开机后带电插拔探头。按下电源开关按钮，电源指示灯亮（按钮外环），主设备通电，屏幕启动，操作系统启动完成后，若设置了测斜程序自动启动则进入测斜仪程序主界面，否则进入操作系统桌面。 自动开 ......
在 MySQL 数据库中删除重复记录的步骤
在 MySQL 数据库中删除重复记录的步骤 当我们在处理数据库中的数据时，有时候会出现重复记录的情况，这些重复记录会影响数据的正确性，需要将其删除。下面是在 MySQL 数据库中删除重复记录的步骤： 1. 查找重复记录 首先，我们需要找到数据库表中的重复记录。可以使用以下 SQL 语句查询表中所有的 ......
vue2 原理之 如何做到数据可以被监听？
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="wi ......
MySQL插入数据报错：1366 Incorrect string value: '\xF0\xA0\xB9\xB3\xF0\xA0...' for column xxxx
[10501]SQLSTATE[22007]: Invalid datetime format: 1366 Incorrect string value: '\xF0\xA0\xB9\xB3\xF0\xA0...' for column xxxx at row 1 是因为MySQL不能识别4个字节的 ......
数据结构总结
数据结构总结 树状数据结构 树状数组 树状数组上的每个节点$i$维护了从$i-lowbit(i)+1$到$i$的信息，其中$lowbit(i)$表示$i$二进制下最低位的1，大致如图： 树状数组本身可以支持单点修改和区间查询，可以维护满足结合律和可差分的信息，如加减法和异或等。如果用来维护差分可以做 ......
达梦数据库表信息收集、索引重建
--表信息收集： select ' CALL SP_TAB_STAT_INIT(''V45_DMXNCS'',''' || TABLE_NAME || ''' );' TABLE_NAME11 from DBA_tables where owner = 'CPDB' and TABLE_NAME l ......
海量数据监控如何选择存储方案？ 看转转、得物这些企业是怎么做的
对于互联网业务而言，为保证服务的稳定运行，就要时刻关注服务器、服务调用、网络状况等各项指标，单是监控数据就存在非常大的量级。为了应对这种挑战，结合监控数据的特点，许多企业开始选择符合业务需求的时序数据库（Time Series Database），以便更好地支持运维监控。 转转 x TDengine ......
DTALK直播预约 | 数据资产管理：金融机构数据价值释放的必经之路
当前，数据对金融机构业务和发展的重要性日益凸显，释放数据生产力已经成为金融机构进行全面数字化转型的核心，这就要求金融机构以数据资产为纲不断提升自身数据资产管理能力。 本期DTALK我们邀请到雅拓信息解决方案专家 尹晓中，为大家带来《数据资产管理——金融机构数据价值释放的必经之路》。 分享大纲剧透： ......
向数据库中写入图片
if pose.all_save_image==0: sql = "INSERT INTO studentmemo.student(idx,pic0) VALUES (%s,%s)" args = (pose.id,crop) cursor.execute(sql,args) conn.commit ......
利用Jackson序列化实现数据脱敏
在项目中有些敏感信息不能直接展示，比如客户手机号、身份证、车牌号等信息，展示时均需要进行数据脱敏，防止泄露客户隐私。脱敏即是对数据的部分信息用脱敏符号（*）处理。 ......
springBoot配置动态数据源
动态数据源的实现，主要依赖AbstractRoutingDataSource类，这个类提供了抽象方法protected abstract Object determineCurrentLookupKey(); 这个方法返回一个key，根据这个key spring就能决定使用哪个数据源，所以我们要实现 ......
后台返回数据和格式bootstrapTable表格 所需格式不一致问题
之前做的一个表格，数据返回格式是下面这种，bootstrapTable表格 所需格式不一致 处理方式是在加载成功之后获取到Results中的数据添加到表格中，试了一下数据能正常显示数据，似乎解决了问题 但是在实际测试是发现，使用bootstrapTable表格右上角刷新按钮刷新无效的，如果有其他环节 ......
C语言以结构体的方式写入eeprom数据
unsigned char min_change0=0, //要保存的变量值第一组，每一次改变都会保存 unsigned char min_change_backup0=0; //该变量为中间变量，用于与min_change做对比，下同 unsigned char min_change1=0, // ......
wincc报表 功能如下： 日报表：每日24点数据，如果设置的是累计值，计算每小时的差值
wincc报表 功能如下： 日报表：每日24点数据，如果设置的是累计值，计算每小时的差值，和最终汇总一日总累计 月报表：每日0点数据显示，如果设置的是累计值，计算每日的差值，和最终汇总一月总累计 年报表：每月1日0点数据显示，如果设置的是累计值，计算每月的差值，和最终汇总一年总累计 时段报表：可自由 ......
数据库增删改常用命令
一、增:有2种方法 1.使用insert插入单行数据: 语法: insert [into]<表名>[列名] values <列值> 例: insert into Strdents(姓名,性别,出生日期)values('邢金聪'∵男";'1990/6/15') 注意:如果省略表名，将依次插入所有列 ⒉ ......