数据库 数据docker redis
JSON多层嵌套复杂结构数据扁平化处理转为行列数据
背景 公司的中台产品，需要对外部API接口返回的JSON数据进行采集入湖，有时候外部API接口返回的JSON数据层级嵌套比较深，举个栗子: 上述的JSON数据中，最外层为请求返回对象，data里面包含返回的业务数据，业务数据按照学校 / 班级 / 学生进行嵌套 在数据入湖时，需要按照最内层的学生视角 ......
JDBC和MyBatis数据库访问技术
传统的Java Web应用开发时，一般使用JDBC进行数据库连接和操作SQL命令。但是，随着互联网技术的飞速发展，使用JDBC已经满足不了项目的开发需求，出现了Hibernate、MyBatis等一些优秀的持久层框架，它们结合了JDBC的优点，使得开发简捷、规范、快速，系统易维护、易扩展。 1.1 ......
技术贴，必看！谷歌云新的 BigQuery 版本：数据云的灵活性和可预测性
在数据云和 AI 峰会上，谷歌宣布推出具有三个定价层级的 BigQuery 版本——标准版、企业版和企业增强版——供您选择，并能够根据您的个人工作负载进行混合搭配以获得合适的性价比需要。 ......
解决docker环境apt-get命令太慢问题
最近学习doris，准备在本地使用docker搭建一个环境，doris文档提供Dockfile中有这么一段： RUN apt-get update && \ apt-get install -y default-mysql-client && \ apt-get clean && \ mkdir / ......
数据库基础知识
一、DB/DBSM/DBS 1. 数据库DataBase(DB) 是信息的集合；或是由DBSM管理的数据的集合 2. 数据库管理系统Database Management System(DBSM) 是一种操纵和管理DB的大型软件，通常用于建立、使用、维护DB 3. 数据库系统Data Base Sy ......
数据链路层
封装成帧： MAC没有帧定界，因为他们有时间间隔地发送帧，不需要区别。 差错检测： 法一：奇偶校验：主机一个主机二规定0，1的个数为奇数或者偶数，如果有误，奇数偶数发生变化，那么就知道出现了误码。但如果正好出现2个误码，就没有改变奇偶性，则无法辨别是否出现误码。 法二：循环冗余校验：发送方用发送数据 ......
河北稳控科技便携式钻孔测斜仪数据采集仪的使用方法
河北稳控科技便携式钻孔测斜仪数据采集仪的使用方法 开机关机手动开机开机前，请将测斜探头连接到采集仪传感器接口上。禁止开机后带电插拔探头。按下电源开关按钮，电源指示灯亮（按钮外环），主设备通电，屏幕启动，操作系统启动完成后，若设置了测斜程序自动启动则进入测斜仪程序主界面，否则进入操作系统桌面。 自动开 ......
在 MySQL 数据库中删除重复记录的步骤
在 MySQL 数据库中删除重复记录的步骤 当我们在处理数据库中的数据时，有时候会出现重复记录的情况，这些重复记录会影响数据的正确性，需要将其删除。下面是在 MySQL 数据库中删除重复记录的步骤： 1. 查找重复记录 首先，我们需要找到数据库表中的重复记录。可以使用以下 SQL 语句查询表中所有的 ......
vue2 原理之 如何做到数据可以被监听？
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="wi ......
Redis和kafka比较,两者的区别和各自的优势。
1. Redis，它首先是一个内存数据库，其提供的PUB/SUB功能把消息保存在内存中(基于channel)，因此如果你的消息的持久性需求并不高且后端应用的消费能力超强的话，使用Redis PUB/SUB是比较合适的使用场景。比如官网说提供的一个网络聊天室的例子：模拟IRC，因为channel就是I ......
ssh连接docker容器
1、docker pull 镜像 2、查看镜像列表 docker images 3、运行镜像 (10.x.x.x是主机ip，/usr/sbin/init可在docker里启动服务，privileged特权容器) docker run -itd --privileged=true -p 10.x.x. ......
MySQL插入数据报错：1366 Incorrect string value: '\xF0\xA0\xB9\xB3\xF0\xA0...' for column xxxx
[10501]SQLSTATE[22007]: Invalid datetime format: 1366 Incorrect string value: '\xF0\xA0\xB9\xB3\xF0\xA0...' for column xxxx at row 1 是因为MySQL不能识别4个字节的 ......
Windows 10 专业版下推送docker镜像到harbor报错：x509: certificate relies on legacy Common Name field, use SANs instead
harbor是公司私有镜像仓库，在Windows 10 专业版上安装上docker DeskTop，客户端成功开启之后，就是推送镜像啦。 记得先登录， docker login --username=admin xxx.harbor.com:10443，这个不能忘记！！ 在实际推送中遇到了几个问题， ......
达梦数据库表信息收集、索引重建
--表信息收集： select ' CALL SP_TAB_STAT_INIT(''V45_DMXNCS'',''' || TABLE_NAME || ''' );' TABLE_NAME11 from DBA_tables where owner = 'CPDB' and TABLE_NAME l ......
数据结构总结
数据结构总结 树状数据结构 树状数组 树状数组上的每个节点$i$维护了从$i-lowbit(i)+1$到$i$的信息，其中$lowbit(i)$表示$i$二进制下最低位的1，大致如图： 树状数组本身可以支持单点修改和区间查询，可以维护满足结合律和可差分的信息，如加减法和异或等。如果用来维护差分可以做 ......
海量数据监控如何选择存储方案？ 看转转、得物这些企业是怎么做的
对于互联网业务而言，为保证服务的稳定运行，就要时刻关注服务器、服务调用、网络状况等各项指标，单是监控数据就存在非常大的量级。为了应对这种挑战，结合监控数据的特点，许多企业开始选择符合业务需求的时序数据库（Time Series Database），以便更好地支持运维监控。 转转 x TDengine ......
DOCKER特性 - LIVE RESTORE
我们都知道Docker是C/S模式架构，通过客户端（CLI）访问Docker Daemon来创建和管理容器的。在默认情况下，当daemon终止的时候，会停止所有运行的容器。 因此我们需要对Docker Daemon进行升级或者某些需要重启的维护操作时，都需要导致运行着的容器跟着重新启动。 Live ......
向数据库中写入图片
if pose.all_save_image==0: sql = "INSERT INTO studentmemo.student(idx,pic0) VALUES (%s,%s)" args = (pose.id,crop) cursor.execute(sql,args) conn.commit ......
DTALK直播预约 | 数据资产管理：金融机构数据价值释放的必经之路
当前，数据对金融机构业务和发展的重要性日益凸显，释放数据生产力已经成为金融机构进行全面数字化转型的核心，这就要求金融机构以数据资产为纲不断提升自身数据资产管理能力。 本期DTALK我们邀请到雅拓信息解决方案专家 尹晓中，为大家带来《数据资产管理——金融机构数据价值释放的必经之路》。 分享大纲剧透： ......
「高频必考」Docker&K8S面试题和答案
DaemonSet是一个用于在每个节点上运行一个Pod的控制器。它可以用于运行一些需要在每个节点上运行的系统级别的服务，如日志收集、监控等。 ......
利用Jackson序列化实现数据脱敏
在项目中有些敏感信息不能直接展示，比如客户手机号、身份证、车牌号等信息，展示时均需要进行数据脱敏，防止泄露客户隐私。脱敏即是对数据的部分信息用脱敏符号（*）处理。 ......
springBoot配置动态数据源
动态数据源的实现，主要依赖AbstractRoutingDataSource类，这个类提供了抽象方法protected abstract Object determineCurrentLookupKey(); 这个方法返回一个key，根据这个key spring就能决定使用哪个数据源，所以我们要实现 ......
Docker 清除缓存、日志
命令介绍 查看docker各类型文件占用情况 docker system df Docker使用的 4 种磁盘类型： Images: 所有镜像占用的空间，包括拉取的镜像、本地构建的镜像 Containers: 运行中的容器所占用的空间（没运行就不占空间），其实就是每个容器读写层的空间 Local V ......
后台返回数据和格式bootstrapTable表格 所需格式不一致问题
之前做的一个表格，数据返回格式是下面这种，bootstrapTable表格 所需格式不一致 处理方式是在加载成功之后获取到Results中的数据添加到表格中，试了一下数据能正常显示数据，似乎解决了问题 但是在实际测试是发现，使用bootstrapTable表格右上角刷新按钮刷新无效的，如果有其他环节 ......
C语言以结构体的方式写入eeprom数据
unsigned char min_change0=0, //要保存的变量值第一组，每一次改变都会保存 unsigned char min_change_backup0=0; //该变量为中间变量，用于与min_change做对比，下同 unsigned char min_change1=0, // ......
wincc报表 功能如下： 日报表：每日24点数据，如果设置的是累计值，计算每小时的差值
wincc报表 功能如下： 日报表：每日24点数据，如果设置的是累计值，计算每小时的差值，和最终汇总一日总累计 月报表：每日0点数据显示，如果设置的是累计值，计算每日的差值，和最终汇总一月总累计 年报表：每月1日0点数据显示，如果设置的是累计值，计算每月的差值，和最终汇总一年总累计 时段报表：可自由 ......
ubuntu 安装docker
https://docs.docker.com/engine/install/ubuntu/ Update the apt package index and install packages to allow apt to use a repository over HTTPS: $ sudo a ......
数据库增删改常用命令
一、增:有2种方法 1.使用insert插入单行数据: 语法: insert [into]<表名>[列名] values <列值> 例: insert into Strdents(姓名,性别,出生日期)values('邢金聪'∵男";'1990/6/15') 注意:如果省略表名，将依次插入所有列 ⒉ ......
C# Winform通用开发框架，支持多语言，多数据库，自动更新，模块化
C# Winform通用开发框架，支持多语言，多数据库，自动更新，模块化，可用其开发任意CS端系统，非常适合需要快速搭建项目的团队或个人使用。YID:62200661496079150 ......