clickhouse数据flink
MySQL（九）InnoDB数据结构
InnoDB数据结构 1 数据库的存储结构：页 索引信息和数据记录都是保存在文件上的，确切来说是保存在页结构中；另一方面，索引是在存储引擎上实现的，MySQL服务器上的存储引擎负责对表中数据的读取和写入工作。不同的存储引擎的存放格式是不同的，比如Memory甚至不使用磁盘进行存储数据。 磁盘和内 ......
线程间数据传递之ThreadLocal、InheritableThreadLocal、TransmittableThreadLocal
前言 在JAVA中线程之间传输数据的方式有多种，而本文旨在探讨ThreadLocal及其衍生类的使用场景。 使用场景 业务系统的参数传递：在我们的业务系统中可能会用到许多公共参数，可能是用户的token信息，在我们链路中可能某一个方法需要用到它，那么我们又不想一层层的传递它。 分布式系统要打通各个系 ......
【数据结构】串 - 习题
就一道题，开摆了orz 习题 等值子串 【问题描述】如果字符串的一个子串（其长度大于1）的各个字符均相同，则称之为等值子串。试设计一算法，求出串S中一个长度最大的等值子串；如果串S 中不存在等值子串，则输出信息no 【输入形式】输入一个字符串，并以！结束 【输出形式】输出第一个出现的最长字符串，如果 ......
关系数据库同步框架 Dotmim.Sync
推荐一款 在线+离线数据 同步框架 Dotmim.Sync 移动智能应用可以分为在线模式、纯离线模式与“在线+离线”混合模式。在线模式下系统数据一般存储在服务器端的大中型数据库（如 SQL Server、Oracle、MySQL 等），移动应用依赖于稳定可靠的网络连接；纯离线模式下系统数据一般存储在 ......
【数据结构】二叉树先序、中序、后序及层次遍历（C语言版）
一、图示展示 1. 先序遍历 先序遍历可以想象为，一个小人从一棵二叉树根节点为起点，沿着二叉树外沿，逆时针走一圈回到根节点，路上遇到的元素顺序，就是先序遍历的结果 先序遍历结果为：A B D H I E J C F K G 动画演示： 记住小人沿着外围跑一圈（直到跑回根节点），多看几次动图便能理解 ......
大数据经典论文解读 - Hive
Hive 基于HDFS和MapReduce提供了一个基本的SQL的数据仓库方案。关键点：在数据库系统设计时，如何把查询语言和计算框架分离，做好对现有系统的复用 设计目标 写SQL执行MapReduce任务 数据模型 从MapReduce任务到SQL语言间存在很多鸿沟 序列化和类型信息，基于SQL的数 ......
数据库的CRUD语句
Insert语句 values里面的值依次对应各个列 # 创建表goods CREATE TABLE goods( id INT , good_name VARCHAR(10), price DOUBLE); # 插入数据 INSERT INTO goods (id ,good_name) -- 该 ......
python批量处理Excel数据
# 1、 批量提取一个工作簿中所有工作表的特定数据'''import xlwings as xwimport pandas as pdapp = xw.App(visible = False, add_book = False)workbook = app.books.open('采购.xlsx') ......
Cassandra 数据模型
Cassandra 数据模型 Cassandra 的数据模型与我们通常在关系型数据库中看到的有很大不同。本文概述了 Cassandra 如何存储其数据。 Cluster Cassandra 数据库分布在多台一起运行的机器上。最外面的容器称为集群。对于故障处理，每个节点都包含一个副本，如果发生故障，副 ......
大数据经典论文解读 - 分布式锁 Chubby
Chubby 在谷歌“三驾马车”中3个系统都是单Master系统，这个Master是系统的单点，一旦Master故障集群就无法提供服务。使用Backup Master，通过监控机制进行切换。但是： 如何实现Backup Master和Master完全同步？ 监控程序也是单点，如何确定是Master宕 ......
PL/SQL 基础---复杂数据类型和自定义类型
原文地址：https://blog.csdn.net/villare/article/details/53437924 PL/SQL 基础—复杂数据类型和自定义类型PLSQL中常用的自定义类型就两种： 记录类型、 PLSQL内存表类型（根据表中的数据字段的简单和复杂程度又可分别实现类似于简单数组和记 ......
highcharts 3D圆环图y轴数据为0 的较多，会出现显示不出来的问题
问题的效果图如下： 问题原因：好像是数据位置重叠了 解决办法：没有找到比较合适的解决办法，最后选择了不显示值为0的，代码如下所示（主要代码已用红色背景显示）： plotOptions: { pie: { allowPointSelect: true, cursor: 'pointer', dataL ......
Springboot 系列 (28) - Springboot+HBase 大数据存储（六）| Springboot 项目通过 RestTemplate 访问 HBase REST 服务
Apache HBase 是 Java 语言编写的一款 Apache 开源的 NoSQL 型数据库，不支持 SQL，不支持事务，不支持 Join 操作，没有表关系。Apache HBase 构建在 Apache Hadoop 和 Apache Zookeeper 之上。Apache HBase: h ......
MySQL实现over partition by（分组后对组内数据排序）
开发中遇到了这样一个需求：统计商品库存，产品ID + 子产品名称都相同时，可以确定是同一款商品。当商品来自不同的渠道时，我们要统计每个渠道中最大的那一个。如果在Oracle中可以通过分析函数 OVER(PARTITION BY… ORDER BY…)来实现。在MySQL中应该怎么来实现呢。现在通过两 ......
php swoft 中的数据分层
不仅仅局限于 MVC 。将数据在model 这一个层面剖析开，优雅的处理数据 逻辑，缓存，业务，数据库操作的烦恼。 这个思路也适用于 thinkphp，hyperf，imi 等框架。不再简单的 实现 controller->model->view 的处理过程。 简化代码，每一层清晰地定义相应处理的数 ......
elasticsearch 7.8.X 数据类型与使用规范
1 核心数据类型 string 字符串 字符类型说明 text ⽤于全⽂索引，搜索时会自动使用分词器进⾏分词再匹配。字段内容会被分析，在生成倒排索引以前，字符串会被分析器分成一个一个词项 keyword 不分词，搜索时需要匹配完整的值 numberic 数值 整数类型说明 （1byte(字节)=8b ......
elasticsearch 数据认识 与 数据表\文档 的增删改
【Elasticsearch 7.8.1】当前版本 新建 mingduhui 的数据库 \ 检索库 向其中新增表 操作如下 PUT /mingduhui/_mapping/goods { "properties": { "id": { "type": "long", "store": true, } ......
elasticsearch 数据查查询、分词查询
1、普通查询 GET /mingduhui/goods/2 POST /mingduhui/goods/_search { "query": { //查询 "query_string": { //表示使用字符串查询 "default_field": "title", //指定搜索域 "query": ......
[数据结构与算法] 树状数组
链接：树状数组_哔哩哔哩 （只有五分钟，多看几遍，就会了） 模板题：P3374 【模板】树状数组 1 - 洛谷 14.1 作用 求前缀和、区间和（跟前缀和的作用一样）； 元素修改之后能高效更新：（时间复杂度） 前缀和：$O(log \space n)$； 区间和：$O(log \space n)$； ......
EasyCVR插件工具：如何删除EasyShark的抓包数据？
EasyCVR视频融合平台基于云边端一体化架构，具有强大的数据接入、处理及分发能力，平台支持海量视频汇聚管理，可支持多协议接入，包括市场主流标准协议与厂家私有协议及SDK，平台丰富的视频能力包括：视频监控直播、录像、云存储、检索与回看、告警、集群、级联、共享等。感兴趣的用户可以前往演示平台进行体验或... ......
阿里云RDS与ECS自建mysql数据库主从同步(GTID方式)
1、GTID的概念全局事务标识：global transaction identifiers；GTID是一个事务一一对应，并且全局唯一ID；一个GTID在一个服务器上只执行一次，避免重复执行导致数据混乱或者主从不一致；GTID用来代替传统复制方法，不再使用MASTER_LOG_FILE+MASTER ......
redis 高级数据 hyperLogLog
1、 统计独立的UV 2、用做 基数 统计的 ｛1,3,5,7,8,7,5｝ 基数集：{1,3,5,7,8} 基数：5 ｛1,1,1,1,1,7,1｝ 基数集：{1,7} 基数：2 基数是数据集去重后元素个数 用于进行基数统计，不是集合，不保存数据，只记录数量而不是具体数据 核心是技术估算算法，最终 ......
【数据库】DataGrip安装、破解和汉化
软件下载地址：（如果连接失效，请公众号内私聊获取） 链接：https://pan.baidu.com/s/10KQ0-N9iYz5PDdaNBWqHVA 提取码：1234 解压后如下： 勾选项如下： 破解和汉化操作步骤： 1、软件已经正确安装，首次启动如图，先点击试用： 2、启动会让你选择一个主题， ......
NBU上Oracle数据库恢复演练手册
目录 2. 1|01.1 Oracle数据库恢复 4 3.1 1|11.1.1 安装新的客户端 6 3.2 1|21.1.2 新建异机恢复文件 6 3.3 1|31.1.3 新建数据库实例 6 3.4 1|41.1.4 建立spfile文件 6 3.5 1|51.1.5 建立数据文件夹 11 3.6 ......
大数据经典论文解读 01
大数据核心3个概念： 能伸缩到一千台以上的分布式数据处理集群技术 这上千个节点是使用廉价PC搭建 将数据中心当做一台计算机 大数据的起源：“三架马车” 这三篇论文还依赖了两个基础设施：Chubby锁服务，Thrift序列化 MapReduce 演进路线： 编程方式：最初的MapReduce需要工程师 ......
前端，将图片转为base64格式后保存至数据库
调用上述函数，因为onload回调是异步的，需要等图片转换成功后使用base64图片路径，所以需要包在promise实例内抛出去 this.imgBase().then(baseUrl =>{ // 使用成功回调拿到图片处理成功后的格式 }) ......
按照时间分组统计查询的时候，返回的某个业务数据不全，业务数据是通过GROUP_CONCAT函数来统计的。
【问题描述】 按照时间分组统计查询的时候，返回的某个业务数据不全，业务数据是通过GROUP_CONCAT函数来统计的。 【原因分析】 查看页面调用的接口，并追踪到最终调用的方法和SQL语句；在Navicat中执行SQL语句也发现返回的数据不全，并发现返回的业务数据是使用GROUP_CONCAT函数来 ......
面试题锦集：1、数据库三大范式，2、mysql索引类型及作用，3、事务的特性和隔离级别
面试题集锦 一、数据库三大范式 第一范式(1NF): 指数据库中表的每一列都是不可分割的最小单位 # 分割前： 地址 安徽省合肥市蜀山区 # 分割后： 省 | 市 | 区 安徽省|合肥市|蜀山区 第二范式(2NF): 如果表是单主键，那么主键以外的列必须完全依赖于主键列，如果表是符合主键（联合索引） ......
交货单打印之二：ＪＺＴ_ＷＭＳ数据结构熟悉中
准备交货单打印的用，ＳＡＰ将交货单下传至ＷＭＳ，然后再打印单据，配货出库。 ＩＮＦ_ＢＩＬＬ_ＯＳＨ是 接口表。 ＩＮＦ_ＢＩＬＬ_ＯＳＨ_upload是接口上传表 SELECT * FROM INF_BILL_OSH_upload WHERE ROWNUM<1000 and created_tim ......