数据 持久性 数据备份 分布式
activiti 工作流历史数据删除
1. 查找已完成的流程 SELECT PROC_INST_ID_ FROM ACT_HI_PROCINST WHERE END_ACT_ID_ IS NOT NULL OR DELETE_REASON_ IS NOT NULL; 2. 删除已完成流程的相关记录 DELETE FROM ACT_HI_ ......
数据分析的数据源
数据分析的数据源 公开的数据库 － 国家数据 － http://data.stats.gov.cn/index.htm 数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可 ......
Gauss （openGauss轻量版）数据库安装配置
1、修改操作系统配置 为了在防火墙开启的状态下，确保openGauss轻量版的正常使用。用户需要将轻量版相关的服务、协议、IP以及端口添加到主机的防火墙白名单中。 目前仅支持在防火墙关闭的状态下进行安装。 修改/etc/selinux/config文件中的“SELINUX“值为“disabled“。 ......
es删除索引数据
一、清空索引数据，不包含结构 请求体也是需要的 post 索引名称/_delete_by_query{ "query": { "match_all": {} }} ......
Python大数据分析——豆瓣读书数据分析
一、选题背景 豆瓣的发起者发现，对多数人做选择最有效的帮助其实来自亲友和同事。随意的一两句推荐，不但传递了他们自己真实的感受，也包含了对你口味的判断和随之而行的筛选。他们不会向单身汉推荐育儿大全，也不会给老妈带回赤裸特工。遗憾的是，你我所有的亲友加起来，听过看过的仍然有限。而且，口味最类似的人却往往 ......
009 数据库学习笔记--判断是否存在(表、试图、存储过程、触发器、索引、外键......)
https://blog.csdn.net/qq_44034384/article/details/106090525 在对数据库进行新增操作时，往往需要进行判断是否存在之后方可进行相关操作，如下所示： 可使用——object_id(‘name’,‘type’)方法 --创建学生表数据备份表 判断是 ......
操作系统----持久化
《I/O设备与设备驱动程序》 I/O设备主要由两重要部分组成： 1.设备向操作系统展现的硬件接口 这些接口主要是用来与设备进行交互用到 可以看到接口（interface）中包含3个寄存器： 状态寄存器：读取并查看设备的当前状态 命令寄存器：用于通知设备执行某个具体任务 数据寄存器：数据传输给设备，或 ......
多数据源切换
# 多数据源解决方案 ## mybatis-plus动态切换数据源 - 该方法简单便捷，直接通过注解@DS("xxx")就可以切换数据源 - 但是这边官方建议只添加在方法上或类上，所以在同一个方法中只能使用一种数据源 > 依赖配置 ~~~java 1.添加依赖 com.baomidou dynami ......
Redhat8安装MySQL8操作方法（超简单Linux无依赖安装mysql数据库）
一、安装说明 1.1、相关说明： Redhat8在线安装Mysql8数据库，使操作系统找到并自动安装自适应的版本及相关依赖组件； 1.2、系统版本 二、安装方法 2.1、下载应用软件 [root@GuoDC ~]# wget https://dev.mysql.com/get/mysql80-com ......
MySQL——远程连接非本地MySQL数据库服务器，报错ERROR 1130: Host 192.168.3.100 is not allowed to connect to this MySQL server的解决方案
一、问题二、解决方案前提条件，：要先确认被访问的电脑防火墙关闭：控制面板-系统与安全-Windows Defender 防火墙-关闭-确定 一、问题连接非本地数据库时，输入对方ip、账号和密码后点击连接测试，报错： ERROR 1130: Host 192.168.3.100 is not allo ......
zabbix 存储数据清理
故障排查# 背景调查：最近几天zabbix告警信息总是报Zabbix agent on xxxxxxxxx is unreachable for 5 minutes 错误，开始没有留意，通过两天观察，发现报警时间是有规律的，每天的凌晨12点05分、早晨6点05分、中午12点05分、下午18点05分， ......
mysql备份
https://www.manongdao.com/article-1640390.html 备份的类型 1、根据是否需要数据库离线 （1）冷备： 需要关mysql服务，请写请求均不允许 （2）温备： 服务在线，但仅支持读请求。 （3）热备：备份的同时，业务不受影响。 mysql中进行不同方式的备份 ......
OpenGauss数据库创建新用户
Table of Contents 学习目标 1. 创建新用户 2. 使用新用户访问数据库 3. 使用新用户查看数据库中有哪些表 学习内容 摘要 课前准备 1. 创建用户user1、user2、user3 2. 在终端中，分别使用user1、user2、user3用户访问数据库musicdb。 3. ......
【C#】JSON转DataTable存入数据库
由于JSON直接转DataTable可能会存在类型丢失 如下：  # 采用读取数据库表字段类型构建DataTable ```csharp /// ......
基于 canal 的 RDS Mysql 数据实时同步到 Es 服务器
#背景 > 考虑到我们的数据在密码变大，与数据分析的需求，前面我们是一直在使用 Sphinx 来做全文搜索。主要也是这块我们也没有更为核心的Sphinx 开发人员，从而我们在这块的使用上，一直都还是还有比较老的基于 coreseek 来处理中文分词技术。 现在这套也比较久没有继续更新维护了，从而我们 ......
如何兼顾性能+实时性处理缓冲数据？
我们经常会遇到这样的数据处理应用场景：我们利用一个组件实时收集外部交付给它的数据，并由它转发给一个外部处理程序进行处理。考虑到性能，它会将数据存储在本地缓冲区，等累积到指定的数量后打包发送；考虑到实时性，数据不能在缓冲区存太长的时间，必须设置一个延时时间，一旦超过这个时间，缓冲的数据必须立即发出去。 ......
四、持久化方式
AOF 日志,每次追加，文件量大，能设置每秒/没次，那么异常情况下丢失的数据少，文件过大时会重写，即采用最简短的命令描述数据库 RDB 快照式，快照是一次全量备份，异常情况下丢失的数据量较大 RDB文件的创建可以手动触发，也可以自动触发 服务器在载入RDB文件期间,会一直处于阻塞状态,直到载入工作完 ......
二、六大数据结构
简单动态字符串SDS 杜绝缓冲区溢出（SDS会先扩展再修改） 减少字符串操作中的内存重分配次数（预分配和惰性清除） 二进制安全（二进制处理，使用len属性而非空格来判断字符串是否结束） 链表 指针相连，空间不连续，天然支持扩容，插入删除操作高效(时间复杂度为O(1))，但缺点是随机访问低效(时间复杂 ......
三、五大基本数据类型
字符串对象（String） 字符串对象底层是简单动态字符串SDS 使用场景： 1、作为缓存 缓存一些热点数据。一般在读取数据的时候会先从Redis中读取，如果Redis中没有，再从数据库中读取，从而降低后端的压力。（需要注意缓存穿透、雪崩以及缓存更新等问题......） 2、计数器\限速器\分布式系 ......
七、如何保证 Redis 中的数据不丢失
单机单节点模式使用 AOF 和 RDB 结合的方式 RDB 做镜像全量持久化，AOF 做增量持久化。因为 RDB 会耗费较长时间，不够实时，在停机的时候会导致大量丢失数据，所以需要 AOF 来配合使用。 Redis 集群模式 1、master 节点持久化 2、Redis断点续传：主从复制过程中，如果 ......
Docker部署postgres数据库
下载镜像 ```sh docker pull postgres:13.11 ``` 启动容器 ```sh docker run -d --name postgresql --restart always -v /data/postgres/data:/var/lib/postgresql/data ......
coe_xfr_sql_profile.sql脚本 适用 oracle数据库版本：10.2, 11.1, 11.2, 12.1, 12.2 18c_and 19c
coe_xfr_sql_profile.sql脚本 内容如下： 适用 oracle数据库版本：10.2, 11.1, 11.2, 12.1, 12.2 18c_and 19c 注明：复制粘贴即可。 SPO coe_xfr_sql_profile.log;SET DEF ON TERM OFF ECH ......
[转]前端-WebAPI接口-FormData对象的使用(模拟表单用于发送数据及上传文件)
一、概述 FormData对象的使用： 用一些键值对来模拟一系列表单控件：即把form中所有的元素的name与value组成一个queryString。 异步上传二进制文件。 二、使用 创建一个空对象实例。 javascript 复制代码 var myform = new FormData(); 使 ......
矩形图的奇妙世界：揭开数据背后的故事
在当今信息爆炸的时代，数据已经成为决策和洞察的重要基石，但海量的数据如果不经过整理和呈现，往往难以得出有意义的结论。这时候，可视化工具的作用就变得尤为重要了。在众多可视化形式中，矩形图以其简洁直观的特点受到了广泛的关注和应用。 ......
跟着源码学IM(十一)：一套基于Netty的分布式高可用IM详细设计与实现(有源码)
本文将要分享的是如何从零实现一套基于Netty框架的分布式高可用IM系统，它将支持长连接网关管理、单聊、群聊、聊天记录查询、离线消息存储、消息推送、心跳、分布式唯一ID、红包、消息同步等功能，并且还支持集群部署。 ......
MySQL百万级数据大分页查询优化的实现
前言：在数据库开发过程中我们经常会使用分页，核心技术是使用用limit start, count分页语句进行数据的读取。 一、MySQL分页起点越大查询速度越慢 直接用limit start, count分页语句，表示从第start条记录开始选择count条记录 ： select * from te ......
2022 中国开源创新大赛，时序数据库 TDengine 榜上有名
凭借着强大的开源创新能力和产品竞争力，时序数据库（Time Series Database） TDengine 收获了“2022 年中国开源创新大赛”二等奖的好成绩。 ......
redis 基本数据类型
所有数据都以唯一 key 字符串作为名称，而 value 只是数据类型的差异。所以，针对 key 的命令都是通用的。 方便演示，采用 docker 镜像，可以选择 redis:latest 镜像，这里我选择了带布隆过虑器的 redis 镜像。 docker run -p 6379:6379 --na ......
MSSQL常用备份还原脚本
--完整备份 Backup Database pubs To disk='d:\Backup\pubs.bak' --差异备份 Backup Database pubs To disk='d:\Backup\pubs_Diff_20070908.bak' With Differential --完整 ......
Django——数据库2
# Django——数据库2 添加数据 ```python # 添加数据 # 1、使用create方法 # data = Students.objects.create(name='阿宸' , age=26 , gender='2' , height=1.79) # 2、直接写入数据 , 写入完之后 ......