数据 持久性 数据备份 分布式
分布式锁
参考： java guide：分布式锁常见实现方案总结 小林 coding: 如何用 redis 实现分布式锁的？ 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。 分布式锁是用于分布式环境下并发控制的一 ......
数据库之oracle查询、序列、建表
1. 查询emp表薪水降序排序后的第5-9条数据 2. 创建序列 3. 建表toys，调用序列的nextval方法实现id自增。添加数据 ......
将excel表格的数据转换成Mysql数据库insert插入语句
=CONCATENATE("INSERT INTO 表名(列1,列2,列3) VALUES('" & A1 & "', '" & A2 & "', '" &A3 & "');") 如果是多行，则需要拖住下来，就会动态生成具体的sql语句。 例如=CONCATENATE("INSERT INTO ba ......
大梦数据的备份还原
## 备份 ### 联机备份 联机即在数据库运行状态下进行备份，必须开归档模式，支持库备份、表空间备份、表备份、归档备份。它包括完全备份（拷贝所有有效数据页）和增量备份（在基备份集基础上拷贝修改的数据页）。 增量备份又包含累积增量备份和差异增量备份。累积增量备份的基础备份是全备的备份集。而差异增量备 ......
java导入excel文件，处理合并单元格的数据
@Transactional(readOnly=false) public void importData() { ExcelUtil excelUtil = new ExcelUtil(); System.out.println("jinru"); //读取excel数据 List result ......
使用postman上传excel Java后端解析excel并导入数据
Controller层 @RequestMapping(value = "importExcel", method = RequestMethod.POST) @ResponseBody public String importExcel(@ModelAttribute MultipartFile ......
达梦数据库集群启动笔记
## 集群启动顺序 ### 主库启动数据库服务 ``` cd /opt/dmdbms/bin/bin ./dm_services start DmServiceGRP1_RT_01 ``` ### 备库启动数据库服务 ``` cd /opt/dmdbms/bin/bin ./dm_services ......
go语言如何使用elastic官方客户端go-elasticsearch/v8实现数据批量更新
go语言如何使用elastic官方客户端go-elasticsearch/v8实现数据批量更新 go语言的官方客户端 Elasticsearch 的官方 Go 客户端是由 Elastic 开发、维护和支持的客户端系列的最新成员之一。 初始版本于 2019 年初发布，并在过去几年中逐渐成熟，获得了重试 ......
执行bat脚本操作sql文件更新Sqlite数据库
在Windows下操作sqlite数据库 一、确保所在Windows已经安装sqlite3 1.1 Win+R 输入cmd打开命令窗口 ``` # 输入 sqlite3 version ``` 显示如下提示则表示已经安装，且能正常使用  # 启动 ## FE 启动 启动 `bin/start_fe.sh --daemon` ## ......
第20章 基础系统设定与备份策略
## 第20章 基础系统设定与备份策略 ### 20.1 系统基本设定 #### 20.1.1 网络设定（手动设定与DHCP自动获得） 新的CentOS 7开始对于网卡的编号则有另一套规则，网卡的界面代号现在与网卡的来源有关\~基本上的网卡名称会是这样分类的： - eno1: 代表由主板BIOS内建 ......
手贱，把分区扩容，导致分区损坏，变为RAW，最终恢复好数据
手贱，把分区扩容，导致分区损坏，变为RAW。DG这个软件确实可以，能扫到文件。但是恢复大文件。需要激活，网上pj版本的根本行不通。 无奈只能 多款软件对比。最终从某鱼上找了一款替换软件。 最终恢复了自己想要的数据。 这款软件 是能扫到所有文件数据，但是你要注意看，它扫到最后他会对比，会把正常文件（他 ......
数据库之Oracle简介
ORCL单仓库，多用户 sys是超级管理员，主要用来维护系统信息和管理实例。不知密码也可以本机登录（远程需要），只能使用SYSDBA或SYSOPER角色登录 system是系统管理员，拥有DBA权限，通常用来管理oracle数据库的用户、权限和存储等。只能用NORMAL方式登录。需要oracle安装 ......
sqlserver数据库逻辑名和文件名修改
1 --查看逻辑名称 2 select name from sys.database_files; 3 4 --修改逻辑名称 5 alter database ZZMK_OneMap_old modify file(name=CJ_OneMap, newname=ZZMK_OneMap_old) 6 ......
数据库行存储索引与列存储索引
行存储是在逻辑上整理为包含行和列的表，实际上以行式数据格式存储的数据，此格式是存储关系表数据的传统方法。 列存储是在逻辑上整理为包含行和列的表，实际上以列式数据格式存储的数据。 行存储索引最适合用于查找数据、搜索特定值的查询，或者针对较小范围的值执行的查询。 对事务工作负载使用行存储索引，因为它们往 ......
使用prometheus监控mysql数据库性能指标
目标：需要实现mysql的性能监控，如cpu占用率，内存占用率，连接数，执行效率等等....... 如图所示： 实现思路一： 使用linux的top命令，定时查看mysql的cup占用率，内存占用率........，然后将得到的数据存放进入数据库，后端拿到数据库数据，前端拿到数据后，进行数据重组，结 ......
python + 批量提取文件中exce数据
import pandas as pd import os # 创建一个空的数据框列表 data_frames = [] # 获取当前脚本的目录路径 current_directory = os.getcwd() folder_path = os.path.join(current_director ......
一个数据丢失惨案
前言 最近，有开发同事联系我反馈一个问题，说开发环境出现了数据丢失的情况，想让DBA帮忙排查一下是不是数据库的问题。我心想大概率是程序bug，不太可能是数据库的问题。不过还是要排查一下才会心安，毕竟对于一个DBA而言，数据丢失无疑是最令人紧张的一件事情。 问题排查 开始进行排查之前，我先确认了如下问 ......
redis常见的5中数据类型以及相关命令
#redis # redis 简介 - redis 是采用 ASNI C 语言编写的 - 采用的是 C/S 架构 - 是非关系型数据库 - 以键值对的形式存储在内存中 # redis 在 windows 中的启动命令 - `redis-server redis.windows.conf` - `re ......
NativeBuferring——一种零分配的数据类型[上篇]
之前一个项目涉及到针对海量（千万级）实时变化数据的计算，由于对性能要求非常高，我们不得不将参与计算的数据存放到内存中，并通过检测数据存储的变化实时更新内存的数据。存量的数据几乎耗用了上百G的内存，再加上它们在每个时刻都在不断地变化，所以每时每刻都无数的对象被创建出来（添加+修改），同时无数现有的对象... ......
数据处理的那些事「GitHub 热点速览」
 撇开一屏占四分之三屏幕的 AI 相关项目之外，本周剩下的热榜项目就是同数据有关的数据库项目，比如 CockroachDB ......
读发布！设计与部署稳定的分布式系统（第2版）笔记27_安全性下
 # 1. 安全配置出现失误 ## 1.1. 攻击者已经通过使用开箱默认的admin登录名和密码，进入了不少应用程 ......
bootrec 命令是 Windows 操作系统中用于修复启动问题的一组命令。它可以帮助修复引导记录、主引导记录 (MBR)、引导扇区以及启动配置数据 (BCD) 等与启动有关的问题。以下是对 bootrec 命令进行详细说明
bootrec 是一个用于修复启动问题的 Windows 命令。它是 Windows 操作系统的一部分，提供了一些功能强大的工具，用于修复引导记录、主引导记录 (MBR) 和启动配置数据 (BCD) 等问题。 以下是一些常见的 bootrec 命令及其功能： bootrec /fixmbr： 修复主 ......
SpringBoot+Mybatis-Plus使用多数据源
常见的使用Mybatis-Plus配置多数据源方式有两种：一种是通过java config的方式手动配置两个数据源，另一种方式便是使用 dynamic-datasource-spring-boot-starter。 dynamic-datasource-spring-boot-starter 是一个 ......
Docker 数据卷Volume的使用
在root目录下，创建docker-volume文件夹，将网站静态资源，上传到该目录 删除正在运行的容器 docker rm $(docker stop $(docker ps -a -q)) 以数据卷的方式，创建3个tomcat容器，tomcat-8080,tomcat-8081,tomcat-8 ......
职业规划～高级大数据工程师篇
新开分类，增加职业规划随想，用于记录自己对于以后的职业畅想。 畅想自己在2019-2023年这4年期间，自己从基础的平台开发运营， 到各种开源组件的学习应用，再到一个CRUD的大数据工程师。自己一路走来，更多是像一名技师，孰能生巧，唯手熟尔。 如今开一博客，记录日常解决问题，新技术探索学习。 也探讨 ......
分布式id
# 自增id b + 树节点是有序的，所以id最好也是有序的，这样存储数据效率高一点，如果不是递增的，那讲数据存储到数据库中效率较低，还得找树的值，递增的话直接按id插入到树中即可，而乱序则还得找相应的位置才能进行插入。 - 趋势递增：总体来看顺序是递增的。 - 单调递增：下一个一定比上一个大。 - ......
基于面向对象的数据封装
# 基于面向对象的数据封装 [toc] ## 1 基于面向对象的数据封装优点 - 将属性和方法放到一起做为一个整体，然后通过实例化对象来处理； - 隐藏内部实现细节，只需要和对象及其属性和方法交互就可以了； - 对类的属性和方法增加 访问权限控制。 ## 2 示例 ```python class B ......