数据处理 字符串 脚本 字符
MJ和网络数据批量重命名
import osimport openpyxlimport reUNWANTED_UNITS = ["undefined", "皮皮", "zly324"]# 第一步：删名称def rename_files(path): files = [f for f in os.listdir(path) i ......
数据库相关概念
数据库系统相关概念 数据库优点 数据持久性（Data Persistence）： 数据库系统可以将数据永久存储在磁盘上，即使系统关闭或断电，数据也不会丢失。 数据共享和多用户访问（Data Sharing and Multi-User Access）： 多个用户可以同时访问数据库，而不会发生冲突，这 ......
如何保持数据一致性
如何保持数据一致性 数据库和缓存（比如：redis）双写数据一致性问题，是一个跟开发语言无关的公共问题。尤其在高并发的场景下，这个问题变得更加严重。 以下是我无意间了解很好的文章，分享给大家。 1. 常见方案 通常情况下，我们使用缓存的主要目的是为了提升查询的性能。大多数情况下，我们是这样使用缓存的 ......
数据库基本概念
数据库基本概念 记录 (record) 码/键 (keys) 索引 (indexes) 一致性 (consistency) 规范化 (normalization) 外码/关键字 (foreign keys) 联系 (relationships) 基数 (cardinality) 查询语句 查询优化和 ......
DataWhale DAY3 数据类型和操作
DataWhale DAY3 数据类型和操作 写在前面的：python 基本操作统一放在 https://www.cnblogs.com/hewo/p/17635277.html 本文放一些有意思的东西 首先 味大的 python 提供了很是自动的 动态类型。 对象性质 作为一个 面向对象的语言，p ......
基于 KubeSphere 部署 KubeBlocks 实现数据库自由
作者：尹珉， KubeSphere Contributor & Ambassador，KubeSphere 社区用户委员会杭州站站长。 KubeSphere 是什么？ KubeSphere 是在 Kubernetes 之上构建的面向云原生应用的分布式操作系统，完全开源，支持多云与多集群管理，提供全栈 ......
研发日常踩坑-Mysql分页数据重复
写分页查询接口，order by和limit混用的时候，出现了排序的混乱情况 在进行第N页查询时，出现与第一前面页码的数据一样的记录。 ......
数据的新维度：可视化地理信息的时代已来
倾斜摄影与可视化的结合正在改变我们对地理信息的认知方式。它使地理数据更加生动、易于理解，同时为各行各业的专业人员提供了更多可能性。 ......
25 个超棒的 Python 脚本合集
Python是一种功能强大且灵活的编程语言，拥有广泛的应用领域。下面是一个详细介绍25个超棒的Python脚本合集： 1. 网络爬虫：使用Python可以轻松编写网络爬虫，从网页中提取数据并保存为结构化的格式。 2. 数据清洗和预处理：Python提供了许多库和工具，用于数据清洗、去重、填充缺失值和 ......
MySql执行异常处理、MySql事务回滚和提交，判断有异常则回滚。
示例 DELIMITER $$ DROP PROCEDURE IF EXISTS sp_test1 $$ CREATE PROCEDURE sp_test1() top:BEGIN -- 错误标记，当sql执行出错的时候，设置标记等于1。 DECLARE _err INT DEFAULT 0; -- ......
某全球领先的芯片供应商：优化数据跨网交换流程，提高安全管控能力
1、客户介绍 某全球领先的芯片供应商，成立于2005年，总部设于北京，在国内上海、深圳、合肥等地及国外多个国家和地区均设有分支机构和办事处，致力于为客户提供更优质、便捷的服务。 2、建设背景 该公司基于网络安全管理的需求，将内部网络划分为研发网、测试网及非研发网（办公网）三个互相逻辑隔离的网络区域， ......
MyBatis Plus 达梦数据库 分页查询异常问题
MyBatis Plus 达梦数据库 分页查询异常问题 一、问题背景 根据博客《SpringBoot MyBatis Plus 整合 达梦数据库》中提到分页查询问题，如果没有配置 MybatisPlusConfig.java 文件，会出现如下现象： 数据表 PRODUCTION.PRODUCT_CA ......
mysql三种方案优化 2000w 数据大表
摘录自 当我们业务数据库表中的数据越来越多，如果你也和我遇到了以下类似场景，那让我们一起来解决这个问题 数据的插入,查询时长较长 后续业务需求的扩展 在表中新增字段 影响较大 表中的数据并不是所有的都为有效数据 需求只查询时间区间内的 评估表数据体量 我们可以从表容量/磁盘空间/实例容量三方面评估数 ......
循序渐进介绍基于CommunityToolkit.Mvvm 和HandyControl的WPF应用端开发(10) -- 在DataGrid上直接编辑保存数据
有时候，一些数据的录入可能需要使用表格直接录入会显得更加方便快捷，这种情况有时候也是由于客户使用习惯而提出，本篇随笔介绍在WPF应用端上使用DataGrid来直接新增、编辑、保存数据的处理。
录入数据的时候，我们都采用在一个窗体界面中，根据不同内容进行录入，但是有时候涉及主从表的数据录入，从表的数据... ......
使用JDBC操作数据库基本操作步骤
书写jdbc需要四大要素：用户名、密码、URL、驱动 String url = "jdbc:mysql://localhost:3306/test"; String username = "root"; String password = "root"; String driver = "com.m ......
【大数据】Spark部署与启动（文档）
Python 环境准备 Anaconda3： https://pan.baidu.com/s/1e4Wx48RsW0Pm_saotxTW4A?pwd=66ki [root@test1 ~]# cd /export/ [root@test1 export]# rz # 上传源文件包 [root@tes ......
MQ系列16：MQ实现消息过滤处理
MQ系列1：消息中间件执行原理 MQ系列2：消息中间件的技术选型 MQ系列3：RocketMQ 架构分析 MQ系列4：NameServer 原理解析 MQ系列5：RocketMQ消息的发送模式 MQ系列6：消息的消费 MQ系列7：消息通信，追求极致性能 MQ系列8：数据存储，消息队列的高可用保障 M ......
数据库连接池
//开启预编译功能 String url = "jdbc:mysql://127.0.0.1:3306/db1?useSLL=false&useServerPrepStmts = true";盛connection的容器，标准接口:DataSource 1.在lib目录下添加jar包，右击添加为库 ......
将达梦数据库的JDBC驱动包 DmJdbcDriver18.jar 安装到本地 Maven 仓库
将达梦数据库的JDBC驱动包 DmJdbcDriver18.jar 安装到本地 Maven 仓库 一、问题背景 在 博客《SpringBoot MyBatis Plus 整合 达梦数据库》中写道，从 https://eco.dameng.com/download/ 中下载 达梦JDBC 驱动包，如下 ......
numpy的数据类型转换和数组广播
numpy对象的常用属性 第一种方法装好python，然后打开终端输入pip install jupyter（如果觉得速度慢可以加上镜像站 -i https://pypi.douban.com/simple/）,然后再输入pip install notebook (这里和前面一样，觉得慢就加镜像), ......
2023年10月中国数据库排行榜：墨天轮榜单前五开新局，金仓、亚信热度攀升
10月墨天轮中国数据库排行榜解读已发布！榜单前十变化较大、更是两年多来首次迎来新面孔，一起看看更多变化情况与解读！ ......
reids-数据类型
1、String类型操作 SET runoobkey redis GET runoobkey 2、列表 list类型操作 4、hash类型 3、set类型操作 4、有序集合(sorted set) ......
python数据清洗日期格式和ipv4地址格式
清洗日期格式 import re from datetime import datetime # 读取文件 with open('result.txt', 'r') as file: data = file.read() # 使用正则表达式查找日期时间字符串 pattern = r'(\d{2}/[ ......
Sql Server中 Exists 关键字的大数据量性能问题
如果要判断sql语句是否有值， 可能回用到 exists 比如 if exists (Sql语句) -- 业务逻辑代码 若这样判断，当sql语句数据量很大，则判断很慢 ，我测试过 当100w 2 秒,当数据量达到 700w 则要22 秒 ，增加11倍 替代方案，废弃用exists ，直接赋值一个变量 ......
javascript如何写不用转义的字符串代码
js中的String.raw 函数 语法 String.raw`templateStr`; String.raw(obj, ...substitutions); 支持能力有限， 如可以支持 String.raw`c:\aaa\bbb` //result: c:\aaa\bbb 但是 String.r ......
mysql 导入数据
使用navicat 工具(mysql workbench不好用，大文件时打不开，导入数据也慢)，选中数据库，右击选中“运行SQL文件”，找到文件开始执行即可 ......
python脚本中应用多线程和多进程理解
脚本内容 因为要读取mongo某个全表数据（亿级别），有个字段有索引且是一堆多的关系 从其他表读取所有这个字段（十万级别），再读取大表 因为数据量大所以写个测试，从中拿出几条去大表查询（每次读到十万级别数据） 多线程和多进程的影响 不使用多线/进程 file = open('test2.csv', ......
云图说｜交换数据空间Exchange Data Space
交换数据空间EDS是一个数据交换过程中提供安全可控的交换平台，可为企业内外数据交换提供方便、快捷、安全、可控的解决方案，打破数据孤岛，提高企业数据获取和分享的效率。 ......
C# 中的字符串内插 $对比string.Format
原文：https://blog.csdn.net/HeBizhi1997/article/details/123544524 C# 10.0 对字符串插值做了点提升，支持开发人员对字符串进行花式内插。 附官方教程： https://docs.microsoft.com/zh-cn/dotnet/cs ......
数组中的一个值接收到一个字符需要转成int类型处理
例如 定义一个char rxbuff[10]的数组 数组中的一位收到一个字符 rxbuff[2] = 'I' 转成int类型 需要定义 char str[1]; str[0] = rxbuff[2]; str[1] = '\0';//把str转成字符串 atoi(str)；//函数转换 例如 cha ......