万条 过程 数据sql
Redis的数据被删除，占用内存咋还那么大？
通过 CONFIG SET maxmemory 100mb 或者在 redis.conf 配置文件设置 maxmemory 100mb Redis 内存占用限制。当达到内存最大值值，会触发内存淘汰策略删除数据。 除此之外，当 key 达到过期时间，Redis 会有以下两种删除过期数据的策略： 后台定 ......
全自动化数据洞察！数据分布对比可视化！⛵
本文介绍如何使用 Pandas Profiling 的比较报告功能，分析两个数据集的分布差异，完成数据探索分析 (EDA) 的完整流程，为后续分析做准备。 ......
Kubernetes(k8s)存储管理之数据卷volumes(一)：volumes的引入和emptyDir数据卷
一.系统环境 | 服务器版本 | docker软件版本 | Kubernetes(k8s)集群版本 | CPU架构 | | | | | | | CentOS Linux release 7.4.1708 (Core) | Docker version 20.10.12 | v1.21.9 | x86 ......
Window系统的mysql数据库定时备份
原文：Window系统的mysql数据库定时备份 - Stars-One的杂货小窝 最近老大提到了数据库备份的功能，由于服务器是window系统的，所以研究了下备份的方案，特此记录 主要是实现每天定时备份功能，如果还要搞容灾的话，就得对mysql数据库进行主从配置了 cmd命令 核心的cmd命令如下 ......
Python 大数据量文本文件高效解析方案代码实现
大数据量文本文件高效解析方案代码实现 测试环境 Python 3.6.2 Win 10 内存 8G，CPU I5 1.6 GHz 背景描述 这个作品来源于一个日志解析工具的开发，这个开发过程中遇到的一个痛点，就是日志文件多，日志数据量大，解析耗时长。在这种情况下，寻思一种高效解析数据解析方案。 解决 ......
推荐一款 在线+离线数据 同步框架 Dotmim.Sync
移动智能应用可以分为在线模式、纯离线模式与“在线+离线”混合模式。在线模式下系统数据一般存储在服务器端的大中型数据库（如 SQL Server、Oracle、MySQL 等），移动应用依赖于稳定可靠的网络连接；纯离线模式下系统数据一般存储在移动终端的轻量级数据库（如 SQLite等），移动应用不需要 ......
phpMyAdmin给非技术人员一个查阅数据库的窗口
背景 管理数据库的界面工具。 开发团队中一般有非技术背景人员，比如： 产品，功能测试人员； 对他们来说，可能安装数据库管理工具客户端都很麻烦，需要一款在线的网页工具能方便他们查阅数据。 本地docker安装 单库： docker run --name myadmin -d -e PMA_HOST=l ......
想早点下班？试试Aorm库吧，更方便的进行Go数据库操作
使用go进行项目开发，大多数人会使用gorm，但是gorm有一些缺点，我无法接受。于是开发出了aorm，目前能有满足日常开发需求，并且完善了使用文档，希望能够帮助到大家。 ......
Kubernetes(k8s)存储管理之数据卷volumes(五)：动态制备-存储类StorageClass
一.系统环境 | 服务器版本 | docker软件版本 | Kubernetes(k8s)集群版本 | CPU架构 | | | | | | | CentOS Linux release 7.4.1708 (Core) | Docker version 20.10.12 | v1.21.9 | x86 ......
SQL一文入门助记
什么是SQL SQL(Structured Query Language)是用于操作数据库的语言。一个博客有许多网站，一个游戏要储存许多游戏的账号密码，这些都离不开数据库操作。 关系型数据库与NoSQL 关系型数据库就是一个表格，每一个横行就是每一条数据，每一个纵列就是每条数据有哪些信息： |id| ......
如何使用 EF Core 7 批量删除数据
在 EF Core 7 中，我们可以使用批量操作来删除多条数据。这种方式与之前的版本有所不同，本文将对比 EFCore 7 和之前版本批量删除数据的不同方式。 删除给定 ID 的数据 在 EF Core 7 中，我们可以使用以下代码来删除给定 ID 的数据： await using var db = ......
实现 .Net 7 下的数据库定时检查
在软件开发过程中，有时候我们需要定时地检查数据库中的数据，并在发现新增数据时触发一个动作。为了实现这个需求，我们在 .Net 7 下进行一次简单的演示。 PeriodicTimer .Net 6 中新增了 PeriodicTimer 这个类，它可以用来创建一个定时器，以固定间隔的时间调用回调函数。使 ......
ExcelToObject.NPOI 两行代码导出Excel报表、读取Excel数据
简介 作为一个dotnet开发者，经常面对业务系统中大量报表导入导出，经常写了一堆的重复代码。最近发现一个操作excel的神器：ExcelToObject.NPOI，两行代码就能导出一个报表，两行代码就能读取excel数据。就像作者说的：让操作excel变成了操作对象。下面让我们来看看这个组件 项目 ......
从一个 issue 出发，带你玩图数据库 NebulaGraph 内核开发
当一个新手要开始对数据库内核做代码贡献时，他需要做哪些事呢？虽然本文是一个图数据库的内核贡献过程记录，但是举一反三，你可以借鉴来对其他数据库进行内核贡献。 ......
ORM数据增删改查 django请求生命周期 django路由层 反向解析
可视化界面之数据增删改查 补充 在模型类中定义双下str方法可以在数据对象被执行打印操作的时候方便的查看 self应该是字段对象 print(对象)时会触发__str__ 并且这个方法的return一定要返回字符串类型的数据 触发提交动作的按钮： ''' form表单中能够触发提交动作的按钮只有两个 ......
秒级查询之开源分布式SQL查询引擎Presto实操-上
大数据交互式查询是每个数据分析人员不可或缺的需求，本篇以业界交互式查询的经典之作Presto为研究对象，了解其架构和优缺点及丰富连接器。并通过安装一个协调节点和3个worker节点的分布式集群，使用命令行界面演示hive连接器的查询数据表的示例，最后了解其使用的要点。 ......
实时采集MySQL数据之轻量工具Maxwell实操
一个用于企业应用支持实时增量采集和全量采集MySQL数据开源框架Maxwell，功能强于Canal，比Flink CDC更易用。本篇先了解其定义和原理，然后通过安装和环境准备，了解其启动的两种方式，最后实操演示几个maxwell在企业中常用的场景示例。 ......
可视化编排的数据集成和分发开源框架Nifi轻松入门-上
如何你正在为数据采集做技术选型，今天介绍一款功能极其强大性能也高且采用可视化编排的数据集成框架nifi可以列入选型范畴，是数仓开发的强大工具之一，只要使用后就能体会到其丰富的处理器和扩展性。先了解其特性、核心概念和架构，也支持分布式集群，了解常见处理器分类，最后通过源码安装并使用两个简单的处理器演示... ......
Django框架：10、Ajax补充说明、多对多三种创建方法、Django内置序列化组件、批量操作数据方法、分页器思路
Django框架 一、Ajax补充说明 1、针对前端回调函数接受值的说明 主要针对回调函数args接收到的响应数据 1、后端如何判断请求发出方式 关键词：is_ajax() 通过request点的方式可以判断请求是否由Ajax发出 def home(request): print(request.i ......
架构设计（二）：数据库复制
架构设计（二）：数据库复制 作者：Grey 原文地址： 博客园：架构设计（二）：数据库复制 CSDN：架构设计（二）：数据库复制 在架构设计（一）：从单服务器模式到负载均衡设计中提到了数据库类型的选择， 针对大数据量，高可用的场景，数据库复制是一种比较好的方式，其中多个数据库实例之间可以是主/从关系 ......
.Net执行SQL/存储过程之易用轻量工具
支持.Net/.Net Core/.Net Framework，可以部署在Docker, Windows, Linux, Mac。 由于该工具近来被广东省数个公司2B项目采用，且表现稳定，得到良好验证，故在此推荐出来。 此工具在IDataAccess接口中提供。 IDataAccess所在的命名空间 ......
Redis的数据复制
本篇文章介绍了Redis的数据复制1. 完整重同步、2. 部分重同步、3. 命令传播、4. 心跳检测、5. 介绍 偏移量 & 积压缓冲区 & 运行ID ......
Redis的数据持久化
介绍 Redis 的数据持久化方案 Redis 的数据持久化主要有两大机制，AOF 日志和 RDB 快照。 AOF 持久化是通过保存 Redis 服务器所执行的写命令来记录数据库状态。 RDB 持久化是通过保存数据库中的键值对来记录数据库状态。 根据服务器是否启用了 AOF 持久化功能， 服务器载入 ......
MongoDB - 数据模型的设计模式
在实际开发中，大多数性能问题都可以追溯到糟糕的模型设计。官方也提供分享过文档模型设计的进阶技巧，这里简单翻译记录一下。 ......
图解B树及C#实现（2）数据的读取及遍历
前言 本文为系列文章 B树的定义及数据的插入 数据的读取及遍历（本文） 数据的删除 前一篇文章为大家介绍了 B树 的基本概念及其插入算法。本文将基于前一篇的内容，为大家介绍插入到 B树 中的数据该怎么读取及遍历， 本文的代码基于前一篇文章的代码，已经实现的功能可能会被省略，只介绍新增的功能。 在本文 ......
基于.NetCore开发博客项目 StarBlog - (24) 统一接口数据返回格式
前言 开发接口，是给客户端（Web前端、App）用的，前面说的RESTFul，是接口的规范，有了统一的接口风格，客户端开发人员在访问后端功能的时候能更快找到需要的接口，能写出可维护性更高的代码。 而接口的数据返回格式也是接口规范的重要一环，不然一个接口返回JSON，一个返回纯字符串，客户端对接到数据 ......
（数据科学学习手札147）Python GIS利器shapely全新2.0版本一览
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，我写过很多篇介绍geopandas相关技术的文章，而geopandas之所以如此高效易用，成为Python GIS生态中的翘楚，离 ......
深入解读MySQL InnoDB存储引擎Update语句执行过程
参考b站up 戌米的论文笔记 https://www.bilibili.com/video/BV1Tv4y1o7tA/ 书籍《mysql是怎样运行的》 极客时间《mysql实战45讲》 系列文章目录和关于我 一丶Mysql整体架构 MySQL 可以分为 Server 层和存储引擎层两部分 1.Ser ......
快速学会慢查询SQL排查
转载请注明出处❤️ 作者：测试蔡坨坨 原文链接：caituotuo.top/c56bd0c5.html 你好，我是测试蔡坨坨。 在往期文章中，我们聊过数据库基础知识，可参考「数据库基础，看完这篇就够了！」。 学完数据库基础知识，要想更深入地了解数据库，就需要学习数据库进阶知识，今天我们就先来聊一聊慢 ......