数据库 笔记 数据mysql

百万级数据excel导出功能如何实现

百万级数据excel导出功能如何实现? 前言 最近我做过一个MySQL百万级别数据的excel导出功能,已经正常上线使用了。 这个功能挺有意思的,里面需要注意的细节还真不少,现在拿出来跟大家分享一下,希望对你会有所帮助。 原始需求:用户在UI界面上点击全部导出按钮,就能导出所有商品数据。 咋一看,这 ......
功能 数据 excel

shp数据插入sde连接的PostgreSQL库(二)---利用GeoTools读取shp数据并插入到空间数据库表中

前言 上一篇介绍了如何利用Maven构建GeoTools,这一节将介绍下一步内容,如何读取shp文件里面的信息并插入到SDE连接的PostgresSQL现有表中。 背景 从搭建环境到实现上述功能,大概用了7个工作日,从4月25日开始的,中间有个五一假期。公司的后端都不愿意接这活,只能自己上了。目前已 ......
数据 PostgreSQL shp GeoTools 数据库

postgresql数据预热

test=# select * from pg_available_extensions where name like '%prewarm%' order by name; name | default_version | installed_version | comment + + + sys ......
postgresql 数据

实验二 电子公文传输系统安全--读书笔记

实验二 电子公文传输系统安全--读书笔记 一、《Core.Software.Security.Security.at.the.Source.CN.软件安全.从源头开始》 安全开发生命周期 最著名的SDL模型是可信计算安全开发生命周期,受欢迎的SDL模型有微软的SDL、Cigital的软件安全触点模型 ......
传输系统 公文 笔记 系统 电子

【pandas基础】--核心数据结构

pandas中用来承载数据的两个最重要的结构分别是: Series:相当于增强版的一维数组 DataFrame:相当于增强版的二维数组 pandas最大的优势在于处理表格类数据,如果数据维度超过二维,一般我们会使用另一个 python的库 numpy。 本篇主要介绍这两种核心数据结构的创建方式。 1 ......
数据结构 核心 结构 基础 数据

读书笔记

《Core.Software.Security.Security.at.the.Source.CN.软件安全.从源头开始》 第一章 引论 软件安全的重要性和相关性 软件是我们在现实世界中做任何事情的关键,同时,软件也分布在最关键的系统中,基于此,软件的安全设计是直观重要的。为了证明一个软件安全程序的 ......
笔记

特性介绍 | MySQL 测试框架 MTR 系列教程(二):进阶篇 - 内存/线程/代码覆盖率/单元/压力测试

以前对 MySQL 测试框架 MTR 的使用,主要集中于 SQL 正确性验证。近期由于工作需要,深入了解了 MTR 的方方面面,发现 MTR 的能力不仅限于此,还支持单元测试、压力测试、代码覆盖率测试、内存错误检测、线程竞争与死锁等功能,因此,本着分享的精神,将其总结成一个系列。 主要内容如下: ... ......
覆盖率 线程 框架 单元 特性

【自学笔记】贪婪算法解决时间安排问题(入门)

【自学笔记】贪婪算法解决时间安排问题(入门) 【前言】 笔者这几天在受学校Prolog作业折磨,在查找解决方案的时候发现了贪婪算法(Greedy Algorithm),大喜,遂尝试格物致知。本文会引用一道贪婪算法的经典例题,尝试让笔者这样的纯小白也能理解这种算法,走入精彩的“贪婪之门”。贪婪算法的教 ......
算法 时间 笔记 问题

第2章-数据的表示和运算

2.3 浮点数的表示和运算 1.浮点数尾数的表示 1.阶码(E): 反映数值大小; 反映浮点数的表示范围及小数点的实际位置; 常用补码或移码表示的定点整数; 2.尾数(M): 反映精度;常用原码或补码表示的定点小数 浮点数的真值:N=R^E×M,阶码的底(称为基数)R通常为2 例:若阶码和尾数均用补 ......
数据

【大数据】Hive Join 的原理与机制

一、概述 Hive是一个基于Hadoop的数据仓库解决方案,它提供了类似于SQL的查询语言,称为HiveQL,用于处理结构化数据。在Hive中,JOIN操作用于将两个或多个表中的数据连接在一起,以便进行联合查询和分析。 Hive 中 的 Join 可分为 Common Join(Reduce阶段完成 ......
原理 机制 数据 Hive Join

MySQL教程

创建数据库 数据库创建指令 CREATE DATABASE db01; 创建好数据库db01后,视图中就会成功显示刚刚建好的数据库了 数据库删除指令 DROP DATABASE db01; ......
教程 MySQL

Vulkan学习笔记之开发环境搭建

一、概述 最近因为工作需要开始学习Vulkan的相关知识,作为初学者,发现相对较好的学习资料莫过于vulkan-tutorial,在自己学习Vulkan的过程中,决定将自己的理解记录下来,一是为了加深记忆,二是为了分享给大家一起探讨学习,因此有了本系列文章,开发环境搭建是本系列文章的第一篇。 二、开 ......
环境 笔记 Vulkan

找数据

1.国家数据:data.stats.gov.cn,包含了我国经济民生等多个方面的数据,并且在月度、季度、年度都有覆盖,很权威很全面。2.CEIC:www.ceicdata.com,涵盖20个主要行业以及18个主要宏观经济方面的数据库,能够精确查找多个国家和地区的GDP、CPI、进口、出口、外资直接投 ......
数据

保护企业数据免受勒索病毒威胁:深入分析.eking勒索病毒

​ 引言: 在当今数字化时代,勒索病毒已经成为网络安全领域的一大威胁。.eking勒索病毒是近期备受关注的一种恶意软件,它会加密用户的重要数据文件,并要求支付赎金以解密这些文件。91数据恢复研究院在本文将探讨.[back23@vpn.tg].eking勒索病毒、.[newfact@rape.lol] ......
病毒 数据 eking 企业

存储双活同步导致数据库异常恢复---惜分飞

联系:手机/微信(+86 17813235971) QQ(107644445) 标题:存储双活同步导致数据库异常恢复 作者:惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.] 客户双活存储异常之后,单个存储运行,故障存储修复之后,双活同步,出现多套系统异常,上一篇 ......
数据库 数据

数据内置方法

引子 数据类型是用来记录事物状态的,而事物的状态是不断变化的(如:一个人年龄的增长(操作int类型) ,单个人名的修改(操作str类型),学生列表中增加学生(操作list类型)等),这意味着我们在开发程序时需要频繁对数据进行操作,为了提升我们的开发效率, python针对这些常用的操作,为每一种数据 ......
方法 数据

OpenGL学习笔记-2:基于GLFW在windows系统下创建一个OpenGL窗口

一、打开VS新建一个空工程 二、引入GLFW库 头文件: glfw3native.h glfw3.h 库文件:glfw3.lib 三、引入GLEW库 头文件:glew.h 库文件:glew32s.lib 四、要引入 opengl32.lib 库 否则VS工程会报错: 1>glew32s.lib(gl ......
OpenGL windows 笔记 系统 GLFW

OpenGL学习笔记-1:菜鸟入门基础

一、什么是OpenGL? OpenGL是我们用来操作图形图片等所使用的API,但是其本身并不是API,而是Khronos Group开发维护的一个规范。Opengl定义了每个函数的入参和出参,具体实现的细节大多数是由显卡厂商完成。 二、OpenGL的两种模式 OpenGL有两种模式: (1)imme ......
基础 笔记 OpenGL

数据类型及常用方法

引入 我们学习变量是为了让计算机能够像人一样去记忆事物的某种状态,而变量的值就是用来存储事物状态的,很明显事物的状态分成不同种类的(比如人的年龄,身高,职位,工资等等),所以变量值也应该有不同的类型,例如 salary = 3.1 # 用浮点型去记录薪资 age = 18 # 用整型去记录年龄 na ......
常用 类型 方法 数据

(数据科学学习手札152)geopandas 0.13版本更新内容一览

本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师,昨天晚上geopandas正式发布了其0.13.0版本,距离其上一个版本更新已经过去了5个多月,在这一次更新中除了日常的bug修复 ......
手札 一览 geopandas 版本 科学

Window修改:MySQL端口 5.7 亲测

1、版本 MySQL:5.7.19 2、操作 2.1、查看:原始端口 【登录后】查看端口: show global variables like 'port'; 2.2、修改 .ini文件 port:3308 2.3、重启服务 2.4、查看:新端口 1、CMD输入登录命令 mysql -h loca ......
端口 Window MySQL 5.7

pytest fixture:向fixture传递数据

#1 利用request向fixture传递数据 conftest.py test_fixture.py 执行 request是pytest自带的一个fixture,利用它可以得到test函数的上下文文信息 request.module module 是其属性,属性还有node function c ......
fixture 数据 pytest

数据库系统概论—安全、完整性

数据库系统概论—基础篇(3) 三.数据库安全性 1.数据库安全性概述 数据库的安全性指保护数据库以防不合法使用所造成的数据泄露、更改或破坏 2.数据库安全性控制 2.1用户身份鉴别 静态口令鉴别 动态口令鉴别 生物鉴别特征 智能卡鉴别 2.2存取控制 自主存取控制:给用户限权(DAC,C1级) 强制 ......
概论 完整性 数据库 数据 系统

post提交中文数据出现乱码问题

POST发送参数 发送请求与参数: 接收参数: 和GET一致,不用做任何修改 @Controllerpublic class UserController {​ @RequestMapping("/commonParam") @ResponseBody public String commonPar ......
乱码 数据 问题 post

.NET 6学习笔记(8)生成自签证书

上一篇我们通过导出IIS Express的自签证书,供ASP.NET Core程序启用HTTPS。本篇我们讨论如何生成自签证书。自签证书的生成,有多种方式。比如OpenSSL或PowerShell都可以通过命令生成证书。对于.NET程序,也有System.Security.Cryptography. ......
签证 笔记 NET

DC-1 find提权/sql数据库创建用户(个人笔记)

进入数据库select * from users\G; \G为了让界面看着更整洁 在exploitdb中有一个针对Drupal 7版本的攻击脚本,可以增加一个admin权限的用户账号: 终端/msf输入:searchsploit drupal python2 /usr/share/exploitdb ......
数据库 笔记 数据 用户 个人

Spring复习笔记

Spring架构 核心概念 IOC & DI IOC DI bean bean的实例化 ......
笔记 Spring

阅读笔记:Merak 大模型并行训练系统

本篇为Merak: An Efficient Distributed DNN Training Framework With Automated 3D Parallelism for Giant Foundation Models论文的阅读笔记 ......
模型 笔记 系统 Merak

mall学习笔记(2)

1. Spring注解:代替xml配置文件 2. @Autowired:修饰成员变量进行依赖注入 Could not autowire. No beans of ‘xxx” type found(三种方法) 3. mybatis examle类:进行sql查询等操作 4. swagger使用 配置S ......
笔记 mall

Python数据分析与挖掘实战笔记

(声明:这些代码只是看书的时候跟着敲一敲,留个印象,为的是以后用到有个方便快速查找看个思路,并没有真正运行。) 数据挖掘建模过程 数据挖掘建模过程: 定义挖掘目标:明确挖掘目标,弄清用户需求。 数据采样: 采样标准(相关性、可靠性、有效性) 采样方法:随机、分层、等距 数据探索:进行探索、审核和加工 ......
数据分析 实战 笔记 数据 Python