数据 持久性 数据备份 分布式
linux 内核空间内存分布
虚拟地址空间划分 linux通过宏“PAGE_OFFSET”将4GB的虚拟地址空间（32bit平台）划分成内核地址空间和进程地址空间两部分。“PAGE_OFFSET”的值支持通过Kconfig配置，其默认的值是“0xC0000000”。下面以经典的“PAGE_OFFSET=0xC0000000”来看 ......
【pandas基础】--核心数据结构
pandas中用来承载数据的两个最重要的结构分别是： Series：相当于增强版的一维数组 DataFrame：相当于增强版的二维数组 pandas最大的优势在于处理表格类数据，如果数据维度超过二维，一般我们会使用另一个 python的库 numpy。 本篇主要介绍这两种核心数据结构的创建方式。 1 ......
第2章-数据的表示和运算
2.3 浮点数的表示和运算 1.浮点数尾数的表示 1.阶码（E）： 反映数值大小； 反映浮点数的表示范围及小数点的实际位置； 常用补码或移码表示的定点整数； 2.尾数(M)： 反映精度；常用原码或补码表示的定点小数 浮点数的真值：N=R^E×M，阶码的底（称为基数）R通常为2 例：若阶码和尾数均用补 ......
【大数据】Hive Join 的原理与机制
一、概述 Hive是一个基于Hadoop的数据仓库解决方案，它提供了类似于SQL的查询语言，称为HiveQL，用于处理结构化数据。在Hive中，JOIN操作用于将两个或多个表中的数据连接在一起，以便进行联合查询和分析。 Hive 中 的 Join 可分为 Common Join（Reduce阶段完成 ......
找数据
1.国家数据：data.stats.gov.cn，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，很权威很全面。2.CEIC：www.ceicdata.com，涵盖20个主要行业以及18个主要宏观经济方面的数据库，能够精确查找多个国家和地区的GDP、CPI、进口、出口、外资直接投 ......
保护企业数据免受勒索病毒威胁：深入分析.eking勒索病毒
引言： 在当今数字化时代，勒索病毒已经成为网络安全领域的一大威胁。.eking勒索病毒是近期备受关注的一种恶意软件，它会加密用户的重要数据文件，并要求支付赎金以解密这些文件。91数据恢复研究院在本文将探讨.[back23@vpn.tg].eking勒索病毒、.[newfact@rape.lol] ......
存储双活同步导致数据库异常恢复---惜分飞
联系：手机/微信(+86 17813235971) QQ(107644445) 标题：存储双活同步导致数据库异常恢复 作者：惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.] 客户双活存储异常之后,单个存储运行,故障存储修复之后,双活同步,出现多套系统异常,上一篇 ......
数据内置方法
引子 数据类型是用来记录事物状态的，而事物的状态是不断变化的(如:一个人年龄的增长（操作int类型） ，单个人名的修改（操作str类型），学生列表中增加学生（操作list类型）等)，这意味着我们在开发程序时需要频繁对数据进行操作，为了提升我们的开发效率， python针对这些常用的操作，为每一种数据 ......
数据类型及常用方法
引入 我们学习变量是为了让计算机能够像人一样去记忆事物的某种状态，而变量的值就是用来存储事物状态的，很明显事物的状态分成不同种类的（比如人的年龄，身高，职位，工资等等），所以变量值也应该有不同的类型，例如 salary = 3.1 # 用浮点型去记录薪资 age = 18 # 用整型去记录年龄 na ......
（数据科学学习手札152）geopandas 0.13版本更新内容一览
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，昨天晚上geopandas正式发布了其0.13.0版本，距离其上一个版本更新已经过去了5个多月，在这一次更新中除了日常的bug修复 ......
pytest fixture:向fixture传递数据
#1 利用request向fixture传递数据 conftest.py test_fixture.py 执行 request是pytest自带的一个fixture,利用它可以得到test函数的上下文文信息 request.module module 是其属性，属性还有node function c ......
数据库系统概论—安全、完整性
数据库系统概论—基础篇(3) 三.数据库安全性 1.数据库安全性概述 数据库的安全性指保护数据库以防不合法使用所造成的数据泄露、更改或破坏 2.数据库安全性控制 2.1用户身份鉴别 静态口令鉴别 动态口令鉴别 生物鉴别特征 智能卡鉴别 2.2存取控制 自主存取控制：给用户限权(DAC，C1级) 强制 ......
post提交中文数据出现乱码问题
POST发送参数 发送请求与参数: 接收参数： 和GET一致，不用做任何修改 @Controllerpublic class UserController { @RequestMapping("/commonParam") @ResponseBody public String commonPar ......
DC-1 find提权/sql数据库创建用户（个人笔记）
进入数据库select * from users\G; \G为了让界面看着更整洁 在exploitdb中有一个针对Drupal 7版本的攻击脚本，可以增加一个admin权限的用户账号： 终端/msf输入：searchsploit drupal python2 /usr/share/exploitdb ......
分布式ID生成策略
在分布式系统中，肯定避免不了获取全局唯一ID，用于业务主键，本节主要学习分布式ID常用的生成方法。 一、UUID UUID (Universally Unique Identifier)，通用唯一识别码。UUID是基于当前时间、计数器（counter）和硬件标识（通常为无线网卡的MAC地址）等数据计 ......
Python数据分析与挖掘实战笔记
（声明：这些代码只是看书的时候跟着敲一敲，留个印象，为的是以后用到有个方便快速查找看个思路，并没有真正运行。） 数据挖掘建模过程 数据挖掘建模过程： 定义挖掘目标：明确挖掘目标，弄清用户需求。 数据采样： 采样标准（相关性、可靠性、有效性） 采样方法：随机、分层、等距 数据探索：进行探索、审核和加工 ......
第10章：10W QPS真刀实操__以及基于ZK+Netty手写分布式测试工具 177手机路人甲账号 主目录 暂时没用(新买云主机安装一些基础组件)
10W QPS真刀实操__以及基于ZK+Netty手写 分布式测试工具 参考链接 系统架构知识图谱（一张价值10w的系统架构知识图谱） https://www.processon.com/view/link/60fb9421637689719d246739 秒杀系统的架构 https://www.p ......
Grafana 系列-统一展示-2-Prometheus 数据源
系列文章 Grafana 系列文章 Grafana Prometheus 数据源 Grafana 提供了对 Prometheus 的内置支持。本文会介绍 Grafana Prometheus（也包括 Prometheus 的兼容实现，如 Thanos, Mimir 等） 数据源的部分选项、变量 (V ......
3032ICT 大数据分析
3032ICT / 7230ICT / 1117ICTBig Data Analytics and Social Media Assignment Specifications Instructions Structure: This assignment is broken up into two ......
HaoSQL-数据库开发环境合集
开发的时候，常常需要数据库环境。配置起来有时候其实挺麻烦的，所以这里找到了HaoSQL,非常适合在windows环境上开发使用。 包含的数据库： MySQL Pg MSSQL MariaDB Monogodb 链接地址： https://cloud.189.cn/web/share?code=MRN ......
Django笔记三十七之多数据库操作(补充版)
本文首发于公众号：Hunter后端 原文链接：Django笔记三十七之多数据库操作(补充版) 这一篇笔记介绍一下 Django 里使用多数据库操作。 在第二十二篇笔记中只介绍了多数据库的定义、同步命令和使用方式，这一篇笔记作为补充详细介绍如何对 Django 系统的多个数据库进行针对的建表同步操作。 ......
腾讯丢失用户数据
2018年8月腾讯云丢失用户数据 腾讯云故障致一客户数据丢失被索赔千万，拒“引流补偿”提议 北京清博数控是一家以“前沿数控技术”为名的微信公众号起家的公司，定位于数控、模具、机械行业，垂直行业精准粉丝突破了40万人。为应对流量迅速增加以及安全可靠的需求，前沿数控选择使用腾讯云服务器。 8月6日，腾讯 ......
PG数据库生态选型思路与最佳实践
PG数据库生态选型思路与最佳实践 2021-03-29 1157举报 简介： PG数据库生态选型思路与最佳实践 内容简要： 1. 数据库发展的趋势 2. 传统企业级数据库选型 3. 数据库迁移的最佳实践 4. 数据库迁移至PG整体解决方案 第一部分--数据库的发展趋势 数据库是IT信息技术最基础的一 ......
备份还原ETCD
ETCD定期备份 1、查看ETCD状态 ETCDCTL_API=3 /opt/etcd/bin/etcdctl \--cacert=/opt/etcd/ssl/ca.pem \--cert=/opt/etcd/ssl/server.pem \--key=/opt/etcd/ssl/server-ke ......
SpringCloud gateway 元数据，超时，Netty Access Logs
###元数据 spring: cloud: gateway: routes: - id: route_with_metadata uri: https://example.org metadata: optionName: "OptionValue" compositeObject: name: " ......
COMP4038 数据结构
COMP4038 Coursework 2 Tips v2023-05-02A good conceptual model structure for the report looks like this: Brief problem statement Objectives, including ......
创建数据库及表
CREATE DATABASE IF NOT EXISTS `yygh_cmn` CHARACTER SET utf8; USE `yygh_cmn`; # # Structure for table "dict" # CREATE TABLE `dict` ( `id` bigint(20) NO ......
redis分布式锁
分布式锁是可以跨越多个实例，多个进程的锁。 一个tomcat实例是一个JVM进程，单体锁（synchronized、ReentrantLock)是JVM层面的锁，只能控制单个实例上的并发访问安全，多实例下依然存在数据一致性问题。 分布式锁：所有实例的所有线程都去获取同一把锁，但只有一个线程可以成功的 ......
MySQL数据优化
select * from student; delete from student; SELECT COUNT(1) from student; SELECT * FROM `student` LIMIT 10000, 10 -- 0.674s-- 0.033s-- 0.031s SELECT * ......
1 数据分析引言 分解数据
数据分析 所有的数据分析师最终都会被打造成能作出更好决策的人才，你要学的就是在浩如烟海的数据中洞察先机，作出更好决策。 客户将帮助你确定问题 客户是分析结果的服务对象; 客户将根据你的分析作决策; 你需要尽量从他那里多了解一些信息，才能确定问题; 你的客户可能： 相当了解或不甚了解自己的数据 相当了 ......