数据 持久性 数据备份 分布式
数据结构学习记录（二）
# 树 ## 一、知识要点 #### 1、==树的定义、表示和术语== - **定义** - 树（Tree）是n个节点构成的有限集合。当n = 0时，称为**空树**；对于任一颗非空树（n > 0），它具备以下性质： - 树中有一个称为**树根（Root）**的特殊节点，用r表示。 - 树根下的任何 ......
3数据库分区分表分库
分区、分表、分库 分区由数据库系统来分 将一张表拆分多个文件存储在多个物理文件里 分表：是将总表分成多个独立的表格 与分区的差别是分成多个表 但是不利于分布式 分库： 都有利于提升性能 分区 分表 共性 都针对数据表 都使用了分布式存储 都提升了查询效率 都降低数据库的频繁I /O 压力值 差异 逻 ......
三维模型OBJ格式轻量化的数据压缩与性能平衡分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
2数据库索引视图
索引：提升查询效率，降低添加、修改、删除效率，采用B树、B+树等 对某一列进行索引就是使其可以用二分法进行查找， B树 B+树是从二分法演变而来的 对列进行索引，会降低添加、修改、删除的效率。 视图并不在数据库中实际存在，而是一种虚拟表 优点： 简化用户用户的操作 视图机制可以使用户以不同的方式查询 ......
Mybatis配置搞定数据加密解密
由于我们系统中使用了Mybatis作为数据库持久层，因此决定使用Mybatis的TypeHandler或Plugin来解决。 TypeHandler : 需要我们在某些列上手动指定 typeHandler 来选择使用那个typeHandler或者根据@MappedJdbcTypes 和 @Mappe ......
1数据库设计过程
需求分析：数据流图、数据字典、需求说明书 概念结构设计：ER图（在软件设计过程中，ER模型在需求阶段的需求建模） 逻辑结构设计：关系模式，转换规则、规范化理论 物理设计： 规范化与反规范化 1NF：属性值都是不可分的原子 2NF：消除非主属性对候选键的部分依赖 3NF：消除非主属性对候选键的传递依赖 ......
Java 几个基本数据类型长度
对 Java 来说，我们通常会有下面几个基本数据类型。 需要了解的一个定义是，一个字节（byte） 是 8 位（Bit）。 针对 Java 的所有数据类型，最小的是 1 个字节，最多的是 8 个字节 数据长度对照表 下面是 Java 数据长度使用的对照表。 类型长度（位）长度（字节）范围 byte（ ......
新增数据
在进行数据分析时，经常需要根据一定条件创建新的数据列，然后及逆行进一步分析 1. 直接赋值 2. df.apply方法 3. df.assign方法 4. 按条件选择分组分别赋值 import pandas as pd df=pd.read_excel("./weater_beijing.xlsx" ......
数据统计函数
pandas数据统计函数 1. 汇总类统计 2. 唯一去重和按值计数 3. 相关系数和协方差 import pandas as pd df=pd.read_excel('weater_beijing.xlsx') df.head(3) 日期 最高温 最低温 天气 风力风向 空气质量指数 0 2011 ......
查询数据
pandas查询数据的几种方法 1. df.loc方法，根据行、列的标签值查询 2. df.iloc方法，根据行、列的数字位置查询 3. df.where方法 4. df.query方法 .loc既能查询，又能覆盖写入，强烈推荐 pandas使用df.loc查询数据的方法 1. 使用单个label值 ......
记一次eclipse导入的JavaEE项目无法连接数据库的排查
## 1、问题描述 - Eclipse导入了一个JavaEE项目 - 在虚拟机环境中新建了一个数据库 - 数据库可以使用本地客户端工具正常连接 - 导入的JavaEE项目修改了数据源配置无法启动 - 相同的数据源配置通过在Idea新建的测试项目可以访问 > 具体报错如下： ``` java.sql. ......
Python信贷风控模型：Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付|附代码数据
全文链接：http://tecdat.cn/?p=26184 最近我们被客户要求撰写关于信贷风控模型的研究报告，包括一些图形和统计输出。 在此数据集中，我们必须预测信贷的违约支付，并找出哪些变量是违约支付的最强预测因子？以及不同人口统计学变量的类别，拖欠还款的概率如何变化？ 有25个变量： ID： ......
R语言STAN贝叶斯线性回归模型分析气候变化影响北半球海冰范围和可视化检查模型收敛性|附代码数据
原文链接：http://tecdat.cn/?p=24334 最近我们被客户要求撰写关于贝叶斯线性回归的研究报告，包括一些图形和统计输出。 像任何统计建模一样，贝叶斯建模可能需要为你的研究问题设计合适的模型，然后开发该模型，使其符合你的数据假设并运行 1. 了解 Stan 统计模型可以在R或其他统计 ......
【视频】R语言生存分析原理与晚期肺癌患者分析案例|数据分享|附代码数据
原文链接：http://tecdat.cn/?p=10278 最近我们被客户要求撰写关于生存分析的研究报告，包括一些图形和统计输出。 生存分析（也称为工程中的可靠性分析）的目标是在协变量和事件时间之间建立联系 生存分析的名称源于临床研究，其中预测死亡时间，即生存，通常是主要目标。 视频：R语言生存分 ......
大数据时代
什么叫大数据：很大的数据？no 专业名词5v: volume:数据体量大（采集量，存储量，计算量，tb，PB级别起步） variety:种类来源多样化 value：低价值密度（信息海量但价值密度低，深度复杂的挖掘分析需要机器学习的参与） velocity：速度快（增长速度快，获取速度快，处理速度快） ......
Python时间序列分析苹果股票数据：分解、平稳性检验、滤波器、滑动窗口平滑、移动平均、可视化
全文链接：https://tecdat.cn/?p=33550 原文出处：拓端数据部落公众号 什么是时间序列？ 时间序列是一系列按时间顺序排列的观测数据。数据序列可以是等间隔的，具有特定频率，也可以是不规则间隔的，比如电话通话记录。 在进行投资和交易研究时，对于时间序列数据及其操作要有专业的理解。本 ......
数据分析与企业数据分析方向
数据是指对客观事物进行记录并可以鉴别的符号，是对客观事物性质，转台以及相互关系等进行记载的物理符号，不仅仅指的是狭义上的数字，还可以是具有一定意义的文字字母等等。 数据必须同过观察事物的计量和统计 需要数据的原因：把隐藏在数据背后的信息集中和提炼出来，总结处内在规律。 数据分析在企业日常经营分析中主 ......
分布式锁
## 1.是什么 一个方法或属性在高并发情况下的同一时间只能被同一个线程执行，在传统单体应用单机部署的情况下，可以使用并发处理相关的功能进行互斥控制。但是，随着业务发展的需要，原单体单机部署的系统被演化成分布式集群系统后，由于分布式系统多线程、多进程并且分布在不同机器上，这将使原单机部署情况下的并发 ......
14.MySQL数据库设计详解
MySQL数据库设计需要根据具体的业务需求和数据模型来制定，以下是一个示例数据库设计，包括创建表、定义索引、外键关系和示例数据插入的MySQL代码。这个示例涵盖了一个简单的电子商务系统，包括用户、产品和订单数据。 ```sql -- 创建用户表 CREATE TABLE users ( user_i ......
[Java/数据库] UUID
# 1 UUID 概述 ## 1.1 UUID的定义 + `UUID`（`Universally Unique IDentifier`）**全局唯一标识符**，用于标识信息元素，是指在一台机器上生成的数字，它保证对在**同一时空**中的所有机器都是唯一的。 > 通常平台会提供生成的API。按照开发软 ......
13.mysql数据修改操作
以下是一些 MySQL 数据修改操作示例，包括单表查询和多表查询，以及相应的示例数据表。 **单表修改操作：** 假设我们有一个名为 `employees` 的表，用于存储员工信息： ```sql CREATE TABLE employees ( employee_id INT PRIMARY KE ......
Redis持久化(备份)
Redis持久化分为两种ROB/AOF ROB：运用的快照的原理，默认开启， 备份条件：时间线/数量线（60 ：10000） ①时间到达60秒，检测访问数量是否达到10000，如果达到进行备份操作，如果没到达(哪怕是9999)继续计时，直至达到下一个约定条件 ②访问数量达到10000，查看时间是否达 ......
MySQL数据库
一、SQL 1. 简介 SQL （Structured Query Language）结构化查询语言； 它是一种数据库查询和程序设计语言，同时也是目前使用最广泛的关系型数据库操作语言。 2. 分类 2.1 DQL(Data Query Language) 数据查询语言 DQL主要用于数据的查询，其基 ......
xpath数据解析
xpath ：最常用且最高效便捷的一种解析方式。语言通用性。数据解析需求首选XPath 解析。 path 解析原理 1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中 2.调用etree对象的xpath方法结合着xpath表达式实现实现标签的定位和内容的捕获。 一.环境的安装 ......
Redis持久化
## 1.描述 redis的持久化是为了避免进程突然退出导致数据永久丢失，需要将redis中的数据以某种形式从内存保存到硬盘中。当redis再次重启时，通过这些redis持久化文件对进程结束之前的数据进行数据恢复。 redis持久化的方式有RDB持久化和AOF持久化两种。**RDB持久化是通过将数据 ......
Navicat里面数据库进行加密操作
# 1、新建查询 在里面将password字段使用md5函数进行加密： ``` update re set password=MD5(password) ```  是在 Redis Enterprise 内部运行的工具，它可以帮助用户近乎实时地将数据从现有关系数据库同步到 Redis，以便应用程序的读取查询完全从关系数据库转移到 Redis。Redis 数据集成(RDI)无需代码即可实现过滤和数据转换，将开发人员从编码和集成工作... ......