数据 持久性 数据备份 分布式
数据分析涉及的标准库及导入形式
import pandas as pd import numpy as np import matplotlib.pyplot as plt import datetime from dateutil.parser import parse import seaborn as sns %matplo ......
redis数据类型及指令
...... 1、list 队列（先进先出） 2、set 无序、两端取值、可遍历 3、zset 有序set、两端取值、可遍历 String常用指令 1、set key value 2、get key 3、mset key1 val1 key2 val2 ..... 4、mget key1 key2 ......
PEMs数据集
交通流量数据PEMs数据集说明 distance_df_filename (str): path of the csv file contains edges information tuple: two adjacency matrix. adj_PEMS07.pkl np.array: conn ......
java接口自动化系列（05）：测试数据注入到测试方法
注入测试数据 这里我们是数据驱动方式，把数据注入到测试方法 上一篇我们已经把用例数据封装到对象并放到list中，这里我们把用例对象list中的对象分别放到Object类型的一维数组中，再把一维数组添加到新对象类型一维数组的list中 然后我们在测方法中打印获取到的用例数据，看获取到的数据对不对 修改 ......
性能测试之Mysql数据库调优
一、前言 性能调优前提：无监控不调优，对于mysql性能的监控前几天有文章提到过，有兴趣的朋友可以去看一下 二、Mysql性能指标及问题分析和定位 1、我们在监控图表中关注的性能指标大概有这么几个：CPU、内存、连接数、io读写时间、io操作时间、慢查询、系统平均负载以及memoryOver 2、介 ......
网络与数据安全领域的框架模型
1.PDR模型 PDR模型是由美国国际互联网安全系统公司（ISS）提出，它是最早体现主动防御思想的一种网络安全模型。 保护（Protection）就是采用一切可能的措施来保护网络、系统以及信息的安全。保护通常采用的技术及方法主要包括加密、认证、访问控制、防火墙以及防病毒等。 检测（Detection ......
6.PG数据库管理
1.PG数据库库属主 PG中的数据库属主属于创建者，只要有cretedb权限就可以创建数据库，数据库属主不一定拥有存放在该数据库中其它用户创建的对象的访问权限。 数据库在创建后，允许public角色连接，即允许任何人连接 数据库在创建后，不允许除了超级用户和owner之外的任何人在数据库中创建sch ......
1982-2022年GIMMIS-NDVI数据获取
1982-2022年GIMMIS-NDVI数据获取方法: https://mp.weixin.qq.com/s?__biz=MzkyNjMzNTQ2Mw==&mid=2247485197&idx=1&sn=9da0449f4dc8241fd40f70ab22dc3f0d&chksm=c239af85 ......
各种分辨率的DEM数据获取
各种分辨率的DEM数据获取方法: https://mp.weixin.qq.com/s?__biz=MzkyNjMzNTQ2Mw==&mid=2247485184&idx=2&sn=f11297321901fe473cd141d40a0877a4&chksm=c239af88f54e269e8e50 ......
Python数据科学手册笔记:IPython
目录Ipython帮助文档用符号?来查来文档用??来获取源代码补全方法利用tab利用*加?来补全Ipython快捷键Ipython魔法命令粘贴代码块执行外部代码计算代码运行时间内存分析魔法函数帮助错误和调试控制异常:%xmode调试模型:%debug输入输出历史禁止输出历史输入Ipython和she ......
tdsql(mysql版)数据库参数修改
首先考虑赤兔管理系统修改参数；如果在赤兔管理系统无法修改参数，则需要修改mysql的参数文件 一、在赤兔管理系统修改参数： 1.在赤兔管理台主界面，单击左侧菜单【实例管理】>单击所需实例 ID>【数据库管理】>【数据库参数】，进入数据库参数子界面。 2.勾选需要更改的参数，并在对应【当前值】下拉框中 ......
【MySQL】SQL通用语法、SQL分类、约束、数据库设计、多表查询、事务
SQL通用语法、SQL分类（DDL：操作数据库、表等；DML：对表中的数据进行增删改；DQL：对表中的数据进行查询；DCL：对数据库进行权限控制）、约束、数据库设计、多表查询、事务 ......
el-upload批量上传，获取第一个数据返回参数并在后面的上传中进行传递；递归
fileChange(file, fileList) { const { raw } = file; if (file.status != 'ready') return; if (file.size / 1024 / 1024 > 100) { this.$message.error('文件大小不 ......
数据类型转换的坑
请求其他服务的接口，返回的数据类型为Map<String, Object> 其中的某个key对应的Object中的类型为Double, 于是在解析时直接用(Double) value进行强制类型转换 然而啊然而 后来被调用服务有所改动，Double类型变为Integer，于是出现强制类型转换错误 为 ......
2024数据治理新工作规划
回望2023年的数据治理工作，更多的事在公司内部满足控股集团对数据合规和安全的要求，我们发布了自己公司的数据分级分类管理办法和数据安全管理办法，那么2024年，我们希望做的就是数据治理工作的落地实现，不仅是为了满足集团对数据合规的要求，也是我们自身存在这些数据方便的痛点，需要合力的改进数据治理工作。 ......
fugue 分布式计算通用接口
fugue提供了通用方便分布式计算的接口，可以高效的访问大数据项目，提供了python，pandas，sql 等模式如下图 从上图可以看出fugue 提供了一个语义层，我们的计算任务可以运行在ray，dask，spark，以及duckdb 中 参考架构 可以看出fugue 提供了不少方便的能力，比如 ......
23.自动化关键数据记录
目录 行为日志 截图 页面源码 行为日志 使用 python 自带的 logging 模块 使用 pytest.ini 配置日志开关与格式 参考链接 [pytest] ;日志开关 true false log_cli = true ;日志级别 log_cli_level = info ;打印详细日志 ......
MySQL数据库
MySQL数据库 基本概念 数据库体系 分两类：关系型数据库SQL 非关系型数据库NOSQL 关系型数据库：典型代表 MySQL MariaDB , PostgreSQL（pgdb) , Oracle SQL server , DB2 信创 国产数据库：阿里云 RDB ，华为 高斯 ，阿里 Ocea ......
初始MySQL数据库
MySQL的安装 在官网中下载MySQL的安装包到opt目录下 yum安装依赖环境 `yum -y install gcc gcc-c++ ncurses ncurses-devel bison cmake openssl-devel` 使用tar命令解压MySQL安装包 useradd命令创建my ......
PLC与上位机传递数据
1、我这里使用的是HslCommunication 假如传递的是word类型，PLC以16进制封装数组，它有预留，我扩充 PLC博图上是 word[5] 上位机接收 ushort[] Data1=new ushort[5] Data1[0] = byteTransform.TransUInt16(r ......
Python+Selenium框架实战系列003----测试数据分离与ddt技术&断言
一、测试数据分离 1、新建testData文件夹，新建login_data.py文件，如下所示： 2、在login_datas.py文件中存放测试用例数据，如下所示： # 正常场景 success_data = {"mobile": "17839196010", "pwd": "duhui94619 ......
java接口自动化测试实战002----测试数据封装及ExcelUtil优化
一、利用testNG测试框架进行封装 1、封装实现 新建测试类，类中新增多个方法，每个方法存储一条测试数据并调用HttpUtl类中的doGet或doPost方法。缺点：代码复杂、繁琐，且不适用测试数据量大的情况。 2、封装步骤 （1）maven的pom.xml文件中添加testNG测试框架的依赖，如 ......
java接口自动化测试实战003----fastjson处理传入参数为JSON格式数据
一、fastjson概述 1、概述 fastjson是阿里爸爸开发的一款专门用于Java开发的包，可以方便的实现json对象与JavaBean对象的转换，实现JavaBean对象与json字符串的转换，实现json对象与json字符串的转换。 2、常用API fastjson API 入口类是com ......
R语言k-means聚类、层次聚类、主成分（PCA）降维及可视化分析鸢尾花iris数据集|附代码数据
原文链接：http://tecdat.cn/?p=22838 最近我们被客户要求撰写关于鸢尾花iris数据集的研究报告，包括一些图形和统计输出。 本练习问题包括：使用R中的鸢尾花数据集 (a)部分：k-means聚类使用k-means聚类法将数据集聚成2组。画一个图来显示聚类的情况使用k-means ......
Profinet转485modbus网关解决传输距离及数据丢失问题
Profinet转485modbus网关（XD-MDPN100/2000）是一款解决传输距离及数据丢失问题的设备。在现场添加Profinet转485modbus网关（XD-MDPN100/2000）即可解决传输距离近的问题。Profinet转485modbus网关（XD-MDPN100/2000）在... ......
2-1张量数据结构
0.配置 Pytorch的基本数据结构是张量Tensor。张量及多维数组。Pytorch的张量和numpy中的array很类似。 本节我们主要介绍张量的数据类型、张量的维度、张量的尺寸、张量和numpy数组等基本概念。 import torch print('torch.__version__=' ......
Spring JdbcTemplate操作数据库
Spring JdbcTemplate操作数据库 源码 代码测试 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://w ......
[2024深圳市考][计算机素质测试考纲](二)算法和数据结构
前言 因篇幅有限，本文仅对考纲中的考点做基本介绍。 更详细的内容请自行学习： 【双语字幕】CS 61B 数据结构 | 整合版 | UCB Data Structure Spring 2021 【中英双字】普林斯顿大学-算法分析 Algorithm Analysis 2015 COS423 一、基本概 ......
ThreadLocal和InheritableThreadLocal详解,基本原理及注意项 父子线程数据共享
一、ThreadLocal介绍 在多线程环境下访问同一个线程的时候会出现并发问题，特别是多个线程同时对一个变量进行写入操作时，为了保证线程的安全，通常会进行加锁来保证线程的安全，但是加锁又会造成效率的降低；ThreadLocal是jdk提供的除了加锁之外保证线程安全的方法，其实现原理是在Thread ......
数据治理与大模型一体化实践
引言: 大模型落地到当前这个阶段，核心关注点还是领域大模型，而领域大模型落地的前提在于两点：需求端，对当前应用的降本增效以及新应用的探索；供给端，训练技术已经有较高的成熟度。 专家介绍： 柏海峰 滴普科技 Deepexi产品线总裁 负责企业大模型产品的规划、技术架构设计和应用解决方案的全体系打造，承 ......