数据 持久性 数据备份 分布式
一个完整Python实战项目：selenium识别验证码实现自动登录，自动操作浏览器获取某东数据
最近都没啥时间，很久没更新了。 今天分享一下，如何用selenium识别验证码，实现自动登录以及获取数据。 目标：某东 话不多说直接开始 准备工作 环境 Python 3.10 Pycharm 模块使用 import random import time from selenium import w ......
【Python&RS】基于Python对栅格数据进行归一化（统一量纲至0~1）
有段时间没有更新Python处理栅格、矢量数据了，一部分是因为之前基本上已经把如何使用Python处理地理数据的方法覆盖完了，另一部分是因为最近有其他方面的知识需要学习和巩固。也是赶巧，最近有个项目需要构建模型对影像进行反演需要用到归一化，所以就编了一段代码，今天就和大家分享一下如何使用Python... ......
mybatis在读取配置文件，创建SqlSessionFactory对象时。需要对密码进行解密，再连接数据库，该如何操作。
1、我看了网上很多的方法，主要是说通过新建一个jdbc.properties来获取数据库 连接池。但是我试了并没有作用。 2、解决办法：简单粗暴。先用后代码读取原有的mybatis-configuration.xml， 然后将密码进行解密后，设值到xml中。最后把解密的xml作为源。 去生成一份新的 ......
城市交通的智慧之眼：数据可视化重塑管理新篇章
城市，这个充满活力的巨大生命体，每一条街道、每一个交叉路口都是它的血管和神经。随着城市化进程的加速，如何高效管理这个复杂的交通网络成为了一个巨大的挑战。幸运的是，在大数据和可视化技术的助力下，城市交通数据可视化正在成为我们驾驭城市脉搏的关键工具。 ......
MySQL 数据目录
MySQL 的数据目录 1. MySQL 的主要目录结构 方式1：通过命令搜索 find / -name mysql 方式2（推荐）：通过查看配置文件获取目录结构 vim /etc/my.cnf （重要）- my.cnf 配置信息说明 [mysqld] bind-address=0.0.0.0 po ......
day 05-1 数据类型(整型和布尔类型)
day 05 数据类型 int,整数类型（整形） bool,布尔类型 str,字符串类型 list,列表类型 tuple,元组类型 dict,字典类型 set,集合类型 float,浮点类型（浮点型）（小数） 每种数据类型的讲解，会按照以下4个维度来进行： 定义 独有功能 公共功能 类型转换、 其他 ......
根据置信度计算正态分布的标准分位数
/** * 根据置信度计算正态分布的标准分位数 * * @param confidenceLevel 置信度 * @return 正态分布的标准分位数 */ public static double getZValue(Double confidenceLevel) { NormalDistribu ......
SSAS 同步CUBE 数据库配置完整说明(含添加定时任务)
SSAS 同步数据库步骤说明 二台机器设置相同的windows用户和密码 cube_sync_user / *** 二台SSAS服务 > 安全性, 添加用户 cube_sync_user , 具有管理员权限 在SQL 服务器配置中心里 设置 ssas 的登录用户为 cube_sync_user 在目 ......
2017 - 951 数据结构
题目 一、 单项选择题 1. 算法能识别出错误的输入数据并进行适当的处理和反应，称为算法的( ① )。 A. 健壮性 B.正确性 C. 并行性 D. 时间复杂度 2. 从一个具有 n个结点的单链表中查找其值等于 x的结点时，在查找成功的情况下， 需要平均比较的节点个数是( ② )。 A. n B. ......
合并excel数据
library(readxl) library(writexl) library(dplyr) library(purrr) file_list <- list.files(path = "E:/帮忙/王桂瑶师兄/20231215论文补充/对接/详细作用力", pattern = "*.xlsx ......
oracle数据泵导入导出dmp文件
创建表空间TCMP --创建表空间TCMP （'D:\database\TCMP.dbf' --使用指定文件保存） （size 4096m --初始大小） （autoextend on next 100m --没有空间的时候文件默认增长大小） （maxsize 10240m --文件的最大值，如果达 ......
Fiddler - 拦截请求并修改数据
0.补补笔记加深记忆 1、拦截http请求 修改HTTP请求头信息。例如修改请求头的UA，Cookie，Referer信息，通过“伪造”相应信息达到相应的目的（调试，模拟用户真实请求等）。 构造请求数据，突破表单的限制，随意提交数据。避免页面js和表单限制影响相关调试。 拦截响应数据，修改响应实体。 ......
13-Mysql备份恢复
一、备份的类型 冷备份：关闭数据、停止业务 温备份：加锁备份 热备份：在先备份，不会影响到也正常运行 二、备份方式 2.1 逻辑备份：基于SQL语句的备份 mysqldump建库、建表、数据插入 基于二进制日志：数据库的所有变化类的操作 基于复制的备份：将二进制日志实时传送到另一台机器并且恢复 2. ......
07-数据类型
四种主要类别： – 数值类型 – 字符类型 – 时间类型 – 二进制类型 数据类型的ABC 要素： – Appropriate（适当） – Brief（简洁） – Complete（完整） 一、 数值数据类型 使用数值数据类型时的注意事项： 数据类型所表示的值的范围 – 列值所需的空间量 – 列精度 ......
08-Informatica_schema获取元数据
数据库的元数据即数据库对象的数据，如表，库，的属性数据等，存放在informatica——schema数据库中，已虚拟表的形式存在，只能读不能写 一、 获取元数据的方法 查询INFORMATION_SCHEMA 数据库表。 其中包含MySQL数据库服务器所管理的所有对象的相关数据 使用SHOW 语句 ......
数据可视化结合2D地图能够给我们带来什么样的变化？
在信息时代，数据可视化与2D地图的结合为我们的生活和工作带来了深刻的变革。这一强大的组合不仅为我们提供了全新的视角，更为各行各业的发展和决策提供了更为精准的指导。下面我就以可视化从业者的视角，来简单聊聊数据可视化和2D地图的结合。 首先，结合2D地图的数据可视化为城市规划和管理等带来了变化。通过将各 ......
大数据搬迁方案简单实践 _tyt2023
本实验以通过华为云CDM服务进行数据迁移为例，介绍如何将其他Hadoop集群的历史数据迁移至华为云MRS中，以便获取MRS云服务的诸多特性。 本迁移指导将指导适用于多种不同场景下的HBase、Hive数据向MRS集群的迁移工作。由于数据迁移过程中可能存在数据覆盖、丢失、损坏等风险，因此本指导只作为实 ......
Go语言编程教程-基本数据类型
课程要点 了解布尔类型 了解整数类型 了解浮点数类型 了解复数类型 了解字符串类型 了解字符类型 布尔类型 类型 名称 取值范围 说明 bool 布尔类型 true或false 默认值为false 示例 ok := true println(ok) 整数类型 类型 名称 取值范围 说明 uint8 ......
精彩回顾｜【ACDU 中国行·西安站】数据库主题交流活动成功举办！
2023年12月23日下午，【ACDU 中国行·西安站】圆满落幕。围绕「数据库技术发展及实践」主题这一主题，六位数据库资深学者及专家从数据库系统平台、数据库应用及实践等热点话题进行分享，与会观众踊跃发言、各抒已见，十分热闹。 ......
【python爬虫课程设计】大数据分析———不同车辆类型不同零件的城市道路油耗、高速公路油耗、二氧化碳排放量数据分析
一、选题背景 随着社会经济的发展和人们生活水平的提高，汽车已经成为现代化生活中不可或缺的交通工具之一。同时，环保意识的提高也给汽车产业带来了新的挑战，例如减少汽车的油耗和减少尾气排放。 在这样的背景下，通过分析不同车辆类型的城市道路油耗、高速公路油耗和二氧化碳排放量数据，可以帮助我们更好地了解不同车 ......
后端技术：Redis进行数据缓存的两种方法
在fastapi项目中Redis进行数据缓存的两种不同的方法的demo 第一种方法：通过FastAPI应用状态 准备文件：models/redis.py为fastapi的数据库模型文件 import os import aioredis from aioredis import Redis asyn ......
flink 的安装以及fink-cdc 基于多数据源导入的es 的简单使用
此文档是参照flink-cdc 文档( https://ververica.github.io/flink-cdc-connectors/master/content/快速上手/mysql-postgres-tutorial-zh.html) 案例 的最佳实践 1.下载flink release 最 ......
【Python】将xlsx表格中的特定数据标红
原表格是这样： 将姓名为“韩立“，年龄大于14的标红 import openpyxl from openpyxl.styles import Font workbook = openpyxl.load_workbook(r"C:\Users\PC\Desktop\PYTHON项目\01.xlsx") ......
nacos2.3数据库兼容postgresql
简介：nacos默认支持数据库是mysql，但是我们是pg为主要数据库，所以，将pg作为持久层会更好 一、nacos官网 1、nocos 文档地址：https://nacos.io/zh-cn/2、源码下载地址：https://github.com/alibaba/nacos/releases/ta ......
PostgreSQL数据库中插入数据并跳过重复记录
概述：ON CONFLICT 是将新数据插入现有表时处理唯一性冲突的一种方式 快速预览 1. DO UPDATE SET: 重复则更新 2. DO NOTHING: 重复则跳过 先创建表t_daily_stats、并且主键字段由serial_no、date组成，以及其他字段 -- 创建设备每日统计表 ......
数据可视化是如何做到在各行各业中都发挥重要作用的？
在信息时代的浪潮中，数据无疑成为推动各行各业发展的引擎。而数据可视化作为数据处理与表达的有力工具，其在各个领域发挥的重要作用日益凸显，成为推动创新、提高效率的关键因素。下面我就从可视化行业从业者的角度，简单聊聊这个问题。 首先，数据可视化通过图表、图形等直观形式呈现复杂的数据，使得信息一目了然。在商 ......
postgresql socket读数据返回-1
如下所示： { n = secure_raw_read(port, ptr, len); // pg的socket读是非阻塞读，所以返回-1不影响，后面等到socket可读之后继续读。见下文socket返回值解释 waitfor = WL_SOCKET_READABLE; } /* In block ......
nlog使用小记（日志文件分割备份循环）
nlog使用小记（日志文件分割备份循环） fileName: 当前记录日志的文件名 archiveFileName：归档日志文件名 archiveAboveSize：文件达到多大进行归档 maxArchiveFiles：归档的日志文件保留数量 archiveNumbering：归档文件名称的保留方式 ......
IntelliJ IDEA 数据访问工具配置 Caché/M 数据库系统
首先打开 IntelliJ IDEA 的数据库访问工具，然后在数据源中选择： 其他下面的 InterSystems IRIS 数据源。 配置数据库驱动 默认情况下的数据驱动给了 9091，这个端口是不对的。 IRIS 的数据库端口应该是 1972。 如果你使用的是默认的数据库安装，那么可以参考下面的 ......
Nuscenes数据集浅析
Nuscenes主要在波士顿和新加坡进行，用于采集的车辆装备了1个旋转雷达（spinning LIDAR），5个远程雷达传感器（long range RADAR sensor）和6个相机（camera） 一、数据集结构：（借用https://zhuanlan.zhihu.com/p/46353705 ......