文件 指南 数据python
hudi数据湖
字节跳动基于 Hudi 的实时数据湖平台 https://developer.volcengine.com/articles/7220345269954003004 数仓实时化改造：Hudi on Flink 在顺丰的实践应用 https://www.logclub.com/articleInfo/ ......
webpack指南（代码分离）
代码分离 常用的代码分离方法有三种： 入口起点：使用 entry 配置手动地分离代码。 防止重复：使用 入口依赖 或者 SplitChunksPlugin 去重和分离 chunk 动态导入：通过模块的内联函数调用分离代码。 入口起点 project webpack-demo |- package.j ......
python-数据解析-bs4介绍
一、数据解析方式-bs4 1、 爬虫数据的解析常用方式有三种： 1、正则表达式 2、bs4 3、xpath解析 2、本次主要学习bs4，首先要先准备好环境，即要安装使用beautiful Soup，这里已经安装好了bs4模块，如下： pip install bs4 和 pip install lxm ......
NGINX文件名漏洞(CVE-2013-4547)
影响版本 Nignx 0.8.41 ~ 1.4.3 / 1.5.0~1.5.7 漏洞原因 由于nginx的版本原因+运维人的问题导致，其实和低版本nginx漏洞问题差不大多，也属于nginx解析漏洞的一种 复现 nginx版本 上传文件-给文件名添加空格和php代码 直接访问图片-失败 恶意访问-成 ......
Python笔记三之闭包与装饰器
本文首发于公众号：Hunter后端 原文链接：Python笔记三之闭包与装饰器 这一篇笔记介绍 Python 里面的装饰器。 在介绍装饰器前，首先提出这样一个需求，我想统计某个函数的执行时间，假设这个函数如下： import time def add(x, y): time.sleep(1) ret ......
Python 通过 akshare 绘制中国平安均线并显示买卖点
继续上篇，通过 akshare 绘制中国平台的均线，并在 5日线上穿 10日线的时候，显示买入信号，在5日线下穿 10日均线的时候，显示卖出信号 环境： python3.9(miniconda3)、Pycharm、Win10 需要用的模块或者工具库： akshare(1.11.91)、pandas( ......
nginx低版本文件解析漏洞
nginx低版本设计问题，会将图片解析成php文件 复现 查看nginx版本，符合低版本特征 接下来我们随便上传一个图片文件，拦截这个请求，并且添加php代码。 图片上传成功 访问这个文件-可以正常访问 接下来我们恶意访问,发现php代码被执行。 ......
python进阶之继承与派生
继承 一 、继承介绍 1.1 什么是继承和多继承 继承是一种创建新类的方式，在Python中，新建的类可以继承一个或多个父类，新建的类可称为子类或派生类，父类又可称为基类或超类 class ParentClass1: #定义父类 pass class ParentClass2: #定义父类 pass ......
C 语言指针完全指南：创建、解除引用、指针与数组关系解析
C 语言中的指针 创建指针 我们可以使用引用运算符 & 获取变量的内存地址： int myAge = 43; // 一个 int 变量 printf("%d", myAge); // 输出 myAge 的值 (43) printf("%p", &myAge); // 输出 myAge 的内存地址 ( ......
数据仓库、数据湖、湖仓一体的区别？
https://www.cnblogs.com/miketwais/articles/data_lakehouse.html 数仓：存储结构化数据，基于指标需求，面向主题组织数据，协助经营者进行决策； 数据湖：存储结构化，半结构化，非结构化，二进制数据，强调的是对于原始数据的存储，保留数据的完整性。 ......
在MFC中使用CArchive进行串行化数据
使用CArchive进行数据串行化非常的方便。 CArchive持有一个CFile对象，通过此对象进行读写，那么所有基于CFile的子类，都可以使用CArchive来进行串行化。 示例： CFile file(_T("1.txt"), CFile::modeReadWrite); CArchive ......
python人脸识别
应用范围广泛 安全与监控：人脸识别在安防领域中具有显著的应用，可用于识别入侵者或追踪犯罪嫌疑人。 社交媒体和相册组织：社交媒体平台和相册应用可以利用人脸识别来自动标记照片中的人物，方便用户组织和查找照片。 医疗保健：人脸识别技术在医疗保健中用于患者身份验证和监测，例如识别患者病情变化。 市场营销：广 ......
使用 Python 进行简单的人脸识别
介绍 人脸识别技术已经成为当今世界许多领域的重要应用，从安全领域到社交媒体，无处不在。Python 提供了许多强大的库和工具，使得实现人脸识别变得更加容易。本文将介绍如何使用 Python 中的一些流行库来进行简单的人脸识别。 准备工作 在开始之前，确保你已经安装了以下库： OpenCV: 用于图像 ......
nmon文件过大的处理方法
nmon的文件存在过大的问题 获取第一个ZZZZ之前的内容，大概在2000行之前 root@ruichi-Default-string:/chia# head -n 2000 ruichi-Default-string_210428_2224.nmon |grep -n "ZZZZ" 1288:ZZ ......
NLog 配置文件中布局渲染器(layout renderers)
NLog 配置文件中，布局渲染器（layout renderers）是一种机制，用于在日志消息中插入动态内容或格式化信息。它们允许您将变量、属性、日期时间信息等添加到日志消息中，以便更详细地记录和分析日志。布局渲染器是在${}中包含的占位符，会在运行时替换为实际值。 1、所有的布局参数 变量名 ......
Python Pandas 数据清洗
1、处理缺失数据 处理缺失数据是数据清洗过程的一个重要部分。缺失数据可以以多种方式出现，最常见的是作为 NaN（Not a Number）。处理缺失数据涉及使用 isna() 或 isnull() 检测缺失值，fillna() 填充缺失值，dropna() 删除包含缺失值的行或列，以及 inte ......
Rust权威指南阅读笔记（一）Rust简介与安装
参考： Windows10配置Rust开发环境 | jonssonyan' Website win10安装Rust+VS Code配置Rust环境 - 鱼又悲 - 博客园 (cnblogs.com) 1.1 Rust简介 1.2 安装Rust https://www.rust-lang.org/zh ......
mysql数据库（2）
一、B树、B+树 官方文档里说到，B树根节点指向叶子节点，但是人们忘了叶子节点可以互相指向，于是B+。 create table t1( a int primary key, b int, c int, d int, e varchar(20) )engine=InnoDB; 操作系统页单位4KB， ......
特征量化编码入门指南
量化编码 目的：压缩特征，节省存储空间 向量（高维浮点）—-->码字的ID（一个整数） 通常放在索引项中 量化方法 向量量化VQ:k-means 迪卡尔积型（码字空间） >积量化（PQ）/OPQ/LOPQ 直和型：残差向量量化：RVQ 线性组合型：加性量化（AQ）、组合量化（CQ） 量化器目标：使均 ......
09_数据-拓展知识
数据拓展知识 整数拓展 进制 / 二进制：0b/ 十进制 / 八进制：0 / 十六进制：0x 浮点数拓展 银行业务用 BigDecimal（数学工具类）表示 最好完全避免使用浮点数进行比较！！！（重要） 用 == 输出两个是否相等 字符拓展 所有字符本质还是数字 （int）字符：强制转换为编码 编码 ......
python-bs4获取图片
一、用一个实例来了解一下 1、既然要用BeautifulSoup来解析，首先要把需要的模块导入； import os import requests from bs4 import BeautifulSoup 2、创建一个文件夹来存放要下载的数据：文件的名可以用户自定义 file_name = "i ......
【Python入门教程】读取图片信息最全教程（经纬度、偏转角、无人机影像、大疆）
通常读取图片的属性信息（如经纬度、拍摄时间、IMU数据等）都是通过exifread库进行读取，但是有些图片用这个库读取的效果不好。所以今天我就和大家分享一下如何使用Python读取图片属性信息的三种方法。 ......
【Python&RS】栅格数据/图片位深度（bit）转换
关于栅格数据/图片的位深度（eg.8bit、16bit、32bit）转换之前我就发过一篇文章，【Python&RS】基于GDAL栅格数据/图片位深度（bit）转换。但是最近在使用的时候发现好像效果不行，有时候转换不成功，所以自己又研究了一下原理重新写了一份代码。今天就和大家分享一下如何使用Pyth... ......
30道python自动化测试面试题与答案汇总
对于机器学习算法工程师而言,Python是不可或缺的语言,它的优美与简洁令人无法自拔,下面这篇文章主要给大家介绍了关于30道python自动化测试面试题与答案汇总的相关资料,需要的朋友可以参考下 1、什么项目适合做自动化测试？ 关键字：不变的、重复的、规范的 1）任务测试明确，需求不会频繁变动 2） ......
使用Python+selenium实现第一个自动化测试脚本
这篇文章主要介绍了使用Python+selenium实现第一个自动化测试脚本，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧 最近在学web自动化，记录一下学习过程。 此处我选用python3.6+selenium3.0，均用最新 ......
学习python自动化——re正则
re（正则）一、正则表达式作用正则表达式匹配指定规则的字符串二、re常用方法 findall(pattern, string, flags=0)：使用正则表达式，匹配所有符合条件的字符串，返回匹配到的所有子串，返回list pattern：正则表达式 string：匹配的字符串 flags=0：自定 ......
C语言学习随笔-04 数据类型
C中的数据类型 ：在C语言中，数据类型指的是用于声明不同类型的变量或函数的一个广泛的系统。 变量的类型决定了变量存储占用的空间，以及如何解释存储的位模式。 常用的四中基本数据类型：int 、char、float、double ▶ 基本类型：它们是算术类型，如int、char、float、double ......
python与yum的修复
装python3.10时删了python3.7，结果导致yum也完蛋了。恢复的思路：彻底删除python和yum后重装。 一、删除： 1、卸载现有python rpm -qa | grep python | xargs rpm -ev --allmatches --nodeps ##卸载python ......
Golang如何进行数据库查询
Golang是一门高效、快速、强大的编程语言，可用于构建各种应用程序，尤其是在Web开发中表现突出。当与数据库结合使用时，Golang提供了一些强大的工具，帮助开发人员操作数据库。在本篇文章中，我们将重点介绍Golang如何进行数据库查询。 一、Golang数据库查询 Golang中的数据库查询主要 ......