统计分析 代码 数据python
使用必读-使用Iceberg数据湖需要注意的点
一、开发注意事项 1、Iceberg选择合适的表版本 简述：Iceberg目前有两个表版本（V1和V2），根据数据选择合适的表版本。 V1表只支持增量数据插入，适合做纯增量写入场景，如埋点数据。 V2表才支持行级更新，适合做状态变化的更新，如订单表同步。 使用方式：建表语句时指定版本'format- ......
Python学习第1章- Python编程语言及环境安装
此部分内容过于简单，此处省略详细步骤，仅对关键点进行说明。 1.安装最新稳定版的Python编译器（获取途径：官网https://www.python.org） 2.使用Pycharm Community Edition，此版本为免费版，可供初学者使用。Professional版本为付费版。官方提供 ......
安全数据交换系统：大幅提升网间文件交换能力
各级政府部门和金融、能源、电力这些行业，以及一些大中型企业组织，为了保护内部的重要数据不外泄，普遍都采用了多网络并行的方式，也是做了网络隔离划分，不同的网络拥有不同的密级以及人员权限。然后再通过安全数据交换系统来进行跨网络、跨区域的文件数据交互，解决“数据孤岛”的问题。 然后，要解决网络隔离下的数据 ......
Python之DataFrame的使用
以下是Python之DataFrame的使用： 1.定义DataFrame的方式（不带参、使用list、使用列标签） import pandas as pd df = pd.DataFrame print(df) arr = [1,2,3,4,5] df = pd.DataFrame(arr) pr ......
向量数据库~milvus
本文主要基于milvus官方的材料外加自己的一些理解整理而来，欢迎交流 设计理念 云原生：存&算分离; 读写分离; 增量存量分离; 微服务架构，极致弹性； 日志即数据：通过message queue解耦生产者、消费着，降低系统复杂度; 提升index、data、query模块弹性; 流批一体：表和日 ......
读算法霸权笔记09_信用数据的陷阱
1. 信用评级模型 1.1. 评估个人贷款违约风险的模型为FICO 1.1.1. 唯一评分参数就是贷款者的资产，主要依据是贷款者的债务负担和账单支付记录 1.1.2. 这种信用评分模型相对透明 1.1.3. 信用评分行业受政府管制 1.1.4. 信用评分系统的使用得到了广泛普及 1.2. 脸书就发明 ......
python -m http.server在本地启动简单HTTP服务器的命令
1.python -m http.server 命令 python -m http.server 是一个用于在本地启动简单 HTTP 服务器的命令。这个命令会在当前工作目录启动一个基本的 HTTP 服务器，可以让你通过浏览器访问本地文件。 具体解释如下： python：启动 Python 解释器。- ......
INFINI Labs 产品更新 | Console 数据迁移支持 Percentiles 均匀分区
INFINI Labs 产品又更新啦~，包括 Console v1.14.0，Gateway 1.21.0。其中 Console 数据迁移支持 Percentiles 均匀分区，修复已知 Bug 等。以下是本次更新的详细说明。 INFINI Console v1.14.0 INFINI Consol ......
Python模块之序列化模块
序列化模块：json模块 / pickle模块 【一】概要 json 模块和 pickle 模块都是 Python 中用于序列化和反序列化数据的工具，但它们有一些重要的区别： 可读性和可编辑性： json 生成的数据是以文本形式表示的，具有良好的可读性，并且可以手动编辑。 pickle 生成的数据是 ......
Python Numpy 数组修改赋值的方法及示例
NumPy是Python中用于处理数组和数值计算的强大库。它提供了多维数组对象（称为numpy.ndarray或简称为数组），Numpy数组的赋值是比较方便的，本文主要介绍Python numpy 数组修改赋值的方法，以及相关示例代码。 1、一般使用索引赋值 赋值方式和C#和Java待语言类似， ......
Python Pandas 安装和设置
1、安装 Pandas 1）确保已安装Python Pandas 需要 Python 环境。可以通过在终端或命令提示符中运行 python --version 来检查是否已安装 Python。 2）安装 Pandas 使用 Python 的包管理器 pip 进行安装： pip install p ......
Python 猫的 2023 年终回顾
2023 年是 Python猫 创办的第 5 年，2024 年已经到来了，我们照例做一个简短的年终回顾吧。 1、30000 订阅与 200 原创。 2020 的年终总结时，公众号订阅数刚破 20000，3 年后，我们终于也达成了 30K 成就。另外原创文章数也突破了 200 篇。如果你已经关注了，记 ......
Python模块之time模块和datetme模块
time模块和datetime模块 【一】概要 time 模块和 datetime 模块是 Python 中用于处理时间的两个重要模块。 【二】常见用法 time 模块： time 模块提供了与时间相关的函数，主要用于获取和处理当前时间、时间戳等。 一些常见的功能包括： time.time(): 返 ......
python中repr()和str()函数的区别
repr()函数 当调用repr(object)时，实际调用的是的object.__repr__(self)函数，两者的官方定义如下。 一句话概括就是：repr函数会返回一个字符串，如果有可能的话这个字符串应该是有效的python代码，并且能创建一个这样的对象，如果做不到这一点，也应该返回一个用<> ......
Linux内核listen系统调用源码分析
一、环境说明 内核版本：Linux 3.10 内核源码地址：https://elixir.bootlin.com/linux/v3.10/source (包含各个版本内核源码，且网页可全局搜索函数) 二、应用层-listen()函数 /** * sockfd：要监听的socket描述字 * back ......
python爬虫环境配置
环境配置 python3/请求库/解析库/数据库/存储库/web库/app爬取库/爬虫框架库 python3 win11下可以直接商店下载了（ Linux下apt-get install python3 请求库 requests pip3 install requests selenium pip ......
day06 代码随想录算法训练营 242. 有效的字母异位词
题目：242. 有效的字母异位词 我的感悟： 卡尔的思路，挺好。简单易懂。 理解难点： 没有难点 总结概况： 建立数组存 遍历一遍 ++ 遍历一遍 -- 再遍历一遍 判断0 代码示例： class Solution: def isAnagram(self, s: str, t: str) -> bo ......
python基础知识
python基础知识 1.标识符 标识符：是python中对变量名、函数名、类名的取名规则。 规则：强制规则，必须遵守 1.只能使用英文字母、数字、中文和‘_’进行取名 2.数字不能是开头 3.字母大小写敏感 4.不能使用关键字 非强制规则: 非强制执行的规则，主要是程序员自定义的一 ......
处理不平衡数据的过采样技术对比总结
前言 本文对处理不平衡数据的过采样技术进行了对比总结。 本文转载自Deephub Imba 作者：Abdallah Ashraf 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教 ......
pandas替换数据 典型应用 replace
替换数据 replace方法可以对数据进行批量替换： s.replace(0, 5) # 将列数据中的0换为5 df.replace(0, 5) # 将数据中的所有0换为5 df.replace([0, 1, 2, 3], 4) # 将0～3全换成4 df.replace([0, 1, 2, 3], ......
使用Golang Validator包实现数据验证
使用Golang Validator包实现数据验证 原创 沙蒿 程序员的碎碎念 2024-01-01 08:20 发表于北京 听全文 引言 在开发过程中，数据验证是一个非常重要的环节。它可以确保输入的数据的合法性和有效性，从而保证系统的稳定性和安全性。Golang是一种强类型的静态编程语言，它提供了 ......
day04 代码随想录算法训练营 24. 两两交换链表中的节点
题目：24. 两两交换链表中的节点 我的感悟： 我感觉，python中对链表的概念，很弱。 链表在现在语言中，用的不多。 先搁置。 理解难点： 可以看懂代码。 总结概括： 代码示例： # Definition for singly-linked list. # class ListNode: # d ......
python3发送Gratuitous ARP更新vip绑定关系
操作系统 ：CentOS 7.6_x64 Python版本：3.9.12 FreeSWITCH版本 ：1.10.9 高可用场景下，vip切换完成后需要发送arp广播更新ip和mac地址的绑定关系，如果不及时发广播，会导致tcp重连等问题。 今天记录下python3如何使用arp广播更新ip和mac地 ......
代码随想录算法训练营第二十天|654.最大二叉树，617.合并二叉树，700.二叉搜索树中的搜索，98.验证二叉搜索树
一、654.最大二叉树 题目链接： LeetCode 654.最大二叉树 学习： 思路： 前序遍历 方法参数：(int[] nums, int start, int end) 返回类型：TreeNode 终止条件： if(end-start==0) return null; if(end-start ......
07.DDL 数据库操作 - 查看
目录 选择数据库语法 查看数据库语法 查看数据库的定义信息语法 实例 查看数据库语法 DATABASES：必选项，用于列出当前用户权限范围内所能查看到的所有数据库名称 -- 查看所有数据库 SHOW DATABASES; 选择数据库语法 -- 选择数据库为当前数据库 USE 数据库名; 查看数据库的 ......
06.DDL 数据库操作 - 创建
目录 创建数据库语法 创建数据库注意事项 创建基本数据库 创建指定字符集的数据库 创建数据库前判断是否存在同名数据库 创建数据库语法 IF NOT EXISTS：可选项，创建前先判断，未存在时才执行创建语句 数据库名：必须指定的 CHARACTER SET =字符集：可选项，用于指定数据库的字符集 ......
【C语言学习】01. 数据类型、常量、变量
数据类型 数据类型的分类： 基本类型 整型 int 浮点型 float 字符型 char 构造类型 数组 [] 结构体 struct 指针类型 * 空类型 void 常量 常量是指在程序运行过程中，其值不发生变化的量。 常量的分类： 整型常量：100, 123, -100, 0 浮点型常量（也称实型 ......
记录：使用 Python 操作 Cloudflare R2 对象存储
创建存储桶：仪表盘 -- R2 -- 创建存储桶 R2 界面右上角 -- 管理 R2 API 令牌 -- 创建 API 令牌 cloudflare/python-cloudflare: Python wrapper for the Cloudflare Client API v4 python AP ......
低代码如何实现插件化架构？
大家好，本文介绍了实现插件化的低代码架构的思路，以及在Meta3D（开源Web3D低代码平台）中具体实现的方案 需求 有同学想做个编辑器，希望可以随意替换引擎、编辑器UI，能以插件的形式进行扩展，问该如何实现？ 下面，我们首先给出抽象的解决方案： 抽象的解决方案 如上图所示，编辑器由多个积木组成，其 ......