pandas numpy
使用pandas操作excel
参考： https://www.php.cn/faq/630018.html https://blog.csdn.net/weixin_42575020/article/details/128850513?utm_medium=distribute.pc_relevant.none-task-blo ......
pandas修改json数据结构
需求 { "sex": { "tome": "male", "jack": "female" }, "age": { "tome": 18, "jack": 20 } } 转换成 {'tome': {'sex': 'male', 'age': 18}, 'jack': {'sex': 'female ......
关于对pandas.DataFrame的二维表格数据排序后-再写入到Excel表格的方法
关于 pandas.DataFrame 可以将一个大列表-多个子列表的数据整理出来，最后通过.to_excel 写入到Excel表格，代码如下： Writer=pandas.ExcelWriter(ResultExcelFile) EC2_RI_Data=pandas.DataFrame(EC2_R ......
数据处理神器可不止 Pandas 哦，还有 Polars，全方位解析 Polars
楔子 Python 在数据处理领域有如今的地位，和 Pandas 的存在密不可分，然而除了 Pandas 之外，还有一个库也在为 Python 的数据处理添砖加瓦，它就是我们本次要介绍的 Polars。和 Pandas 相比，Polars 的速度更快，执行常见运算的速度是 Pandas 的 5 到 ......
pandas单独设一个新列，譬如从2023-11-1到2023-11-31怎么搞法？
大家好，我是皮皮。 一、前言 前几天在Python白银交流群【上海新年人】问了一个Pandas日期数据生成的问题，问题如下：大佬们，如果我想单独设一个新列，譬如从2023-11-1到2023-11-31怎么搞法？或者这个数据有11行，可不可以自行设置成2023-11-15到2023-11-26这样子 ......
Numpy计算近邻表时间对比
本文介绍了在Python的numpy框架下计算近邻表的两种不同算法的原理以及复杂度，另有分别对应的两种代码实现。在实际使用中，我们更偏向于第二种算法的使用。因为对于第一种算法来说，哪怕是一个10000个原子的小体系，如果要计算两两间距，也会变成10000*10000这么大的一个张量的运算。可想而知，... ......
Pandas - 按照指定顺序排序
import pandas as pd file = rf"C:\Users\root\Desktop\文档\2024\01\08\975.xlsx" data = pd.read_excel(file, converters={ '约定采购总量': int, '实际采购总量': int, '完成率 ......
read_excel_pandas.py
import pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus']=False df = pd.read_exce ......
Python Pandas 数据可视化
1、Pandas 的绘图功能 Pandas 内置的绘图功能进行数据可视化是一种快速且有效的方法，它主要依赖于 Matplotlib 库。Pandas 提供了多种绘图类型，适用于不同的数据分析和可视化需求。 1）折线图 使用plot()绘制拆线图，常用参数如下， 参数 描述 x 一维数组或列表，表 ......
pandas基础操作
### 为什么学习pandas- numpy已经可以帮助我们进行数据的处理了，那么学习pandas的目的是什么呢？ - numpy能够帮助我们处理的是数值型的数据，当然在数据分析中除了数值型的数据还有好多其他类型的数据（字符串，时间序列），那么pandas就可以帮我们很好的处理除了数值型的其他数据！ ......
Python中numpy出现has no attribute '_no_nep50_warning'错误的一个解决方案
本文介绍在Python中，numpy库出现报错module 'numpy' has no attribute '_no_nep50_warning'的解决方法。 一次，在运行一个Python代码时，发现出现报错module 'numpy' has no attribute '_no_nep50_wa ......
Python Pandas 数据整合
1、数据合并 数据合并是指将两个数据集合并为一个数据集的过程。数据集的列名和数据类型是否一致。如果不一致，需要进行数据类型转换或重命名。数据集的索引是否一致。如果不一致，需要进行索引重置或合并。数据集的缺失值处理。可以使用均值、中位数或众数填充缺失值，也可以删除缺失值。 1）merge() 根据 ......
Jax框架支持的python和numpy版本
官方： https://jax.readthedocs.io/en/latest/deprecation.html 每个推出的JAX版本都会支持45个月内推出的python，对此具体解释一下： 比如Jax_1.0.0为2024年1月1号release，2020年3月到2024年1月1号之间发行的py ......
pandas -- Dataframe 初步使用
Dataframe 的读取 (1) 直接声明 ## 先是一个字典的形式 data = { "keyname1": [ "elem1", "elem2" ], "keyname2": [ "elem3", "elem4" ] } df = pd.DataFrame(data, index = [ <c ......
numpy学习笔记1
numpy 介绍 NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 NumPy 是一个运行速度非常快的数学库，主要用于数组计算，包含： 一个强大的N维数组对象 ndarray 广播功能函数 ......
Python Pandas 数据清洗
1、处理缺失数据 处理缺失数据是数据清洗过程的一个重要部分。缺失数据可以以多种方式出现，最常见的是作为 NaN（Not a Number）。处理缺失数据涉及使用 isna() 或 isnull() 检测缺失值，fillna() 填充缺失值，dropna() 删除包含缺失值的行或列，以及 inte ......
Python Pandas NumPy NaN和Inf简介及常用操作
NumPy（Numerical Python）是一个用于科学计算的库，它提供了对多维数组（例如矩阵）和一系列数学函数的支持。NumPy 中包含了处理 NaN（Not-a-Number）和 Inf（Infinity）等特殊值的功能。本文主要介绍一下Python Pandas NumPy 中 NaN ......
Python Pandas 数据选择与过滤
Python的Pandas库是一个强大的数据处理和分析工具，其中数据选择与过滤是其核心功能之一。这些功能使用户能够高效地访问、修改、筛选出数据集中的特定部分。数据选择与过滤功能提供了数据操作的强大灵活性，使得数据分析工作流程变得更加高效和精确。本文主要介绍Python Pandas 数据选择与过 ......
一个简单的例子测试numpy和Jax的性能对比 （续）
相关： 一个简单的例子测试numpy和Jax的性能对比 numpy代码： import numpy as np import time x = np.random.random([10000, 10000]).astype(np.float32) try: st = time.time() y = ......
一个简单的例子测试numpy和Jax的性能对比
参考： https://baijiahao.baidu.com/s?id=1725356123619612187&wfr=spider&for=pc 个人认为如果把Jax作为一款深度学习框架来学习，那么就没有多大的必要性，因为pytorch就够了。可以说，Jax可以做到的，pytorch也可以做到， ......
Python Pandas 基本概念
1、DataFrame 和 Series 的基本概念 DataFrame 和 Series 是Pandas中两种最基本的数据结构，它们为数据分析和处理提供了强大的功能。 Series 是一种一维数组结构，类似于 Python 中的列表或者 NumPy 的数组。每个 Series 对象都有一个索引 ......
pandas day01
一、什么是数据分析： 数据分析是指对数据进行收集、处理、转换和挖掘，以发现数据中的规律、趋势和关联性，为决策提供支持和指导的过程。数据分析涵盖了数据预处理、数据建模、数据可视化、数据挖掘等多个方面的技术和方法。 二、pandas的初步使用： 2.1 安装模块 # 安装第三方库 pip install ......
python3之pandas库
pandas中有两类非常重要的数据结构，即序列Series和数据框DataFrame。 Series类似于numpy中的一维数组；DataFrame类似于numpy中的二维数组。 DataFrame创建 # 通过二维数组创建数据框 df1 = pd.DataFrame(np.arange(12).r ......
python3之numpy库
多维数组定义 import numpy as np # 多维数组定义 np.array((2, 3, 4)) # 类型为int32 的一维数组 np.array([2.0, 3.0, 4.0]) # 类型为flloat64 的一维数组 np.array(((2, 3, 4, 5), (4, 5, 6 ......
关于pandas.to_datetime对不同时间格式使用时发生报错的情况
在看菜鸟的pandas对格式错误清洗时，发现菜鸟提供的代码在我现在的版本跑不通。 把报错在网上找了半天都是把报错errors参数给修改的。 最后重看了下报错信息，发现把format改成mixed，告诉pandas数据格式混合就可以（汗），应该是python3版本太新的问题 报错代码： import ......
pandas基础使用
pandas pandas介绍 Pandas 是一个开源的数据分析和数据处理库，它是基于 Python 编程语言的。 Pandas 提供了易于使用的数据结构和数据分析工具，特别适用于处理结构化数据，如表格型数据（类似于Excel表格）。 Pandas 是数据科学和分析领域中常用的工具之一，它使得用户 ......
盘点一个Pandas取值的问题（下篇）
大家好，我是皮皮。 一、前言 前几天在Python白银交流群【上海新年人】问了一个Pandas数据提取的问题，上一篇文章我们介绍了基础篇，这一篇文章我们来延伸下，你想象下，我想要14和15行该怎么写？ 二、实现过程 后来【论草莓如何成为冻干莓】给了一份代码，print(df.loc[[14, 15] ......
pandas：统计一个Excel中的空值、非空值、全部值的数量
问题： 有一个Excel，一共7列10行，如下所示： 如何统计其中空值、非空值、全部单元格的数量？ 解决： ①将该Excel读入为DataFrame data=pd.read_excel('data.xlsx') ②所有单元格 size是dataframe的属性 total=data.size ③非 ......