光速pandas
【学习笔记】光速幂
哦哦哦今天才了解到这个神秘科技 只有在底数和模数相同的情况下才能用。 预处理出$a^1,a^2,a^3...a^s$和$a^{2s},a^{3s},a^{4s}...$那么类似BSGS可以$O(1)$出结果。 预处理复杂度$\sqrt{p}$。 ......
SQLite vs Pandas
Analysis details For the analysis, we ran the six tasks 10 times each, for 5 different sample sizes, for each of 3 programs: pandas, sqlite, and memor ......
pandas 常见函数的使用
Pandas 的使用 **介绍:**pandas 是 python 语言的的一个关于数据分析的扩展库；pandas 可以对各种数据进行操作, pandas 依赖于 numpy ，在常规的数据分析中，pandas 的使用范围是最宽广的; 参考文章:https://www.runoob.com/pand ......
「CF1188E」Problem from Red Panda
题目 点这里看题目。 给定一个长度为 $k$ 的非负整数序列 $a$。 你可以对于 $a$ 做如下操作任意次： 选定 $1\le j\le k$，满足除了 $a_j$ 外 $a$ 中其它数都为正。 而后，令 $a_j$ 加上 $k-1$，令除了 $a_j$ 外 $a$ 中其它数减去 $-1$。 （这 ......
动手学习深度学习-pandas dataframe转为张量
动手学习深度学习-pandas dataframe转为张量 创建数据 在当前目录的上一级目录创建csv文件，然后写入数据 import os os.makedirs(os.path.join('..','data'),exist_ok=True) # '..'表示上一级目录路径 data_file ......
Python pandas 保存Excel自动调整列宽的方法及示例代码
方法1. 用pd.ExcelWriter 和 worksheet.set_column 需要安装xlsxwriter 方法2：使用StyleFrame自动调整 from styleframe import StyleFrame import pandas as pd columns = ['aaaa ......
python 快速替换csv数据集字符串列表中的表情符号为空，asyncio，re，pandas
传统的字符串列表替换字符串使用遍历非常慢 比如下面这段代码，如果处理几十万或上百万的数据集时，会非常的慢，几小时几天都可能 import re p = re.compile(u'['u'\U0001F300-\U0001F64F' u'\U0001F680-\U0001F6FF' u'\u2600- ......
pandas筛选出某列中含有特定文本内容的所在行
1、所在行内容是单一的或者是标量 df_fintech = df_text[df_text['业务一级分类']=="金融科技"] 2、所在行内容是割裂的 先转成str格式再用contains筛选 df_fintech = df_text[df_text['业务一级分类'].str.contains( ......
pandas.DataFrame.loc和pandas.DataFrame.iloc比较
pandas.DataFrame.loc 通过标签或布尔数组访问一组行和列。 代码示例 import pandas as pd import numpy as np #利用列表创建DataFrame data = [[3,"negative",2],[4,"negative",6],[11,"pos ......
pandas中的agg和rolling和asfreq
import pandas as pd df = pd.DataFrame({"col1": list(range(10)), "col2": list(range(1, 11)), "col3": "2" * 10}) print(df.shape) print(df) # 找出df中每列的最小值 ......
Python pandas读取csv文件时数字变成科学计数法（含有e）
###字段内容比较长时，Python 读取会变成变成科学计数法（含有e） 像这样 import pandas as ps data=ps.read_csv(r"E:\AppData\DongDong\Download\file\2023-04\BaseDataPriceDetail.csv",sep ......
pandas.DataFrame—构建二维、尺寸可变的表格数据结构
语法格式 pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=None) 常用的几个参数解释： data: 一系列数据，包括多种类型； index: 索引值，行标签，默认值为RangeIndex(0, 1, 2 ......
pandas.DataFrame.groupby—使用映射器或通过一系列列对数据框进行分组
语法格式 DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=_NoDefault.no_default, squeeze=_NoDefault.no_default, observe ......
pandas 解析页面table
import pandas as pd ff = """ <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> ......
pandas常用方法
import pandas as pd# 读取CSV文件df = pd.read_csv('data.csv')# 读取Excel文件df = pd.read_excel('data.xlsx')# 读取SQL数据import sqlite3conn = sqlite3.connect('data. ......
pandas高级用法
import pandas as pd# 创建多级索引index = pd.MultiIndex.from_arrays([['A', 'A', 'A', 'B', 'B', 'B'], [1, 2, 3, 1, 2, 3]], names=['group', 'number'])# 创建DataF ......
【Python】pandas 删除空值数据 dropna
dropna import pandas as pd import numpy as np df = pd.DataFrame( { "name": ['Alfred', 'Batman', 'Catwoman'], "toy": [np.nan, 'Batmobile', 'Bullwhip'], ......
pandas的numpy中np.linspace函数与np.arange函数的区别
numpy中np.linspace函数与np.arange函数的区别 NumPy 中的linspace()和arange()函数都可以用于创建数字序列，但它们之间有一些关键的区别。 arange()函数创建一个一维的数组，其中元素从指定的开始值开始，按指定的间隔增加，并一直到结束值（但不包括结束值） ......
从Pandas快速切换到Polars ：数据的ETL和查询
对于我们日常的数据清理、预处理和分析方面的大多数任务，Pandas已经绰绰有余。但是当数据量变得非常大时，它的性能开始下降。 我们以前的两篇文章来测试Pandas 1.5.3、polar和Pandas 2.0.0之间的性能了，Polars 正好可以解决大数据量是处理的问题，所以本文将介绍如何将日常的 ......
（一）pandas读取excel数据
import pandas xlsfile = pandas.read_excel('config.xlsx') #默认读取excel中的第一个sheet表，所有列 data = xlsfile.values.tolist()#将字典转换成列表print（data） 输出结果： [[1, '注册模块 ......
Pandas另存为excel的时候我想从B列开始存储，不想要A列，应该怎么处理呢？
大家好，我是皮皮。 一、前言 前几天在Python最强王者交流群【eric】问了一个Pandas的问题，这里拿出来给大家分享下。另存为excel的时候我想从B列开始存储，不想要A列，应该怎么处理呢？另存为excel的时候我想从B列开始存储，不想要A列，应该怎么处理呢？我看start_col=1的时候 ......
Pandas 读写sqlite数据库
SQLite3工具实现了简单、轻量级的DBMS SQL，因此可以内置于用python语言实现的任何应用。若想使用数据库的所有功能而又不想安装真正的数据库，这个工具就是最佳选择。若想在使用真正的数据库之前练习数据库操作，或在单一程序中使用数据库存储数据而无需考虑接口，SQLite3都是不错的选择。 使 ......
numpy & pandas学习
numpy & pandas 介绍 & 安装 numpy 和 pandas 用于数据分析/处理 numpy基于C语言，pandas基于numpy，相比于python的字典/或列表，可以较快实现矩阵计算 numpy numpy的属性 ndim 矩阵的维度 shape 矩阵的形状（行-列） size 矩 ......
pandas数据处理基础-数据读取/数据选择
数据读取 df=pd.read_csv("相对路径或者网址") 呈现的结果是一个二维数组，dataframe结构； df.head() 显示的是前5行数据 df.tail(7) 显示的是后7行数据 df.describe() 对数据进行描述 df.values 将dataframe转换为numpy数 ......
pandas.Series 获取时间年、月等信息
注意事项 dt.XX 后面不加括号 zz的数据类型为 datetime64[ns] zz = pd.Series(pd.to_datetime(时间戳, unit='s')) # 获取日期月份 bb = zz.dt.month # 获取年月日 bb = zz.dt.date #获取星期名称 bb = ......
excel 处理：pandas openpyxl 单元格嵌入图片
单元格嵌入图片 使图片随单元格变化缩放 openpyxl 官方文档 You can position charts using one of three different kinds of anchor: OneCell – where the top-left of a chart is anc ......
光速了解汇编语言
光速了解汇编语言 什么是机器语言? 要想了解什么是汇编语言, 首先你得知道什么是机器语言! 计算机能够直接识别的是由二进制数0和1组成的代码, 它是不需要翻译直接就能识别 (直接执行) 的”母语”. 我们打个比方: 假设我们定义 0011 这几个数代表”关机”, 那么把 0011 这个指令发送到cp ......
pandas库简单用法总结
简介 pandas 是基于NumPy 的一种工具，主要用途是做数据分析，对于初学者，比较常用的就是处理csv或者excel文件 DataFrame数据结构 DataFrame组成 DataFrame 是 Pandas 的重要数据结构之一，也是在使用 Pandas 进行数据分析过程中最常用的结构之一。 ......
python pandas读stata
import pandas as pd a="D:\\statashu\\2\\1xx.dta" df = pd.read_stata(a) for index,row in df.iterrows(): print(row["id"]) ......
【Python】pandas 将某列相同值作为index, 整合数据
pd.pivot_table # df valueUpdateTime factorName value 0 2023-03-28 08:00:18.532805 风向 147.69 1 2023-03-28 08:00:18.532805 气压 101.71 2 2023-03-28 08:00: ......