Pandas最常用的数据对象是数据框（DataFrame）和Series。

数据框与R中的DataFrame格式类似，都是一个二维数组。Series则是一个一维数组，类似于列表。数据框是Pandas中最常用的数据组织方式和对象。
series是一种一维数据结构，每一个元素都带有一个索引，与一维数组的含义相似，其中索引可以为数字或字符串。series结构名称：

dataframe是一种二维数据结构，数据以表格形式（与excel类似）存储，有对应的行和列。dataframe结构名称：

1、pandas安装及模块导入
最常用的方法是通过Anaconda安装，在终端或命令符输入如下命令安装：
conda install pandas
若未安装Anaconda，使用Python自带的包管理工具pip来安装：
pip install pandas
模块导入：
import pandas as pd # 导入pandas库
print(pd.version) # 打印pandas版本信息
2、导入导出数据

导入

pd.read_csv(filename)：从CSV文件导入数据
pd.read_table(filename)：从限定分隔符的文本文件导入数据
pd.read_excel(filename)：从Excel文件导入数据
pd.read_sql(query, connection_object)：从SQL表/库导入数据
pd.read_json(json_string)：从JSON格式的字符串导入数据
pd.read_html(url)：解析URL、字符串或者HTML文件，抽取其中tables表格
pd.read_clipboard()：从你的粘贴板获取内容，并传给read_table()
pd.DataFrame(dict)：从字典对象导入数据，Key是列名，Value是数据

导出

df.to_csv(filename)：导出数据到CSV文件
df.to_excel(filename)：导出数据到Excel文件
df.to_sql(table_name, connection_object)：导出数据到SQL表
df.to_json(filename)：以Json格式导出数据到文本文件
3、查看数据信息

df：任意的Pandas DataFrame对象

s：任意的Pandas Series对象

df.head(n)：查看DataFrame对象的前n行，默认5行
df.tail(n)：查看DataFrame对象的最后n行
df.shape()：查看行数和列数
df.dtypes:查看数据框每一列的数据类型
df.index:查看索引
df.columns:查看列名
df.info()：查看索引、数据类型和内存信息
df.describe()：显示描述性统计数据，包括集中趋势、分散趋势、形状等
s.value_counts(dropna=False)：查看Series对象的唯一值和计数
df.apply(pd.Series.value_counts)：查看DataFrame对象中每一列的唯一值和计数
4、数据的选取和过滤

df：任意的Pandas DataFrame对象

s：任意的Pandas Series对象

选取

df[col]：根据列名，并以Series的形式返回列
df[[col1, col2，...]]：以DataFrame形式返回多列
df.iloc[where]:按整数索引选取数据，选取单个行或行子集, 如df.iloc[[3,4]]
df.iloc[:,where]:按整数索引选取数据,选取单个列或列子集
df.iloc[where_i,where_j]：按整数索引选取数据,同时选取行和列
df.loc[col]:通过轴标签选取数据，单行或多行，
如： df.loc[df['收款日期']>20210326]
df.loc[:,col]:通过轴标签选取数据，选取单列或列子集
df.loc[col1,col2]:通过轴标签选取数据,同时选取行和列
1、df.loc[df['收款日期']>20210326, '收款金额']
2、df.loc[df['收款日期']>20210326, '收款金额_万元'] =
df.loc[df['收款日期']>20210326, '收款金额']/10000

过滤

df[df['col3']True]:单独列为基础选择符合条件的数据
df[df'a']:以所有的列为基础选择符合条件的数据
df[(df['col2']'a') & (df['col3']True)]:多个筛选条件，且多个条件的逻辑为“且”，用&表示
df[(df['col2']'a') | (df['col3']True)]:多个筛选条件，且多个条件的逻辑为“或”，用|表示
df[df['col1'].isin([1,2])]:基于特定值的范围的数据查找
df.query('col2=="b"'):按照类似sql的规则筛选数据
5、数据的处理

df：任意的Pandas DataFrame对象

s：任意的Pandas Series对象

df.T：转置数据框，行和列转换
df.columns = ['a','b','c']：重命名列名
pd.isnull()：检查DataFrame对象中的空值，并返回一个Boolean数组
pd.notnull()：检查DataFrame对象中的非空值，并返回一个Boolean数组
df.dropna()：删除所有包含空值的行
df.dropna(axis=1)：删除所有包含空值的列
df.dropna(axis=1,thresh=n)：删除所有小于n个非空值的行
df.fillna(x)：用x替换DataFrame对象中所有的空值
s.astype(float)：将Series中的数据类型更改为float类型
s.replace(1,'one')：用‘one’代替所有等于1的值
s.replace([1,3],['one','three'])：用'one'代替1，用'three'代替3
df.rename(columns=lambda x: x + 1)：批量更改列名
df.rename(columns={'old_name': 'new_ name'})：选择性更改列名
df.set_index('column_one')：更改索引列
df.rename(index=lambda x: x + 1)：批量重命名索引
df.sort_values(['col1']):按值排序，默认为正序，可通过ascending=False指定倒序排序
df.sort_index(ascending=False):按索引排序，默认为正序，可通过ascending=False指定倒序排序
df.drop_duplicates(['col']):去重重复项，通过指定列设置去重的参照
6、数据的合并和匹配
df1.merge(df2,on='col1',how='inner')
df1.append(df2)：将df2中的行添加到df1的尾部
pd.concat([df1, df2],axis=1)：将df2中的列添加到df1的尾部
df1.join(df2,on=col1,how='inner')：对df1的列和df2的列执行SQL形式的join
7、数据的分类汇总

df：任意的Pandas DataFrame对象

s：任意的Pandas Series对象

df.groupby(['col2'])['col1'].sum()：按指定的列做分类汇总;groupby还可以配合agg，filter，transform，apply等高级函数使用
df['col3'].map(lambda x:x*2):将一个函数或匿名函数应用到Series或数据框的特定列
如: df['收款金额_万元'] = df['收款金额'].map(lambda x:x/10000)
df.apply(pd.np.cumsum):将一个函数或匿名函数应用到Series或数据框
df.groupby(['col2']).agg({'col1':np.sum,'col3':np.mean}):一次性对多个列做聚合操作
pd.pivot_table(df,index=['col2'])：以col2列为索引建立数据透视表，默认计算方式为求均值
df.count()非NaN的数量df.describe()一次性产生多个汇总统计
df.min():最小值
df.max():最大值
df.idxmax(axis=0, skipna=True):返回含有最大值的index的Series
df.idxmin(axis=0, skipna=True):返回含有最小值的index的Series
df.quantile(axis=0)计算样本的分位数
df.sum(axis=0, skipna=True, level=NaN)返回一个含有求和小计的Series
df.mean(axis=0, skipna=True, level=NaN)返回一个含有平均值的Series
df.median(axis=0, skipna=True, level=NaN)返回一个含有算术中位数的Series
df.var(axis=0, skipna=True, level=NaN)返回一个方差的Series
df.std(axis=0, skipna=True, level=NaN)返回一个标准差的Series
df.cumsum(axis=0, skipna=True, level=NaN)返回样本的累计和
函数作用：求数组的所有元素的累计和，可通过参数axis指定求某个轴向的统计值。这里所说的轴可按照下图的含义理解：
下面举例进行说明：

（1）不指定axis参数
a = np.array([[1, 2, 3], [4, 5, 6]])
a
array([[1, 2, 3],
[4, 5, 6]])
a.cumsum()
array([ 1, 3, 6, 10, 15, 21], dtype=int32)
可以看出，不指定axis参数时，把二维数组当作了一维数组处理，进行累计求和运算。
（2）指定参数axis=0
arr
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])
np.cumsum(arr, axis=0)
array([[ 0, 1, 2],
[ 3, 5, 7],
[ 9, 12, 15]], dtype=int32)
np.cumsum(arr, axis=0)和arr.cumsum(axis=0)是一样的。可以看出，上述代码是按照轴0进行累计求和的。
（3）指定参数axis=1
arr
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])

arr.cumsum(axis=1)
array([[ 0, 1, 3],
[ 3, 7, 12],
[ 6, 13, 21]], dtype=int32)
可以看出，上述代码是按照轴1进行累计求和的。
关于更高维的数组的运算就不测试了，暂时也用不上。

df.cummin(axis=0, skipna=True, level=NaN)返回样本的累计最大值
df.cummax(axis=0, skipna=True, level=NaN)返回样本的累计最小值
十分钟掌握pandas
通常，我们要像下面一样导入一些包。
In [1]: import pandas as pd
In [2]: import numpy as np
In [3]: import matplotlib.pyplot as plt
创建对象
用一个包含值的序列创建一个Series，pandas会创建一个默认的整数索引
In [4]: s = pd.Series([1,3,5,np.nan,6,8])
In [5]: s
Out[5]:
0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64
用numpy数值创建一个带有datetime索引和列标签的数据框
In [6]: dates = pd.date_range('20130101', periods=6)
In [7]: dates
Out[7]:
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
'2013-01-05','2013-01-06'], dtype='datetime64[ns]', freq='D')
In [8]: df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
In [9]: df
Out[9]:
A B C D
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-05 -0.424972 0.567020 0.276232 -1.087401
2013-01-06 -0.673690 0.113648 -1.478427 0.524988
用包含对象的字典创建一个数据框，该方法与创建Series的方法相似。
In [10]: df2 = pd.DataFrame({ 'A' : 1.,
....: 'B' : pd.Timestamp('20130102'),
....: 'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
....: 'D' : np.array([3] * 4,dtype='int32'),
....: 'E' : pd.Categorical(["test","train","test","train"]),
....: 'F' : 'foo' })
....:

In [11]: df2
Out[11]:
A B C D E F
0 1.0 2013-01-02 1.0 3 test foo
1 1.0 2013-01-02 1.0 3 train foo
2 1.0 2013-01-02 1.0 3 test foo
3 1.0 2013-01-02 1.0 3 train foo
该数据框有特殊的dtypes
In [12]: df2.dtypes
Out[12]:
A float64
B datetime64[ns]
C float32
D int32
E category
F object
dtype: object
如果你是使用IPython，tab键可以自动激活可选列名（包括其它的属性）。下边就有一个可以被实现的属性的集合。
In [13]: df2.
df2.A df2.bool
df2.abs df2.boxplot
df2.add df2.C
df2.add_prefix df2.clip
df2.add_suffix df2.clip_lower
df2.align df2.clip_upper
df2.all df2.columns
df2.any df2.combine
df2.append df2.combine_first
df2.apply df2.compound
df2.applymap df2.consolidate
df2.as_blocks df2.convert_objects
df2.asfreq df2.copy
df2.as_matrix df2.corr
df2.astype df2.corrwith
df2.at df2.count
df2.at_time df2.cov
df2.axes df2.cummax
df2.B df2.cummin
df2.between_time df2.cumprod
df2.bfill df2.cumsum
df2.blocks df2.D
就像你所见到的列A,B,C和D的自动弹出都可以由tab完成。列E也是一样的；剩下的属性为了简短起见都省略了。
查看数据
查看整个数据的头部或尾部
In [14]: df.head()
Out[14]:
A B C D
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-05 -0.424972 0.567020 0.276232 -1.087401
In [15]: df.tail(3)
Out[15]:
A B C D
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-05 -0.424972 0.567020 0.276232 -1.087401
2013-01-06 -0.673690 0.113648 -1.478427 0.524988
显示数据框的索引，列名和值。
In [16]: df.index
Out[16]:
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
'2013-01-05', '2013-01-06'],
dtype='datetime64[ns]', freq='D')

In [17]: df.columns
Out[17]: Index(['A', 'B', 'C', 'D'], dtype='object')
In [18]: df.values
Out[18]:
array([[ 0.4691, -0.2829, -1.5091, -1.1356],
[ 1.2121, -0.1732, 0.1192, -1.0442],
[-0.8618, -2.1046, -0.4949, 1.0718],
[ 0.7216, -0.7068, -1.0396, 0.2719],
[-0.425 , 0.567 , 0.2762, -1.0874],
[-0.6737, 0.1136, -1.4784, 0.525 ]])
描述性显示关于数据的简短统计摘要
In [19]: df.describe()
Out[19]:
A B C D
count 6.000000 6.000000 6.000000 6.000000
mean 0.073711 -0.431125 -0.687758 -0.233103
std 0.843157 0.922818 0.779887 0.973118
min -0.861849 -2.104569 -1.509059 -1.135632
25% -0.611510 -0.600794 -1.368714 -1.076610
50% 0.022070 -0.228039 -0.767252 -0.386188
75% 0.658444 0.041933 -0.034326 0.461706
max 1.212112 0.567020 0.276232 1.071804
转置数据
In [20]: df.T
Out[20]:
2013-01-01 2013-01-02 2013-01-03 2013-01-04 2013-01-05 2013-01-06
A 0.469112 1.212112 -0.861849 0.721555 -0.424972 -0.673690
B -0.282863 -0.173215 -2.104569 -0.706771 0.567020 0.113648
C -1.509059 0.119209 -0.494929 -1.039575 0.276232 -1.478427
D -1.135632 -1.044236 1.071804 0.271860 -1.087401 0.524988
通过轴来分类你的数据（相当于排序，axis=1可以理解为分类列名，=0则为索引名）
In [21]: df.sort_index(axis=1, ascending=False)
Out[21]:
D C B A
2013-01-01 -1.135632 -1.509059 -0.282863 0.469112
2013-01-02 -1.044236 0.119209 -0.173215 1.212112
2013-01-03 1.071804 -0.494929 -2.104569 -0.861849
2013-01-04 0.271860 -1.039575 -0.706771 0.721555
2013-01-05 -1.087401 0.276232 0.567020 -0.424972
2013-01-06 0.524988 -1.478427 0.113648 -0.673690
通过值来分类
In [22]: df.sort_values(by='B')
Out[22]:
A B C D
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-06 -0.673690 0.113648 -1.478427 0.524988
2013-01-05 -0.424972 0.567020 0.276232 -1.087401
选择数据
小记：对于选择数据和设置数据来说，标准的python和numpy表达式非常直观而且对于交互式工作来说很难进行的，对于应用性代码来说，我们比较推荐最优化的pandas数据获取方法，例如.at, .iat, .loc, .iloc and .ix。
获取
在方括号中输入这个单一的列名，来获得一个Series，该操作相当于df.A
In [23]: df['A']
Out[23]:
2013-01-01 0.469112
2013-01-02 1.212112
2013-01-03 -0.861849
2013-01-04 0.721555
2013-01-05 -0.424972
2013-01-06 -0.673690
Freq: D, Name: A, dtype: float64
通过对行切片来获取数据
In [24]: df[0:3]
Out[24]:
A B C D
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
In [25]: df['20130102':'20130104']
Out[25]:
A B C D
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
由标签获取数据
用标签来截取一行数据
In [26]: df.loc[dates[0]]
Out[26]:
A 0.469112
B -0.282863
C -1.509059
D -1.135632
Name: 2013-01-01 00:00:00, dtype: float64
在多个轴上通过标签来选取数据
In [27]: df.loc[:,['A','B']]
Out[27]:
A B
2013-01-01 0.469112 -0.282863
2013-01-02 1.212112 -0.173215
2013-01-03 -0.861849 -2.104569
2013-01-04 0.721555 -0.706771
2013-01-05 -0.424972 0.567020
2013-01-06 -0.673690 0.113648
同时用标签切片和标签名索引来获取数据
In [28]: df.loc['20130102':'20130104',['A','B']]
Out[28]:
A B
2013-01-02 1.212112 -0.173215
2013-01-03 -0.861849 -2.104569
2013-01-04 0.721555 -0.706771
对返回的对象的维度进行减少维度
In [29]: df.loc['20130102',['A','B']]
Out[29]:
A 1.212112
B -0.173215
Name: 2013-01-02 00:00:00, dtype: float64
仅仅获取标量值的方法
In [30]: df.loc[dates[0],'A']
Out[30]: 0.46911229990718628
更快地获取标量值（效果相当于前一个方法）
In [31]: df.at[dates[0],'A']
Out[31]: 0.46911229990718628
通过位置进行索引
通过适合的整数来代表位置进行索引
In [32]: df.iloc[3]
Out[32]:
A 0.721555
B -0.706771
C -1.039575
D 0.271860
Name: 2013-01-04 00:00:00, dtype: float64
与numpy/python相似的操作，整数切片来获取数据
In [33]: df.iloc[3:5,0:2]
Out[33]:
A B
2013-01-04 0.721555 -0.706771
2013-01-05 -0.424972 0.567020
通过含有代表位置的整数列表来获取数据，与numpy/python的风格相似
In [34]: df.iloc[[1,2,4],[0,2]]
Out[34]:
A C
2013-01-02 1.212112 0.119209
2013-01-03 -0.861849 -0.494929
2013-01-05 -0.424972 0.276232
显式切片索引行
In [35]: df.iloc[1:3,:]
Out[35]:
A B C D
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
显式切片索引列
In [36]: df.iloc[:,1:3]
Out[36]:
B C
2013-01-01 -0.282863 -1.509059
2013-01-02 -0.173215 0.119209
2013-01-03 -2.104569 -0.494929
2013-01-04 -0.706771 -1.039575
2013-01-05 0.567020 0.276232
2013-01-06 0.113648 -1.478427
显式索引数据值
In [37]: df.iloc[1,1]
Out[37]: -0.17321464905330858
使系统快速地获取标量值（结果与前一个方法相等）
In [38]: df.iat[1,1]
Out[38]: -0.17321464905330858
布尔值索引
使用单一的列的值来选取数据
In [39]: df[df.A > 0]
Out[39]:
A B C D
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
从给出布尔条件的数据框来获取数据
In [40]: df[df > 0]
Out[40]:
A B C D
2013-01-01 0.469112 NaN NaN NaN
2013-01-02 1.212112 NaN 0.119209 NaN
2013-01-03 NaN NaN NaN 1.071804
2013-01-04 0.721555 NaN NaN 0.271860
2013-01-05 NaN 0.567020 0.276232 NaN
2013-01-06 NaN 0.113648 NaN 0.524988
使用isin()方法来过滤数据
In [41]: df2 = df.copy()
In [42]: df2['E'] = ['one', 'one','two','three','four','three']
In [43]: df2
Out[43]:
A B C D E
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632 one
2013-01-02 1.212112 -0.173215 0.119209 -1.044236 one
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 two
2013-01-04 0.721555 -0.706771 -1.039575 0.271860 three
2013-01-05 -0.424972 0.567020 0.276232 -1.087401 four
2013-01-06 -0.673690 0.113648 -1.478427 0.524988 three
In [44]: df2[df2['E'].isin(['two','four'])]
Out[44]:
A B C D E
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 two
2013-01-05 -0.424972 0.567020 0.276232 -1.087401 four
安插
在安插新的列时通过索引值自动排列
In [45]: s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6))
In [46]: s1
Out[46]:
2013-01-02 1
2013-01-03 2
2013-01-04 3
2013-01-05 4
2013-01-06 5
2013-01-07 6
Freq: D, dtype: int64
In [47]: df['F'] = s1
通过标签安插值
In [48]: df.at[dates[0],'A'] = 0
通过位置安插值
In [49]: df.iat[0,1] = 0
通过分配numpy数组来安插新的列
In [50]: df.loc[:,'D'] = np.array([5] * len(df))
前面安插值的操作的结果
In [51]: df
Out[51]:
A B C D F
2013-01-01 0.000000 0.000000 -1.509059 5 NaN
2013-01-02 1.212112 -0.173215 0.119209 5 1.0
2013-01-03 -0.861849 -2.104569 -0.494929 5 2.0
2013-01-04 0.721555 -0.706771 -1.039575 5 3.0
2013-01-05 -0.424972 0.567020 0.276232 5 4.0
2013-01-06 -0.673690 0.113648 -1.478427 5 5.0
用一个where操作来安插数据
In [52]: df2 = df.copy()
In [53]: df2[df2 > 0] = -df2
In [54]: df2
Out[54]:
A B C D F
2013-01-01 0.000000 0.000000 -1.509059 -5 NaN
2013-01-02 -1.212112 -0.173215 -0.119209 -5 -1.0
2013-01-03 -0.861849 -2.104569 -0.494929 -5 -2.0
2013-01-04 -0.721555 -0.706771 -1.039575 -5 -3.0
2013-01-05 -0.424972 -0.567020 -0.276232 -5 -4.0
2013-01-06 -0.673690 -0.113648 -1.478427 -5 -5.0
缺失值
早先的pandas使用 np.nan的值来代表缺失值。缺失值默认不会进行计算。
重新排列索引操作允许你在指定的轴上改变/增加/删除索引。下面返回一个前面数据的复制结果
In [55]: df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
In [56]: df1.loc[dates[0]:dates[1],'E'] = 1
In [57]: df1
Out[57]:
A B C D F E
2013-01-01 0.000000 0.000000 -1.509059 5 NaN 1.0
2013-01-02 1.212112 -0.173215 0.119209 5 1.0 1.0
2013-01-03 -0.861849 -2.104569 -0.494929 5 2.0 NaN
2013-01-04 0.721555 -0.706771 -1.039575 5 3.0 NaN
删除所有含有缺失值的行
In [58]: df1.dropna(how='any')
Out[58]:
A B C D F E
2013-01-02 1.212112 -0.173215 0.119209 5 1.0 1.0
替换缺失值
In [59]: df1.fillna(value=5)
Out[59]:
A B C D F E
2013-01-01 0.000000 0.000000 -1.509059 5 5.0 1.0
2013-01-02 1.212112 -0.173215 0.119209 5 1.0 1.0
2013-01-03 -0.861849 -2.104569 -0.494929 5 2.0 5.0
2013-01-04 0.721555 -0.706771 -1.039575 5 3.0 5.0
通过判断缺失值来获取布尔值
In [60]: pd.isnull(df1)
Out[60]:
A B C D F E
2013-01-01 False False False False True False
2013-01-02 False False False False False False
2013-01-03 False False False False False True
2013-01-04 False False False False False True
运算统计表
该操作一般不包含缺失值，呈现一个描述性的统计表
In [61]: df.mean()
Out[61]:
A -0.004474
B -0.383981
C -0.687758
D 5.000000
F 3.000000
dtype: float64
在其他轴上进行相同的操作
In [62]: df.mean(1)
Out[62]:
2013-01-01 0.872735
2013-01-02 1.431621
2013-01-03 0.707731
2013-01-04 1.395042
2013-01-05 1.883656
2013-01-06 1.592306
Freq: D, dtype: float64
对有不同维度和需要排列的对象进行运算。另外，pandas自动沿着指定的维度进行运算。
应用
对数据进行函数的应用
In [66]: df.apply(np.cumsum)
Out[66]:
A B C D F
2013-01-01 0.000000 0.000000 -1.509059 5 NaN
2013-01-02 1.212112 -0.173215 -1.389850 10 1.0
2013-01-03 0.350263 -2.277784 -1.884779 15 3.0
2013-01-04 1.071818 -2.984555 -2.924354 20 6.0
2013-01-05 0.646846 -2.417535 -2.648122 25 10.0
2013-01-06 -0.026844 -2.303886 -4.126549 30 15.0

In [67]: df.apply(lambda x: x.max() - x.min())
Out[67]:
A 2.073961
B 2.671590
C 1.785291
D 0.000000
F 4.000000
dtype: float64
统计值的频数
In [68]: s = pd.Series(np.random.randint(0, 7, size=10))
In [69]: s
Out[69]:
0 4
1 2
2 1
3 2
4 6
5 4
6 4
7 6
8 4
9 4
dtype: int64

In [70]: s.value_counts()
Out[70]:
4 5
6 2
2 2
1 1
dtype: int64
字符串操作
Series拥有像对字符串集合处理方法的能力，在str属性中可以对数组的每一个元素进行便捷的操作，就像下面的一小片字段中显示的那样。
In [71]: s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
In [72]: s.str.lower()
Out[72]:
0 a
1 b
2 c
3 aaba
4 baca
5 NaN
6 caba
7 dog
8 cat
dtype: object
聚合组合
pandas提供了不同的工具为了简便地用不同的方式来对索引设置逻辑和相关的代数功能结合Series，DataFrame和Panel对象，例如join/merge-type操作
用concat（）函数来连接pandas对象
In [73]: df = pd.DataFrame(np.random.randn(10, 4))

In [74]: df
Out[74]:
0 1 2 3
0 -0.548702 1.467327 -1.015962 -0.483075
1 1.637550 -1.217659 -0.291519 -1.745505
2 -0.263952 0.991460 -0.919069 0.266046
3 -0.709661 1.669052 1.037882 -1.705775
4 -0.919854 -0.042379 1.247642 -0.009920
5 0.290213 0.495767 0.362949 1.548106
6 -1.131345 -0.089329 0.337863 -0.945867
7 -0.932132 1.956030 0.017587 -0.016692
8 -0.575247 0.254161 -1.143704 0.215897
9 1.193555 -0.077118 -0.408530 -0.862495

break it into pieces

In [75]: pieces = [df[:3], df[3:7], df[7:]]
In [76]: pd.concat(pieces)
Out[76]:
0 1 2 3
0 -0.548702 1.467327 -1.015962 -0.483075
1 1.637550 -1.217659 -0.291519 -1.745505
2 -0.263952 0.991460 -0.919069 0.266046
3 -0.709661 1.669052 1.037882 -1.705775
4 -0.919854 -0.042379 1.247642 -0.009920
5 0.290213 0.495767 0.362949 1.548106
6 -1.131345 -0.089329 0.337863 -0.945867
7 -0.932132 1.956030 0.017587 -0.016692
8 -0.575247 0.254161 -1.143704 0.215897
9 1.193555 -0.077118 -0.408530 -0.862495
Join
SQL风格的聚合方式
In [77]: left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
In [78]: right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
In [79]: left
Out[79]:
key lval
0 foo 1
1 foo 2
In [80]: right
Out[80]:
key rval
0 foo 4
1 foo 5
In [81]: pd.merge(left, right, on='key')
Out[81]:
key lval rval
0 foo 1 4
1 foo 1 5
2 foo 2 4
3 foo 2 5
该方法的另一个例子
In [82]: left = pd.DataFrame({'key': ['foo', 'bar'], 'lval': [1, 2]})
In [83]: right = pd.DataFrame({'key': ['foo', 'bar'], 'rval': [4, 5]})
In [84]: left
Out[84]:
key lval
0 foo 1
1 bar 2
In [85]: right
Out[85]:
key rval
0 foo 4
1 bar 5
In [86]: pd.merge(left, right, on='key')
Out[86]:
key lval rval
0 foo 1 4
1 bar 2 5
附加对数据框附加行
In [87]: df = pd.DataFrame(np.random.randn(8, 4), columns=['A','B','C','D'])
In [88]: df
Out[88]:
A B C D
0 1.346061 1.511763 1.627081 -0.990582
1 -0.441652 1.211526 0.268520 0.024580
2 -1.577585 0.396823 -0.105381 -0.532532
3 1.453749 1.208843 -0.080952 -0.264610
4 -0.727965 -0.589346 0.339969 -0.693205
5 -0.339355 0.593616 0.884345 1.591431
6 0.141809 0.220390 0.435589 0.192451
7 -0.096701 0.803351 1.715071 -0.708758
In [89]: s = df.iloc[3]
In [90]: df.append(s, ignore_index=True)
Out[90]:
A B C D
0 1.346061 1.511763 1.627081 -0.990582
1 -0.441652 1.211526 0.268520 0.024580
2 -1.577585 0.396823 -0.105381 -0.532532
3 1.453749 1.208843 -0.080952 -0.264610
4 -0.727965 -0.589346 0.339969 -0.693205
5 -0.339355 0.593616 0.884345 1.591431
6 0.141809 0.220390 0.435589 0.192451
7 -0.096701 0.803351 1.715071 -0.708758
8 1.453749 1.208843 -0.080952 -0.264610
分组运算
在”group by”中我们提及一个操作过程，该过程涉及到一个或多个下列步骤
基于一个标准分割数据到各个组中
在每个组中独立地应用函数
结合结果到数据结构中
In [91]: df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar','foo', 'bar', 'foo', 'foo'],
'B' : ['one', 'one', 'two', 'three','two', 'two', 'one', 'three'],
'C' : np.random.randn(8),
'D' : np.random.randn(8)})
In [92]: df
Out[92]:
A B C D
0 foo one -1.202872 -0.055224
1 bar one -1.814470 2.395985
2 foo two 1.018601 1.552825
3 bar three -0.595447 0.166599
4 foo two 1.395433 0.047609
5 bar two -0.392670 -0.136473
6 foo one 0.007207 -0.561757
7 foo three 1.928123 -1.623033
分组然后应用sum函数到分组的结果中
In [93]: df.groupby('A').sum()
Out[93]:
C D
A
bar -2.802588 2.42611
foo 3.146492 -0.63958
通过多列形式分组获得多重索引进行应用函数
In [94]: df.groupby(['A','B']).sum()
Out[94]:
C D
A B
bar one -1.814470 2.395985
three -0.595447 0.166599
two -0.392670 -0.136473
foo one -1.195665 -0.616981
three 1.928123 -1.623033
two 2.414034 1.600434
重塑有堆叠
tuples = list(zip(*[['bar', 'bar', 'baz', 'baz','foo', 'foo', 'qux', 'qux'],
['one', 'two', 'one', 'two','one', 'two', 'one', 'two']]))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df2 = df[:4]
df2
A B
first second
bar one 0.029399 -0.542108
two 0.282696 -0.087302
baz one -1.575170 1.771208
two 0.816482 1.100230
stack（）方法”压缩”DataFrame的列
In [100]: stacked = df2.stack()

In [101]: stacked
Out[101]:
first second
bar one A 0.029399
B -0.542108
two A 0.282696
B -0.087302
baz one A -1.575170
B 1.771208
two A 0.816482
B 1.100230
dtype: float64
对于堆叠的数据库，相反的stack()操作是unstack(),unstack()默认解除最后一个索引的堆叠状态。
In [102]: stacked.unstack()
Out[102]:
A B
first second
bar one 0.029399 -0.542108
two 0.282696 -0.087302
baz one -1.575170 1.771208
two 0.816482 1.100230

In [103]: stacked.unstack(1)
Out[103]:
second one two
first
bar A 0.029399 0.282696
B -0.542108 -0.087302
baz A -1.575170 0.816482
B 1.771208 1.100230

In [104]: stacked.unstack(0)
Out[104]:
first bar baz
second
one A 0.029399 -1.575170
B -0.542108 1.771208
two A 0.282696 0.816482
B -0.087302 1.100230
数据透视表
In [105]: df = pd.DataFrame({
'A' : ['one', 'one', 'two', 'three'] * 3,
'B' : ['A', 'B', 'C'] * 4,
'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
'D' : np.random.randn(12),
'E' : np.random.randn(12)})

In [106]: df
Out[106]:
A B C D E
0 one A foo 1.418757 -0.179666
1 one B foo -1.879024 1.291836
2 two C foo 0.536826 -0.009614
3 three A bar 1.006160 0.392149
4 one B bar -0.029716 0.264599
5 one C bar -1.146178 -0.057409
6 two A foo 0.100900 -1.425638
7 three B foo -1.035018 1.024098
8 one C foo 0.314665 -0.106062
9 one A bar -0.773723 1.824375
10 two B bar -1.170653 0.595974
11 three C bar 0.648740 1.167115
我们可以从这个数据中轻松地制作出数据透视表
In [107]: pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])
Out[107]:
C bar foo
A B
one A -0.773723 1.418757
B -0.029716 -1.879024
C -1.146178 0.314665
three A 1.006160 NaN
B NaN -1.035018
C 0.648740 NaN
two A NaN 0.100900
B -1.170653 NaN
C NaN 0.536826
呈现时区
In [111]: rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D')
In [112]: ts = pd.Series(np.random.randn(len(rng)), rng)
In [113]: ts
Out[113]:
2012-03-06 0.464000
2012-03-07 0.227371
2012-03-08 -0.496922
2012-03-09 0.306389
2012-03-10 -2.290613
Freq: D, dtype: float64
In [114]: ts_utc = ts.tz_localize('UTC')
In [115]: ts_utc
Out[115]:
2012-03-06 00:00:00+00:00 0.464000
2012-03-07 00:00:00+00:00 0.227371
2012-03-08 00:00:00+00:00 -0.496922
2012-03-09 00:00:00+00:00 0.306389
2012-03-10 00:00:00+00:00 -2.290613
Freq: D, dtype: float64
转换到另一个时区
In [116]: ts_utc.tz_convert('US/Eastern')
Out[116]:
2012-03-05 19:00:00-05:00 0.464000
2012-03-06 19:00:00-05:00 0.227371
2012-03-07 19:00:00-05:00 -0.496922
2012-03-08 19:00:00-05:00 0.306389
2012-03-09 19:00:00-05:00 -2.290613
Freq: D, dtype: float64
在时间区间内转化
In [117]: rng = pd.date_range('1/1/2012', periods=5, freq='M')
In [118]: ts = pd.Series(np.random.randn(len(rng)), index=rng)
In [119]: ts
Out[119]:
2012-01-31 -1.134623
2012-02-29 -1.561819
2012-03-31 -0.260838
2012-04-30 0.281957
2012-05-31 1.523962
Freq: M, dtype: float64
In [120]: ps = ts.to_period()
In [121]: ps
Out[121]:
2012-01 -1.134623
2012-02 -1.561819
2012-03 -0.260838
2012-04 0.281957
2012-05 1.523962
Freq: M, dtype: float64
In [122]: ps.to_timestamp()
Out[122]:
2012-01-01 -1.134623
2012-02-01 -1.561819
2012-03-01 -0.260838
2012-04-01 0.281957
2012-05-01 1.523962
Freq: MS, dtype: float64
在时间段和时间戳之间进行转换可以使用便捷的算术函数。在下面的例子中，我们把在十一月结束的季度频率转化为在月末的九点的季度频率：
In [123]: prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV')
In [124]: ts = pd.Series(np.random.randn(len(prng)), prng)
In [125]: ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9
In [126]: ts.head()
Out[126]:
1990-03-01 09:00 -0.902937
1990-06-01 09:00 0.068159
1990-09-01 09:00 -0.057873
1990-12-01 09:00 -0.368204
1991-03-01 09:00 -1.144073
Freq: H, dtype: float64
分类
从0.15版本开始，pandas就可以在数据框内包含分类数据。
In [127]: df = pd.DataFrame({"id":[1,2,3,4,5,6], "raw_grade":['a', 'b', 'b', 'a', 'a', 'e']})
把 raw_grade转变为分类数据类型。
In [128]: df["grade"] = df["raw_grade"].astype("category")
In [129]: df["grade"]
Out[129]:
0 a
1 b
2 b
3 a
4 a
5 e
Name: grade, dtype: category
Categories (3, object): [a, b, e]
将分类数据重命名为更有意义的名字。
In [130]: df["grade"].cat.categories = ["very good", "good", "very bad"]
重新排列分类数据，同时添加缺失的分类数据。
In [131]: df["grade"] = df["grade"].cat.set_categories(["very bad", "bad", "medium", "good", "very good"])
In [132]: df["grade"]
Out[132]:
0 very good
1 good
2 good
3 very good
4 very good
5 very bad
Name: grade, dtype: category
Categories (5, object): [very bad, bad, medium, good, very good]
对分类数据进行排序会作用于每列而不是指定的列。
In [133]: df.sort_values(by="grade")
Out[133]:
id raw_grade grade
5 6 e very bad
1 2 b good
2 3 b good
0 1 a very good
3 4 a very good
4 5 a very good
对分类数据列那列进行分组也会显示出空的分类数据。
In [134]: df.groupby("grade").size()
Out[134]:
grade
very bad 1
bad 0
medium 0
good 2
very good 3
dtype: int64
画图
在数据框中，plot()是一个非常方便的把所有列作为标签绘制在图标上的函数。
In [135]: ts = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000))
In [136]: ts = ts.cumsum()
In [137]: ts.plot()
Out[137]: <matplotlib.axes._subplots.AxesSubplot at 0x1187d7278>
输入/输出数据

CSV
把数据输出为csv文件
In [141]: df.to_csv('foo.csv')
读取csv文件
In [142]: pd.read_csv('foo.csv')
HDF5
写出一个HDF5存储单元
In [143]: df.to_hdf('foo.h5','df')
读入一个HDF5存储单元
In [144]: pd.read_hdf('foo.h5','df')
Excel
写出一个excel文件
In [145]: df.to_excel('foo.xlsx', sheet_name='Sheet1')
读入一个excel文件
In [146]: pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])
在处理数据的时候，很多时候会遇到批量替换的情况，如果一个一个去修改效率过低，也容易出错。replace()是很好的方法。
源数据：

1、替换全部或者某一行
replace的基本结构是：
df.replace(to_replace, value) 前面是需要替换的值，后面是替换后的值。
例如我们要将南岸改为城区：
这样Python就会搜索整个DataFrame并将文档中所有的南岸替换成了城区（要注意这样的操作并没有改变文档的源数据，否则需要使用inplace = True）。

使用inplace = True更改源数据
由于南岸只有城市一列具有相同值，使用起来比较方便。

但是如果我们要改变表1Lon里的某个数据，而不改变Longitude的数据要怎么做呢？
改变指定的列的数据：
所以只想替换部分数据的时候并且要写入源数据就需要指定inplace。
在上面的操作只改变了表1Lon的数据，其它列的数据并没有被替换，而且在替换后的结果不需要我们再和源数据进行合并操作，可以直接体现在源数据中。
2、替换指定的某个或指定的多个数值（用字典的形式）
只改变指定的值

这个很好理解，就是字典里的建作为原值，字典里的值作为替换的新值。
当然，我们也可是使用列表的形式进行替换：df.replace(['A','29.54'],['B',100])
用列表的形式进行替换：
还有如果想要替换的新值是一样的话，我们还可以这样做：

部分替换和替换某个值结合使用的话就可以替换单个列的数值：

3、使用正则表达式替换
正则表达式很强大，能够让我们实现一次替换很多很多个不同的值：
源数据

使用正则表达式的时候记得后面加 regex=True参数。
有图中我们可以看到只要包含有大写的英文字母的数据都被替换了，如果我们要写入源数据还需要指定inplace = True。
指定列替换数据：

当需要将缺失值替换掉的时候，我们可以考虑直接只用fillna()，功能更强大，这个前面已经有说过了。
在某些情况下，如果我们只需要某个数据的部分内容，我们该怎么操作呢？
比如要把变电站都改为transformer_substation，或者是把Latitude列的前面的ab

改为AB：
指定列更改替换部分字符
需要注意的时更好指定列的时候，使用str.replace时不能使用inplace = True参数，因此需要改成赋值，赋值的时候不要忘了是列的赋值而不是整个表格的赋值。

九、分组统计

单位	品名	类型	数量	单价	金额
山东1公司	汽油92#	汽油	10	20	200.00
山东1公司	汽油95#	汽油	12	25	300.00
山东1公司	汽油98#	汽油	14	21	294.00
山东1公司	柴油10#	柴油	16	26	416.00
山东2公司	汽油92#	汽油	18	22	396.00
山东2公司	汽油95#	汽油	20	27	540.00
山东2公司	柴油20#	柴油	22	23	506.00
山东2公司	柴油0#	柴油	24	28	672.00
山东2公司	柴油-20#	柴油	26	24	624.00
山东2公司	燃料油	燃料油	28	29	812.00
山东3公司	柴油-10#	柴油	30	25	750.00
山东3公司	原油	原油	32	30	960.00
山东4公司	汽油95#	汽油	34	26	884.00
山东4公司	柴油0#	柴油	29	31	899.00
山东4公司	橄榄油	橄榄油	31	27	837.00

import pandas as pd
cp = pd.read_excel(r'D:\202107审计材料\供应商与产品.xlsx','产品',converters={'商品编号': str})
{'a':np.float64, 'b':np.int32}字典类型{'列名1':数据类型, '列名2':数据类型},设定指定列数据类型
df1 = pd.read_excel(r'D:\原油延期计价\2021\lx01.xlsx')
cp1 = ['汽油','柴油','原油','燃料油']

for cp in cp1:

df1.loc[df1[df1.品名.str.find(cp)>=0].index, '数量'] =

df1.loc[df1[df1.品名.str.find(cp)>=0].index, '数量'].map(lambda x: x / 10)

品名中包含列表cp1中字符的记录的数量进行处理

df2=df1.groupby(by=['单位','类型'],as_index=False)['数量','金额'].agg('sum')

分单位和类型统计，对数量、金额进行求和

df2

十、透视实例

按单位对类型进行透视数量、金额求和及平均值，数值为0时以空显示

df3=pd.pivot_table(df1,index=[u'单位'],columns=[u'类型'],values=[u'数量',u'金额'],aggfunc={"数量":sum,"金额":np.mean},fill_value='',margins=True)
df3

df3=pd.pivot_table(df1,index=[u'单位'] ,columns=[u'类型'] ,values=[u'数量', u'金额'] , aggfunc = [sum,np.mean],fill_value='',margins=True)