张量dataframe深度pandas
履机乘变，轻舟便楫：源启分布式PaaS深度赋能企业级技术平台建设
导语 源启分布式PaaS平台围绕应用视角为用户提供应用运行的全生命周期管控能力，提供注册中心、服务路由、网关、服务治理等中间件技术支持，实现应用之间的联通，解决客户多厂商产品不兼容、产品组合不可选择、孤岛效应等问题，满足企业级应用集成需要，实现降本增效。 在《洞若观火，明察秋毫：源启一体化监控平台构 ......
pandas：统计一个Excel中的空值、非空值、全部值的数量
问题： 有一个Excel，一共7列10行，如下所示： 如何统计其中空值、非空值、全部单元格的数量？ 解决： ①将该Excel读入为DataFrame data=pd.read_excel('data.xlsx') ②所有单元格 size是dataframe的属性 total=data.size ③非 ......
深度学习上课内容大纲
1.背景知识：回归与分类 2.intro:全连接神经网络 3.卷积神经网络（CNN） 4.循环神经网络（RNN） 5.特殊的RNN：LSTM 6.自注意机制（self-attention）与transformer 7.对抗神经网络（GAN） 8.模型攻防（model attack & model d ......
Python之DataFrame的使用
以下是Python之DataFrame的使用： 1.定义DataFrame的方式（不带参、使用list、使用列标签） import pandas as pd df = pd.DataFrame print(df) arr = [1,2,3,4,5] df = pd.DataFrame(arr) pr ......
Python Pandas 安装和设置
1、安装 Pandas 1）确保已安装Python Pandas 需要 Python 环境。可以通过在终端或命令提示符中运行 python --version 来检查是否已安装 Python。 2）安装 Pandas 使用 Python 的包管理器 pip 进行安装： pip install p ......
深度优先搜索（DFS）和广度优先搜索（BFS）
深度优先搜索（DFS）和广度优先搜索（BFS），都是图形搜索算法，相似又却不同，在应用上也被用到不同的地方。 一、深度优先搜索（DFS） 深度优先搜索属于图算法的一种，是一个针对图和树的遍历算法，英文缩写为DFS即Depth First Search。深度优先搜索是图论中的经典算法，利用深度优先搜索 ......
pandas删除空值
删除空值 在一些情况下会删除有空值、缺失不全的数据，df.dropna可以执行这种操作： df.dropna() # 一行中有一个缺失值就删除 df.dropna(axis='columns') # 只保留全有值的列 df.dropna(how='all') # 行或列全没值才删除 df.dropn ......
pandas替换数据 典型应用 replace
替换数据 replace方法可以对数据进行批量替换： s.replace(0, 5) # 将列数据中的0换为5 df.replace(0, 5) # 将数据中的所有0换为5 df.replace([0, 1, 2, 3], 4) # 将0～3全换成4 df.replace([0, 1, 2, 3], ......
利用列表修改 pandas 列表的特殊应用
修改数值 在Pandas中修改数值非常简单，先筛选出需要修改的数值范围，再为这个范围重新赋值。 df.iloc[0,0] # 查询值 # 'Liver' df.iloc[0,0] = 'Lily' # 修改值 df.iloc[0,0] # 查看结果 # 'Lily' 以上修改了一个具体的数值，还可以 ......
pandas增加行
增加行 可以使用loc[]指定索引给出所有列的值来增加一行数据。目前我们的df最大索引是99，增加一条索引为100的数据： # 新增索引为100的数据 df.loc[100] = ['tom', 'A', 88, 88, 88, 88] df ''' name team Q1 Q2 Q3 Q4 0 ......
pandas df.eval()应用
执行表达式df.eval() df.eval()与之前介绍过的df.query()一样，可以以字符的形式传入表 达式，增加列数据。下面以增加总分为例： # 传入求总分表达式 df.eval('total = Q1+Q3+Q3+Q4') ''' name team Q1 Q2 Q3 Q4 total ......
pandas 追加合并
追加合并 增加行数据的使用场景相对较少，一般是采用数据追加的模式。数据追加会在后续章节中介绍。 df.append()可以追加一个新行： df = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB')) df2 = pd.DataFrame([[5, 6 ......
pandas删除 python
删除 删除有两种方法，一种是使用pop()函数。使用pop()，Series会删除指定索引的数据同时返回这个被删除的值，DataFrame会删除指定列并返回这个被删除的列。以上操作都是实时生效的。 # 删除索引为3的数据 s.pop(3) # 93 s ''' 0 89 1 36 2 57 4 65 ......
pandas删除空值
删除空值 在一些情况下会删除有空值、缺失不全的数据，df.dropna可以执行 这种操作： df.dropna() # 一行中有一个缺失值就删除 df.dropna(axis='columns') # 只保留全有值的列 df.dropna(how='all') # 行或列全没值才删除 df.drop ......
国产深度学习框架吸引用户的一种免费手段——免费GPU时长
国产的深度学习框架基本成为了一个头部公司的标配了，不论是阿里、百度还是华为都推出了自己的深度学习框架，这几家公司为了吸引用户也都采取了免费使用GPU的活动，但是与阿里、百度的不同，华为是与固定的高校的实验室合作，为合作的大学实验室提供免费算力，并且这个算力的使用时限目前应该是没有限制的；而与华为不同 ......
深度学习笔记
一：深度学习常见的应用场景 深度学习在许多领域都有广泛的应用，以下是一些深度学习的常见应用场景： 计算机视觉：深度学习在图像分类、目标检测、人脸识别、图像生成和图像分割等计算机视觉任务中表现出色。它可以帮助识别和理解图像中的内容，从而应用于自动驾驶、视频监控、医学影像分析等领域。 自然语言处理：深度 ......
pandas 绘图 拆线图 多条拆线 柱状图 横向 纵向 饼状图
Pandas利用plot()调用Matplotlib快速绘制出数据可视化图形。注 意，第一次使用plot()时可能需要执行两次才能显示图形。可以使用plot()快速绘制折线图。 df['Q1'].plot() # Q1成绩的折线分布 可以先选择要展示的数据，再绘图。 df.loc['Ben','Q1 ......
pandas分析功能
df.mean() # 返回所有列的均值 df.mean(1) # 返回所有行的均值，下同 df.corr() # 返回列与列之间的相关系数 df.count() # 返回每一列中的非空值的个数 df.max() # 返回每一列的最大值 df.min() # 返回每一列的最小值 df.median( ......
pandas增加列求和 平均值的多种写法
增加列： df['one'] = 1 # 增加一个固定值的列 df['total'] = df.Q1 + df.Q2 + df.Q3 + df.Q4 # 增加总成绩列 # 将计算得来的结果赋值给新列 df['total'] = df.loc[:,'Q1':'Q4'].apply(lambda x:s ......
pandas分组聚合
我们可以实现类似SQL的groupby那样的数据透视功能：df.groupby('team').sum() # 按团队分组对应列相加df.groupby('team').mean() # 按团队分组对应列求平均# 不同列不同的计算方法df.groupby('team').agg({'Q1': sum ......
大数据分析与可视化 之 实验10 Pandas实现数据分析
实验10 Pandas实现数据分析 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Pandas的字符串函数。 掌握Pandas 统计汇总函数。 掌握Pandas排序、分组、合并与级联函数。 能利用上述函数进行综合数据分析。 二、实验要求 通过编程实现使用Pandas字符串函数进 ......
大数据分析与可视化 之 实验09 Pandas函数应用
实验09 Pandas函数应用 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握pandas函数应用的方法：pipe()、apply()和applymap()。 能编写自定义函数。 能使用pandas函数应用调用自定义函数解决数据分析实际问题。 二、实验要求 利用pandas函数 ......
大数据分析与可视化 之 实验08 Pandas字符串和文本处理
实验08 Pandas字符串和文本处理 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 学会正确使用常见的字符串函数 如：len()、find()、strip()、replace()、contains()函数。 解决实际数据中的字符串和文本处理问题。 二、实验要求 使用常见的字符串函 ......
大数据分析与可视化 之 实验06 Pandas缺失值处理
实验06 Pandas缺失值处理 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握判断缺失值、过滤缺失值、填充缺失缺失值等缺失值处理 解决实际数据中的缺失值问题 二、实验要求 使用常见的缺失值处理函数（如：isnull()、notnull()、fillna()、dropna()函 ......
大数据分析与可视化 之 实验07 Pandas合并与级联
实验07 Pandas合并与级联 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握pandas合并/拼接 掌握pandas级联 二、实验要求 利用pandas合并、拼接和级联等知识在PyCharm中编写程序，实现Python数据处理的相关操作。 三、实验内容 任务1.现有如下图的 ......
大数据分析与可视化 之 实验05 Pandas数据读写
实验05 Pandas数据读写 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 学会正确使用常见的I/O API函数。 解决文本文件、CSV文件、Excel文件、网页文件、数据库文件和JSON格式文件数据的读写问题。 二、实验要求 使用常见的I/O API函数（如：read_csv( ......
大数据分析与可视化 之 实验04 Pandas基础
实验04 Pandas基础 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 1.掌握pandas系列、数据帧和面板的使用 2.掌握pandas基本功能和操作 二、实验要求 Pandas 程序的运行步骤。 2．pandas的数据结构 3．pandas系列、数据帧和面板 pandas基本 ......
Pandas - apply、agg、transform 函数
apply：行或列的操作。 agg：聚合，可以传递字典，对多个列使用不同的函数。最终结果可能会合并，与原 DataFrame 列长度不保持一致。 transform：转换，也可以对多个列使用不同的函数。但是最终结果与原 DataFrame 列长度保持一致，不会聚合。 ......
华为云耀云服务器L实例-深度学习环境配置-TensorFlow进行手写数字识别
华为云耀云服务器L实例-深度学习环境配置-TensorFlow进行手写数字识别 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，本篇中 ......