张量dataframe深度pandas
《动手学深度学习 Pytorch版》 8.2 文本预处理
import collections import re from d2l import torch as d2l 解析文本的常见预处理步骤： 将文本作为字符串加载到内存中。 将字符串拆分为词元（如单词和字符）。 建立一个词表，将拆分的词元映射到数字索引。 将文本转换为数字索引序列，方便模型操作。 ......
《动手学深度学习 Pytorch版》 8.1 序列模型
到目前为止，我们遇到的数据主要是表格数据和图像数据，并且所有样本都是独立同分布的。然而，大多数的数据并非如此。比如语句中的单词、视频中的帧以及音频信号，都是有顺序的。 简言之，如果说卷积神经网络可以有效地处理空间信息，那么本章的循环神经网络（recurrent neural network，RNN） ......
DataFrame通过JDBC读写数据读写到数据mysql
# coding:utf8 import time from pyspark.sql import SparkSession from pyspark.sql.types import StructType, StringType, IntegerType import pandas as pd f ......
深度学习算法原理实现——自写神经网络和训练模型
代码来自：https://weread.qq.com/web/reader/33f32c90813ab71c6g018fffkd3d322001ad3d9446802347 《python深度学习》 from tensorflow.keras.datasets import mnist from t ......
深度学习---目标检测网络YoloX
一、网络介绍 YoloX由旷视科技开源，以YoloV3(Darknet53作为backbone)作为基线，最大的区别在于 Decoupled Head，Data Aug，Anchor Free 和样本匹配（SimOTA）这几个方面，另外还提供了完善的代码，并很贴心的提供了部署脚本，真的很友好了。 P ......
用pandas探索你的数据（五）-合并数据
用pandas探索你的数据（五）-合并数据 在数据处理和分析中，数据的合并是一项关键任务。Pandas 提供了丰富的工具来处理不同来源的数据，并将它们合并成一个更大的数据集。在这篇文章中，我们将深入探讨 Pandas 中两个重要的数据合并函数：pd.concat() 和 pd.merge()。 首先 ......
深度学习入门书籍
统计学习方法（第2版） 9.4 https://book.douban.com/subject/33437381/ 作者: 李航 出版社: 清华大学出版社 出版年: 2019-5-1 页数: 464 定价: 98.00元 装帧: 平装 ISBN: 9787302517276 深度学习入门 https ......
python pandas.DataFrame.plot( )画图
python pandas.DataFrame.plot( )画图 DataFrame.plot(x=None, y=None, kind='line', ax=None, subplots=False, sharex=None, sharey=False, layout=None,figsize= ......
时序预测的深度学习算法全面盘点
时序预测的深度学习算法全面盘点 https://blog.csdn.net/qq_34160248/article/details/131349551 https://it.sohu.com/a/690057464_121124360 https://zhuanlan.zhihu.com/p/393 ......
基于深度学习的图像生成与识别技术研究
基于深度学习的图像生成与识别技术是人工智能领域中备受关注的研究领域之一。这些技术借助深度神经网络模型，具有出色的性能和广泛的应用，包括图像生成、图像识别、图像分割等。以下是关于这两个领域的研究方向和趋势： 图像生成技术 生成对抗网络 (GANs)：GANs 是生成图像最引人注目的技术之一。它包括一个 ......
透彻理解 pandas 切片中 df.loc ,df.iloc
在处理 pandas 数据框时，选择数据是非常常见的操作。为了满足这种需求，pandas 提供了多种选择数据的方法，其中最常用的是 df.loc 和 df.iloc。尽管它们在许多情况下都可以互换使用，但它们之间确实存在一些关键区别，初学者必须明确这些区别以避免潜在的错误。 1. 基本定义 df.l ......
Redis深度历险
Redis深度历险 读书笔记 1 第一篇 基础与应用篇 1.1 Redis的用途 记录帖子的点赞数、评论数和点击数 (hash)。 记录用户的帖子 ID 列表 (排序)，便于快速显示用户的帖子列表 (zset)。 记录帖子的标题、摘要、作者和封面信息，用于列表页展示 (hash)。 记录帖子的点赞用 ......
深度学习中对多个目标标签进行训练和预测代码实例
#Tensofrlow #假设我们有一个任务是从图像中预测物体的位置（x坐标和y坐标）和物体的类别。这个任务有三个目标标签：x坐标、y坐标和类别。 import numpy as np import tensorflow as tf from tensorflow import keras from ......
深度学习梯度与反向传播
梯度与反向传播 1、梯度(方向向量) 1.1 什么是梯度 梯度：是一个向量，导数+变化最快的方向(学习的前进方向) 目标：通过梯度调整(学习)参数$$w$$,尽可能的降低$$loss$$ 一般的，随机初始一个$$w0$$,通过优化器在学习率和梯度的调整下，让$$loss$$函数取到最小值。 1.2 ......
【研究生学习】深度学习中几种常用的卷积形式的原理以及其Pytorch调用
本篇博客主要记录一下在深度学习中几种常用的卷积形式的基本原理、输入输出维度，以及如何在Pytorch中调用这些卷积形式 卷积 卷积实际上是对图像的不同区域进行特征提取，一般认为输入图像的维度为H×W×C，如下图所示： 图像具有颜色通道，一般是RGB，需要理解的是不同通道数的图像和不同的通道数的滤波器 ......
pandas（进阶操作）-- 处理非数值型数据 -- 数据分析三剑客(核心)
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 import numpy as np ......
嵌入式深度学习1-引言
嵌入式深度学习引论 博主序 这一系列博客，是以Bert Moons的《Embedded Deep Learning》为蓝本进行翻译得到的。考虑到中文互联网上资源较少，才决定写成公开博客发布至互联网的。 此系列博客选择性地做了一些翻译和梳理的工作。书中涉及的部分实例可能不会被摘录，过于基础的内容也会被 ......
modin pandas 大规模数据处理方案
modin 是一个可以快速替换原生pandas 的方案，我们只需要替换一个简单的引用，就可以将pandas 的数据处理速度有很大的提升modin 支持与不少框架的集成（ray, dask,unidisk）,目前modin 对于常用read 操作都有很不错的支持，参考图 参考架构 如下图，可以看出mo ......
Pytorch环境深度学习环境
Pytorch环境深度学习环境 1、安装minicoda 下载地址：Miniconda — miniconda documentation 设置环境变量： 安装路径\Miniconda3 安装路径\Miniconda3\Scripts 安装路径\Miniconda3\Library\bin 测试：打 ......
pandas -- DataFrame的级联以及合并操作
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 import pandas as p ......
动手学深度学习_4 多层感知机
from pixiv 多层感知机原理 隐藏层 严格一点来讲：我们需要隐藏层是因为线性是一个很强的假设，线性模型在有些情况会不适用或者出错。 一个形象的例子： 就如同上面图片中展示的XOR问题,如果我们现在想要将绿和红球分开，如果只用一条"线性"，我们会发现我们是做不到的，起码要两条及以上的"线性" ......
基于pandas的数据清洗 -- 异常值的清洗
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 自定义一个1000行3列（A，B，C ......
基于pandas的数据清洗 -- 重复值的清洗
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 df = DataFrame(dat ......
基于pandas的数据清洗 -- 缺失值（空值）的清洗
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 丢失数据的类型 原始数据中会存在两种 ......
Go结构体深度探索：从基础到应用
在Go语言中，结构体是核心的数据组织工具，提供了灵活的手段来处理复杂数据。本文深入探讨了结构体的定义、类型、字面量表示和使用方法，旨在为读者呈现Go结构体的全面视角。通过结构体，开发者可以实现更加模块化、高效的代码设计。这篇文章旨在为您提供关于结构体的深入理解，助您更好地利用Go语言的强大功能。 关 ......
pandas 加载minio 文件数据
就是一个简单记录，基于s3 进行文件存储还是比较方便的 环境准备 docker-compose.yaml version: '3' services: minio: image: minio/minio ports: - "9002:9000" - "19001:19001" environment ......
机器学习之数据处理及分析库Pandas
简介 Pandas工具包是专门用作数据处理和分析的，其底层的计算其实都是由Numpy来完成，再把复杂的操作全部封装起来，使其用起来十分高效、简洁。在数据科学领域，无论哪个方向都是跟数据打交道，所以Pandas工具包是非常实用的。 数据预处理 import pandas as pd df = pd.r ......
pandas -- 处理非数值型数据 -- 数据分析三剑客(核心)
博客地址：https://www.cnblogs.com/zylyehuo/ 为什么学习pandas numpy已经可以帮助我们进行数据的处理了，那么学习pandas的目的是什么呢？ numpy能够帮助我们处理的是数值型的数据，当然在数据分析中除了数值型的数据还有好多其他类型的数据（字符串，时间序列 ......
DataFrame的代码构建-基于RDD方式
方式一： # coding:utf8 from pyspark.sql import SparkSession if __name__ == '__main__': # 0. 构建执行环境入口对象SparkSession spark = SparkSession.builder.\ appName( ......
深度学习在图像识别领域还有哪些应用？
深度学习在图像识别领域的应用非常广泛，除了之前提到的图像分类、目标检测、语义分割和图像生成，还有其他一些应用。 图像超分辨率重建：深度学习技术可以用于提高图像的分辨率，例如通过使用生成对抗网络（GAN）和变分自编码器（VAE）等技术，可以将低分辨率的图像转换为高分辨率的图像，从而提高了图像的清晰度和 ......