tensorflow pytorch keras 3.0

动手深度学习pytorch

<script src="http://latex.codecogs.com/latex.js" type="text/javascript"></script> 引言 一:过去⼗年中取 得巨⼤进步的想法 1.如dropout (Srivastava et al., 2014),有助于减轻过拟合的危 ......
深度 pytorch

深度学习-pytorch模型构建

title: Python特殊语法--列表推导式 切片 迭代器 生成器 装饰器 lambda表达式 构建自己的模型 让我们直接切入主题,使用 PyTorch,自己构建并训练一个线性回归模型,来拟合出训练集中的走势分布。我们先随机生成训练集 X 与对应的标签 Y,具体代码如下: import nump ......
深度 模型 pytorch

深度学习基础-pytorch1

DataSet DataLoader Torchvision 数据读取 训练开始的第一步,首先就是数据读取。PyTorch 为我们提供了一种十分方便的数据读取机制,即使用 Dataset 类与 DataLoader 类的组合,来得到数据迭代器。在训练或预测时,数据迭代器能够输出每一批次所需的数据,并 ......
深度 pytorch1 pytorch 基础

pytorch中bin模型文件转onnx遇到的问题

pytorch中bin模型文件转onnx遇到的问题 1 常规做法 import os import numpy as np from transformers import GPT2LMHeadModel import torch localfile = r"C:\Users\min_ppl_mod ......
模型 pytorch 文件 问题 onnx

Pytorch 备忘清单_开发速查表分享

Pytorch 备忘清单 Pytorch 是一种开源机器学习框架,可加速从研究原型设计到生产部署的过程,备忘单是由IT宝库整理的Pytorch开发速查备忘清单为您提供了 Pytorch 基本语法和初步应用参考入门,为开发人员分享快速参考备忘单。 开发速查表大纲 入门 介绍 认识 Pytorch 创建 ......
清单 Pytorch

windows下使用pytorch进行单机多卡分布式训练

现在有四张卡,但是部署在windows10系统上,想尝试下在windows上使用单机多卡进行分布式训练,网上找了一圈硬是没找到相关的文章。以下是踩坑过程。 首先,pytorch的版本必须是大于1.7,这里使用的环境是: pytorch==1.12+cu11.6 四张4090显卡 python==3. ......
分布式 单机 windows pytorch

简单介绍TensorFlow中关于tf.app.flags命令行参数解析模块

导读 这篇文章主要介绍了TensorFlow中关于tf.app.flags命令行参数解析模块,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教 tf.app.flags命令行参数解析模块 说道命令行参数解析,就不得不提到 python 的 argparse 模块,详情可 ......
TensorFlow 模块 命令 参数 flags

简单介绍TensorFlow中关于tf.app.flags命令行参数解析模块

这篇文章主要介绍了TensorFlow中关于tf.app.flags命令行参数解析模块,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教 tf.app.flags命令行参数解析模块 说道命令行参数解析,就不得不提到 python 的 argparse 模块,详情可参考我 ......
TensorFlow 模块 命令 参数 flags

简单介绍TensorFlow中关于tf.app.flags命令行参数解析模块

这篇文章主要介绍了TensorFlow中关于tf.app.flags命令行参数解析模块,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教 tf.app.flags命令行参数解析模块 说道命令行参数解析,就不得不提到 python 的 argparse 模块,详情可参考我 ......
TensorFlow 模块 命令 参数 flags

Python keras

(一)to_categorical 说明: 简单来说,to_categorical就是将类别向量转换为二进制(只有0和1)的矩阵类型表示。其表现为将原有的类别向量转换为独热编码的形式。 例子: from keras.utils.np_utils import * #类别向量定义 b = [0,1,2 ......
Python keras

Tensorflow训练好的模型部署

导出模型 首先,需要将TensorFlow训练好的模型导出为可部署的格式。可以使用tf.saved_model API将模型保存为SavedModel格式。例如,下面的代码将模型导出为/tmp/saved_model目录: import tensorflow as tf # 生成模型 # 导出模型 ......
Tensorflow 模型

关于Tensorflow!目标检测预训练模型的迁移学习

​ 前言 关于TF的目标检测迁移学习,我一开始是想通过Tensorflow提供的API,用JS来实现的。但是官方不但没有案例,网上也没有踩坑的博客,加之我又着急要弄水印检测。 于是就在网上看了很多人用python实现的自定义训练,我也试过很多。运行的时候各种问题,不是缺少模块,就是版本兼容问题说什么 ......
Tensorflow 模型 目标

基于pytorch 的loss监控可视化

基于pytorch 的loss监控可视化 绘制可以train和val在一张图上的趋势图。 1 安装tensorboard pip install tensorboard 2 嵌入代码工程 1) 定义 数据集 # 训练可视化 from torch.utils.tensorboard import Su ......
pytorch loss

如何在 Windows10 下运行 Tensorflow 的目标检测?

前言 看过很多博主通过 Object Detection 实现了一些皮卡丘捕捉,二维码检测等诸多特定项的目标检测。而我跟着他们的案例来运行的时候,不是 Tensorflow 版本冲突,就是缺少什么包,还有是运行官方 object_detection_tutorial 不展示图片等等问题。 在看过一个 ......
Tensorflow 目标 Windows 10

HTTP 3.0之QUIC优势和TCP弊端

1 HTTP 3.0 1.1 引言 从 HTTP/1.1 到 HTTP/2,HTTP 协议一直都是使用 TCP 作为传输协议。 然而,就在最新的 HTTP/3,HTTP 就直接把 TCP 抛弃了,向孤立无援的 UDP 伸出了援手,基于 UDP 协议的基础上,在应用层实现了一个可靠的传输协议 —— Q ......
弊端 优势 HTTP QUIC 3.0

构建基于深度学习神经网络协同过滤模型(NCF)的视频推荐系统(Python3.10/Tensorflow2.11)

毋庸讳言,和传统架构(BS开发/CS开发)相比,人工智能技术确实有一定的基础门槛,它注定不是大众化,普适化的东西。但也不能否认,人工智能技术也具备像传统架构一样“套路化”的流程,也就是说,我们大可不必自己手动构建基于神经网络的机器学习系统,直接使用深度学习框架反而更加简单,深度学习可以帮助我们自动地... ......

Vue2.0和3.0watch侦听器的改变和一些问题

话不多说,直接上代码演示 运行结果 可以清楚地看到当监听的值是一个reactive定义的对象数据类型时,无法正确获得oldValue的值,也即数据发生改变之前的数据,此问题到目前仍未得到解决,不知在后续的版本中,尤雨溪及其他的团队来怎么解决这一问题 ......
侦听器 问题 watch Vue2 Vue

使用pytorch保存checkpoint以及使用checkpoint例子

https://towardsdatascience.com/how-to-save-and-load-a-model-in-pytorch-with-a-complete-example-c2920e617dee 后续在更新 ......
checkpoint 例子 pytorch

vscode杂谈-pytorch环境配置

深度学习领域pytorch的使用是必不可少的,网上对于pytorch的使用大多是基于pycharm或者jupyter上的,而vscode相对较少,我也在这里记录一下我的配置过程。 这里我默认大家已经装好anaconda,pytorch和vscode了,网上教程也很多。 1.Python环境的安装 这 ......
杂谈 pytorch 环境 vscode

pytorch 训练自己的数据集

参考文档:https://blog.csdn.net/weixin_58577392/article/details/124828281 创建一个空的虚拟环境吧 1. 环境: pytorch :根据自己cuda的环境 ninja yacs cython matplotlib tqdm opencv- ......
pytorch 数据

tensorflow checkpoint转savedmodel

checkpoint文件结构 saved_model文件结构 import tensorflow as tf def convert_model(): trained_checkpoint_prefix = '/home/tiwang/code/jupyter-notebook/DIEN/dien/ ......
tensorflow checkpoint savedmodel

使用Pytorch实现对比学习SimCLR 进行自监督预训练

SimCLR(Simple Framework for Contrastive Learning of Representations)是一种学习图像表示的自监督技术。 与传统的监督学习方法不同,SimCLR 不依赖标记数据来学习有用的表示。 它利用对比学习框架来学习一组有用的特征,这些特征可以从未 ......
Pytorch SimCLR

转(Pytorch项目结构

序 你是否有过这样的经历:炼了一大堆的丹,但过了一周回来看结果,忘记了每个模型对应的配置;改了模型中的一个组件,跑起来一个新的训练,这时候测试旧模型却发现结果跟原来不一样了;把所有的训练测试代码写在一个文件里,加入各种if else,最后一个文件上千行,一个周末没看,回来改一个逻辑要找半天……其实这 ......
Pytorch 结构 项目

TensorFlow模型保存和提取方法

https://blog.csdn.net/marsjhao/article/details/72829635?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLI ......
TensorFlow 模型 方法

pytorch cuda gpu版本与detectron2、jupyter notebook安装

任意版本的pytorch、cuda的gpu版本与detectron2、jupyter notebook安装 1. 简介 本文主要介绍pytorch cuda gpu版本与detectron2、jupyter notebook安装, 主要是基于docker构建AI开发/预测用的环境. 优势与不足 优势 ......

【代码实现】最新PyTorch机器学习与深度学习技术方法

近年来,随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生,人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术,在许多行业都取得了颠覆性的成果。另外,近年来,Pytorch深度学习框架受到越来越多科研人员的关注和喜爱。 本次内容在掌握深度学习的基础知识,与经 ......
深度 机器 PyTorch 代码 方法

Introduction-to-PyTorch-reading-notes

Introduction to PyTorch 阅读笔记 Datetime: 2023-03-24T20:45+08:00 Categories: Python | MachineLearning 兜兜转转还是来到了 DL 的大门前 写了一半,结果不知道为什么都没了,明明 vscode autosa ......

深度学习之PyTorch实战(4)——迁移学习

(这篇博客其实很早之前就写过了,就是自己对当前学习pytorch的一个教程学习做了一个学习笔记,一直未发现,今天整理一下,发出来与前面基础形成连载,方便初学者看,但是可能部分pytorch和torchvision的API接口已经更新了,导致部分代码会产生报错,但是其思想还是可以借鉴的。 因为其中内容 ......
实战 深度 PyTorch

[tensorflow]plot_model

[ImportError: Failed to import pydot. You must install pydot and graphviz for pydotprint to work] python使用tensorflow库时报错 import tensorflow tensorflow. ......
tensorflow plot_model model plot

pytorch gather b2 = a.gather(1, b.view(-1, 1))

import torch a = torch.randint(0, 100, (6,3)) b = torch.Tensor([0, 1, 1, 2, 0, 2]).long() b = b.unsqueeze(1) b0 = b.view(-1, 1) b2 = a.gather(1, b.vie ......
gather pytorch view b2