张量 标量 向量pytorch
pytorch——支持向量机
1、任务要求 针对已知类别的5张卧室照片(标签为+1)和5张森林照片(标签为-1)所对应的矩阵数据进行分类训练,得到训练集模型;再利用支持向量机对另外未知类别的5张卧室照片和5张森林照片数据进行测试分类(二分类)，得到分类结果及其准确率。 2、先导入查看基本数据 3、合并数据 将房间的数据和森林的数 ......
Linux服务器快速安装PostgreSQL15以及pgvector向量插件
最近开始体验FastGPT或Dify等开源知识库问答系统，用他们试着开发调试一些小助手。这中间需要使用到PostgreSQL，就在自己服务器上进行了安装，特此记录下。 环境说明：阿里云ECS，2核8G，X86架构，CentOS 7.9操作系统。 选择版本 1.打开PostgreSQL官网下载页面，选 ......
机器学习中的算法——支持向量机（SVM)
1.SVM的核心要素 支持向量机是一种二分类模型，他基本模型是定义在特征空间上的间隔最大的线性分类器。 通俗的说很类似于上次讲的那个回归的分类，其实从平面上看也是找一条直线来分割，分割的两边就是分类的结果，只不过这次的分类是找到一条线使得它能够对两旁的点距离最远。 也就是说，离直线最近的点要尽可能远 ......
pytorch减少显存方式
引导 1. 显存都用在哪儿了？ 2. 技巧 1：使用就地操作 3. 技巧 2：避免中间变量 4. 技巧 3：优化网络模型 5. 技巧 4：减小 BATCH_SIZE 6. 技巧 5：拆分 BATCH 7. 技巧 6：降低 PATCH_SIZE 8. 技巧 7：优化损失求和 9. 技巧 8：调整训练精 ......
Cesium学习笔记11——坐标量测
代码： 1 var annotations; 2 function axToolCoordinate(layer) { 3 var handler=new Cesium.ScreenSpaceEventHandler(viewer.canvas); 4 annotations=viewer.scen ......
大模型-向量数据库
向量数据库很多，先试试milvus。 1、安装：通过docker pull没搞定。使用官网的docker-compose搞定了。 2、运行：需要启动3个容器： docker start milvus-etcd docker start milvus-minio docker start milvus ......
向量数据库 及 LangChain 用法
当今科技领域的发展日新月异，向量数据库成为了热门的话题之一。 这些数据库以其高效的向量检索和相似度搜索功能，为各种应用场景提供了强大的支持。 本文旨在汇总向量数据库 Milvus、Zilliz、Faiss、Qdrant、LlamaIndex、Chroma、LanceDB、Pinecone、Weavi ......
使用ubuntu根据cuda11.2安装pytorch
在使用镜像新建了一个cuda11.2-python3.9 容器配置环境的过程中需要安装PyTorch。一开始我直接使用 pip install torch 来进行安装，但是运行程序时出现报错： RuntimeError: The NVIDIA driver on your system is too ......
pytorch——房价预测
1、首先对数据进行读取和预处理 2、读取数据后，对x数据进行标准化处理，以便于后续训练的稳定性，并转换为tensor格式 3、接下来设置训练参数和模型 这里采用回归模型，既y=x*weight1+bias1，设置的学习率为0.0006，损失函数采用了MSE（均方误差） 4、绘制图像 由于数据量较少， ......
【Pytorch基础实战】第一节，BP神经网络
项目地址 https://gitee.com/wxzcch/pytorchbase/tree/master/leason_1 实现代码 import pandas as pd import torch import torch.nn as nn import torch.optim as optim ......
使用 PyTorch FSDP 微调 Llama 2 70B
引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。我们还将展示如何在 SLURM 中使用 Accelerate。 完全分片数据并 ......
使用PyTorch II的新特性加快LLM推理速度
Pytorch团队提出了一种纯粹通过PyTorch新特性在的自下而上的优化LLM方法，包括: Torch.compile: PyTorch模型的编译器 GPU量化:通过降低精度操作来加速模型 推测解码:使用一个小的“草稿”模型来加速llm来预测一个大的“目标”模型的输出 张量并行:通过在多个设备上运 ......
基于支持向量机SVM和MLP多层感知神经网络的数据预测matlab仿真
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 支持向量机（SVM）和多层感知器（MLP）是两种常用的机器学习算法，它们在数据预测和分类任务中都有广泛的应用。下面将详细介绍这两种算法的原理和数学公式。 一、支持向量机（SVM） 支持向量机是一种二分类算法，其基 ......
向量
向量 一、向量的线性运算 1.1定义 有向线段即为向量（有方向、有大小） 引入向量能干嘛？可以简化方程。 例： \[F_x(x)=ma_x\Longrightarrow\\ F_y(x)=ma_y\Longrightarrow\\ F_z(x)=ma_z\Longrightarrow\\ \]这是三 ......
将向量提取器用于平行语料对齐的一个小示例
from sentence_transformers import SentenceTransformer import numpy as np from os import path model_path = ( '/data/m3e-base' if path.isdir('/data/m3e- ......
在pytorch中保存模型或模型参数
在 PyTorch 中，我们可以使用 torch.save 函数将 PyTorch 模型保存到文件。这个函数接受两个参数：要保存的对象（通常是模型），以及文件路径。 保存模型参数 import torch import torch.nn as nn # 假设有一个简单的模型 class Simple ......
支持向量机 Support Vector Machine
b站链接【白板推导系列-支持向量机】 SVM 有三宝：间隔、对偶、核技巧 SVM 分类： hard-margin SVM 硬间隔 soft-margin SVM 软间隔 kernel SVM 核 硬间隔分类器（最大间隔分类器）max margin 判别模型： \[f(w)=sign(w^Tx+b) ......
pytorch强制转换模型的所有参数都变成统一类型
可以调用模型的父类Module中的type方法，例如model.type(torch.float64)，将网络模型model的参数和缓冲区强制转换为torch.float64类型，这样就可以训练torch.float64类型的数据了，还可以指定其他类型。另外还有一些强制转换为某一种类型的方法：flo ......
自有AI芯片接入AI框架Pytorch的方案
现在AI框架主要用Pytorch，包括一些常用的库对Pytorch支持都较好 一、华为昇腾npu 能够跟上Pytorch的更新，直接和Pytorch兼容，而且有较多人来维护，代码风格不错，之前是通过注入Pytorch预留的的xla搞的接入，现在被官方接收了。 二、寒武纪MLU 这个版本很老，他们是通 ......
【PyTorch】如何判定运算维度
实际上无论是几维，方法都是一样。假设以 torch.softmax() 为例： # 下面运行结果所使用的代码 import torch import numpy as np z = np.arange(1, 33).reshape((2, 2, 2, 4)) z = torch.tensor(z, ......
PyTorch造大模型“加速包”，不到1000行代码提速10倍！英伟达科学家：minGPT以来最好的教程式repo之一
前言 PyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码！ 本文转载自量子位 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 ......
[机器学习复习笔记] SVM 支持向量机
SVM 支持向量机 1. SVM 基本模型 1.1 线性可分问题 给定一个训练样本集 \(D = \{(x_1, y_1), (x_2, y_2), ... , (x_n, y_n)\}, \; y_i \in \{-1, +1\}\)。假设两个点集 \(D_0\) 和 \(D_1\)，且 \(D_ ......
使用 PyTorch 完全分片数据并行技术加速大模型训练
本文，我们将了解如何基于 PyTorch 最新的 完全分片数据并行 (Fully Sharded Data Parallel，FSDP) 功能用 Accelerate 库来训练大模型。 动机 🤗 随着机器学习 (ML) 模型的规模、大小和参数量的不断增加，ML 从业者发现在自己的硬件上训练甚至加载 ......
[pytorch] 余弦退火+warmup实现调研
tl;dr: pytorch的 torch.optim.lr_scheduler.OneCycleLR 就很不错，能兼顾warmup和余弦学习率，也不用下载额外的包 import torch from torch.optim.lr_scheduler import CosineAnnealingLR ......
Java开发者的Python快速实战指南：探索向量数据库之图像相似搜索-文字版
在开始讲解之前，我想给大家介绍一个很有用的第三方包，它就是gradio。如果你想与他人共享你的机器学习模型、API或数据科学工作流的最佳方式之一，可以创建一个交互式应用，让用户或同事可以在浏览器中试用你的演示。而gradio正是可以帮助你在Python中构建这样的演示，并且只需要几行代码即可完成！ ......
如何实现图像搜索，文搜图，图搜图，CLIP+faiss向量数据库实现图像高效搜索
如何实现图像搜索，文搜图，图搜图，CLIP+faiss向量数据库实现图像高效搜索 这是AIGC的时代，各种GPT大模型生成文本，还有多模态图文并茂大模型， 以及stable diffusion和stable video diffusion 图像生成视频生成等新模型， 层出不穷，如何生成一个图文并貌的 ......
pytorch3d安装报错
LINK : fatal error LNK1181: 无法打开输入文件“G:\pychram_workspace\ER-NeRF\pytorch3d\build\temp.win-amd64-cpython-310\Release\pychram_workspace\ER-NeRF\pytorch ......
PyTorch解説
PyTorch是一种面向Python的开源机器学习库。它是由Facebook的人工智能研究团队基于最初支持多范式脚本语言“Lua”的Torch开发而来。 Python是一种广泛用于“利用机器学习进行人工智能开发”、“Web服务和Web应用开发”、“区块链开发”以及“物联网开发”等多个领域的编程语言。 ......
Keras 3.0正式发布：可用于TensorFlow、JAX和PyTorch
前言 Keras 3.0正式发布：可用于TensorFlow、JAX和PyTorch 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】 ......
pytorch 学习记录——计算图
1. pytorch的计算图是动态更新的（tensorflow是静态计算图），数据流向可以是双向的。 2. pytorch variable(用于封装tensor，便于自动求导的变量类型，在pytorch0.4.0之后版本已被并入tensor) 基本属性：data，dtype，shape，devic ......