526互联

深度tensorrt模型

Llama2-Chinese项目：4-量化模型

一.量化模型调用方式 下面是一个调用FlagAlpha/Llama2-Chinese-13b-Chat[1]的4bit压缩版本FlagAlpha/Llama2-Chinese-13b-Chat-4bit[2]的例子： from transformers import AutoTokenizerfro ......
Llama2-Chinese 模型 Chinese 项目 Llama2

Llama2-Chinese项目：6-模型评测

测试问题筛选自AtomBulb[1]，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。 1.测试中的Prompt 例如对于问题"列出5种可以改善睡眠质量的方法"，如下所示： [INST] <<SYS>>You are a helpf ......
Llama2-Chinese 模型 Chinese 项目 Llama2

基于TRE文章的非线性模型化线性方法

之前写过一篇有关TRE优化模型详解的博文： https://www.cnblogs.com/zoubilin/p/17270435.html 这篇文章里面的附录给出了非线性模型化线性的方式，具体内容如下： 首先是篇文章的变量和原模型（具体见我上面那篇笔记）： 其次这篇文章附录给出的非线性化线性的方法 ......
非线性 线性 模型 方法 文章

Redis深度历险

Redis深度历险 读书笔记 1 第一篇 基础与应用篇 1.1 Redis的用途 记录帖子的点赞数、评论数和点击数 (hash)。 记录用户的帖子 ID 列表 (排序)，便于快速显示用户的帖子列表 (zset)。 记录帖子的标题、摘要、作者和封面信息，用于列表页展示 (hash)。 记录帖子的点赞用 ......
深度 Redis

深度学习中对多个目标标签进行训练和预测代码实例

#Tensofrlow #假设我们有一个任务是从图像中预测物体的位置（x坐标和y坐标）和物体的类别。这个任务有三个目标标签：x坐标、y坐标和类别。 import numpy as np import tensorflow as tf from tensorflow import keras from ......
实例 深度 多个 目标 代码

深入浅出-七层网络模型

网络基本概念 OSI模型 OSI 模型(Open System Interconnection model)是一个由国际标准化组织􏰁提出的概念模型,试图􏰁供一个使各种不同的计算机和网络在世界范围内实现互联的标准框架。 它将计算机网络体系结构划分为七层,每层都可以􏰁供抽象良好的接口。了解 OSI ......
深入浅出 模型 网络

django模型不应该作为参数传递给task

Django 模型对象。它们不应该作为任务的参数传递。当任务运行时从数据库重新获取对象几乎总是更好，因为使用旧数据可能会导致竞争条件。 想象一下以下场景，您有一篇文章和一个自动扩展其中一些缩写的任务： class Article(models.Model): title = models.CharF ......
模型 参数 django task

线性混合模型为什么是多元高斯分布

如何建立高斯模型，可以看图根据每类数据做一个高斯函数，然后做一个混合高斯密度函数。如果提取目标的话得把目标的概率函数提取出来。 ......
线性 模型

大模型rlhf 相关博客

想学习第一篇博客: https://huggingface.co/blog/zh/rlhf RLHF 技术分解 RLHF 是一项涉及多个模型和不同训练阶段的复杂概念，这里我们按三个步骤分解： 预训练一个语言模型 (LM) ； 聚合问答数据并训练一个奖励模型 (Reward Model，RM) ； 用 ......
模型 博客 rlhf

大模型量化4

https://huggingface.co/blog/peft 看代码: from transformers import AutoModelForSeq2SeqLM + from peft import get_peft_model, LoraConfig, TaskType model_nam ......
模型

大语言模型LLM推理及训练显存计算方法

一、推理：显存计算 推理的显存大头就是：参数量，参数类型版本一般有以下四种： float 32位 浮点数 4 字节 half / BF16 16位 浮点数 2 字节 int8 8位 整数 1 字节 int4 4位 整数 0.5 字节 以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = ......
显存 模型 语言 方法 LLM

判别模型和生成模型

生成模型就像它的名字可以模拟训练数据的特征分布。 判别模型只能根据输入变量x判断其类别。 抽象一下都是p(Y|x) ......
模型

大模型量化3

https://huggingface.co/blog/4bit-transformers-bitsandbytes 1. 8 位float The FP8 (floating point 8) format has been first introduced in the paper “FP8 f ......
模型

Odoo模型的内置方法(可按需重写）

模型层面 一：_table_exist 检查该模型对于的数据库表是否存在，是则返回1，否则返回0. @api.model_cr def _table_exist(self): pass 模型记录层面 二：create(self,vals) 记录的创建函数，一般情况下，是根据视图传过来的dict对象， ......
模型 方法 Odoo

redis7源码分析：redis 多线程模型解析

多线程模式中，在main函数中会执行InitServerLast void InitServerLast() { bioInit(); // 关键一步， 这里启动了多条线程，用于执行命令，redis起名为IO 线程 initThreadedIO(); set_jemalloc_bg_thread(s ......
redis 线程 源码 模型 redis7

深度学习梯度与反向传播

梯度与反向传播 1、梯度(方向向量) 1.1 什么是梯度 梯度：是一个向量，导数+变化最快的方向(学习的前进方向) 目标：通过梯度调整(学习)参数$$w$$,尽可能的降低$$loss$$ 一般的，随机初始一个$$w0$$,通过优化器在学习率和梯度的调整下，让$$loss$$函数取到最小值。 1.2 ......
梯度 深度

【研究生学习】深度学习中几种常用的卷积形式的原理以及其Pytorch调用

本篇博客主要记录一下在深度学习中几种常用的卷积形式的基本原理、输入输出维度，以及如何在Pytorch中调用这些卷积形式 卷积 卷积实际上是对图像的不同区域进行特征提取，一般认为输入图像的维度为H×W×C，如下图所示： 图像具有颜色通道，一般是RGB，需要理解的是不同通道数的图像和不同的通道数的滤波器 ......
卷积 深度 原理 研究生 形式

redis7源码分析：redis 单线程模型解析，一条get命令执行流程

有了下文的梳理后 redis 启动流程 再来解析redis 在单线程模式下解析并处理客户端发来的命令 1. 当 client fd 可读时，会回调readQueryFromClient函数 void readQueryFromClient(connection *conn) { client *c ......
redis 线程 源码 模型 命令

聊聊基于Alink库的随机森林模型

概述 随机森林（Random Forest）是一种集成学习（Ensemble Learning）方法，通过构建多个决策树并汇总其预测结果来完成分类或回归任务。每棵决策树的构建过程中都引入了随机性，包括数据采样和特征选择的随机性。 随机森林的基本原理可以概括如下： 随机抽样训练集：随机森林通过有放回抽 ......
模型 森林 Alink

Llama2-Chinese项目：3.2-LoRA微调和模型量化

提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式为"<s>Human: "+问题+"\n</s><s>Assistant: "+答案。本文主要介绍Llama-2-7b模型LoRA微调以及4bit量化的实践过程。 ......
Llama2-Chinese 模型 Chinese 项目 Llama2

嵌入式深度学习1-引言

嵌入式深度学习引论 博主序 这一系列博客，是以Bert Moons的《Embedded Deep Learning》为蓝本进行翻译得到的。考虑到中文互联网上资源较少，才决定写成公开博客发布至互联网的。 此系列博客选择性地做了一些翻译和梳理的工作。书中涉及的部分实例可能不会被摘录，过于基础的内容也会被 ......
引言 嵌入式 深度

Pytorch环境深度学习环境

Pytorch环境深度学习环境 1、安装minicoda 下载地址：Miniconda — miniconda documentation 设置环境变量： 安装路径\Miniconda3 安装路径\Miniconda3\Scripts 安装路径\Miniconda3\Library\bin 测试：打 ......
环境 深度 Pytorch

CLIP模型代码

近期看到了一篇用CLIP在我这个方向应用的文章，所以玩了一下CLIP，感觉效果还是很好的。 首先，github上的zero-shot代码 import os import clip import torch from torchvision.datasets import CIFAR100 # Lo ......
模型 代码 CLIP

手把手教你在Ubuntu上部署中文LLAMA-2大模型

一、前言 llama2作为目前最优秀的的开源大模型，相较于chatGPT，llama2占用的资源更少，推理过程更快，本文将借助llama.cpp工具在ubuntu(x86\ARM64）平台上搭建纯CPU运行的中文LLAMA2中文模型。 二、准备工作 1、一个Ubuntu环境（本教程基于Ubuntu2 ......
模型 Ubuntu LLAMA

动手学深度学习_4 多层感知机

from pixiv 多层感知机原理 隐藏层 严格一点来讲：我们需要隐藏层是因为线性是一个很强的假设，线性模型在有些情况会不适用或者出错。 一个形象的例子： 就如同上面图片中展示的XOR问题,如果我们现在想要将绿和红球分开，如果只用一条"线性"，我们会发现我们是做不到的，起码要两条及以上的"线性" ......
多层 深度

全新注意力算法PagedAttention：LLM吞吐量提高2-4倍，模型越大效果越好

前言 吞吐量上不去有可能是内存背锅！无需修改模型架构，减少内存浪费就能提高吞吐量！ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
吞吐量 PagedAttention 算法 注意力 模型

【8.0】Fastapi响应模型

【一】自定义响应模型 【1】定义视图函数 from fastapi import APIRouter from pydantic import BaseModel, EmailStr from typing import Optional app04 = APIRouter() ### 响应模型 # ......
模型 Fastapi 8.0

Go结构体深度探索：从基础到应用

在Go语言中，结构体是核心的数据组织工具，提供了灵活的手段来处理复杂数据。本文深入探讨了结构体的定义、类型、字面量表示和使用方法，旨在为读者呈现Go结构体的全面视角。通过结构体，开发者可以实现更加模块化、高效的代码设计。这篇文章旨在为您提供关于结构体的深入理解，助您更好地利用Go语言的强大功能。 关 ......
深度 结构 基础

Llama2-Chinese项目：1-项目介绍和模型推理

Atom-7B与Llama2间的关系：Atom-7B是基于Llama2进行中文预训练的开源大模型。为什么叫原子呢？因为原子生万物，Llama中文社区希望原子大模型未来可以成为构建AI世界的基础单位。目前社区发布了6个模型，如下所示： FlagAlpha/Atom-7B FlagAlpha/Llama ......
项目 Llama2-Chinese 模型 Chinese Llama2

Llama2-Chinese项目：2.2-大语言模型词表扩充

因为原生LLaMA对中文的支持很弱，一个中文汉子往往被切分成多个token，因此需要对其进行中文词表扩展。思路通常是在中文语料库上训练一个中文tokenizer模型，然后将中文tokenizer与LLaMA原生tokenizer进行合并，最终得到一个扩展后的tokenizer模型。国内Chinese ......
词表 Llama2-Chinese 模型 Chinese 语言
共4500篇  :41/150页 首页上一页41下一页尾页