526互联

模型llama a100 7b

GPU通用计算编程模型

这是我阅读General-Purpose Graphics Processor Architecture的一篇笔记，本文对应书中第二章的内容。 执行模型 现代GPU普遍采用SIMD来实现数据级（data-level）并行，程序员通过诸如CUDA等API以在GPU上启动一系列的线程（thread）执行 ......
模型 GPU

三维模型3DTile格式轻量化的数据压缩与性能平衡关系分析

三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
模型 性能 格式 数据 3DTile

基于AI模型的验证码安全识别(B站，知乎等)

基于使用AI模型解决B站,知乎等平台的安全验证问题，比如 滑块验证，数字识别验证，汉字点击顺序验证，旨在解决爬虫爬取数据过程中的一些反爬措施，仅做学习参考 ......
模型

400万token，大模型推理飙升22倍！清华校友爆火一作，GitHub狂揽1.8k星

前言 大模型上下文限制不是事儿？ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线!! ......
校友 模型 GitHub token 400

LLM实践-在Colab上使用免费T4 GPU进行Chinese-Llama-2-7b-4bit推理

一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_ ......
Chinese-Llama Chinese Colab Llama 4bit

sv的LSB 使用+SV的protect类型+RAL模型的lock原因+C语言结构体中的冒号用法+uvm版本在退出机制的区别+sv的random的seed生效问题+verdi的reserve的debug+vcs禁用打印屏幕输出+清空seqr中的seq+sv使用process开启进程和结束

sv的LSB 使用 https://blog.csdn.net/gsjthxy/article/details/90722378 等价关系 [LSB+:STEP] = [LSB+STEP:LSB] 伪代码： bit [1023:0] mem; bit [7:0] data; j = 0..100 m ......
冒号 模型 进程 屏幕 机制

Llama2-Chinese项目：8-TRL资料整理

TRL（Transformer Reinforcement Learning）是一个使用强化学习来训练Transformer语言模型和Stable Diffusion模型的Python类库工具集，听上去很抽象，但如果说主要是做SFT（Supervised Fine-tuning）、RM（Reward ......
Llama2-Chinese Chinese 项目 Llama2 资料

Llama2-Chinese项目：7-外延能力LangChain集成

本文介绍了Llama2模型集成LangChain框架的具体实现，这样可更方便地基于Llama2开发文档检索、问答机器人和智能体应用等。 1.调用Llama2类 针对LangChain[1]框架封装的Llama2 LLM类见examples/llama2_for_langchain.py，调用代码如下 ......
外延 Llama2-Chinese LangChain Chinese 能力

Llama2-Chinese项目：4-量化模型

一.量化模型调用方式 下面是一个调用FlagAlpha/Llama2-Chinese-13b-Chat[1]的4bit压缩版本FlagAlpha/Llama2-Chinese-13b-Chat-4bit[2]的例子： from transformers import AutoTokenizerfro ......
Llama2-Chinese 模型 Chinese 项目 Llama2

Llama2-Chinese项目：6-模型评测

测试问题筛选自AtomBulb[1]，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。 1.测试中的Prompt 例如对于问题"列出5种可以改善睡眠质量的方法"，如下所示： [INST] <<SYS>>You are a helpf ......
Llama2-Chinese 模型 Chinese 项目 Llama2

Llama2-Chinese项目：5-推理加速

随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含lmdeploy、FasterTransformer和vLLM等。 一.lmdeploy推理部署 lmdeploy由上海人工智能实验室开发，推理使用C++/CUDA，对外提供pyth ......
Llama2-Chinese Chinese 项目 Llama2 Llama

基于TRE文章的非线性模型化线性方法

之前写过一篇有关TRE优化模型详解的博文： https://www.cnblogs.com/zoubilin/p/17270435.html 这篇文章里面的附录给出了非线性模型化线性的方式，具体内容如下： 首先是篇文章的变量和原模型（具体见我上面那篇笔记）： 其次这篇文章附录给出的非线性化线性的方法 ......
非线性 线性 模型 方法 文章

深入浅出-七层网络模型

网络基本概念 OSI模型 OSI 模型(Open System Interconnection model)是一个由国际标准化组织􏰁提出的概念模型,试图􏰁供一个使各种不同的计算机和网络在世界范围内实现互联的标准框架。 它将计算机网络体系结构划分为七层,每层都可以􏰁供抽象良好的接口。了解 OSI ......
深入浅出 模型 网络

django模型不应该作为参数传递给task

Django 模型对象。它们不应该作为任务的参数传递。当任务运行时从数据库重新获取对象几乎总是更好，因为使用旧数据可能会导致竞争条件。 想象一下以下场景，您有一篇文章和一个自动扩展其中一些缩写的任务： class Article(models.Model): title = models.CharF ......
模型 参数 django task

线性混合模型为什么是多元高斯分布

如何建立高斯模型，可以看图根据每类数据做一个高斯函数，然后做一个混合高斯密度函数。如果提取目标的话得把目标的概率函数提取出来。 ......
线性 模型

大模型rlhf 相关博客

想学习第一篇博客: https://huggingface.co/blog/zh/rlhf RLHF 技术分解 RLHF 是一项涉及多个模型和不同训练阶段的复杂概念，这里我们按三个步骤分解： 预训练一个语言模型 (LM) ； 聚合问答数据并训练一个奖励模型 (Reward Model，RM) ； 用 ......
模型 博客 rlhf

大模型量化4

https://huggingface.co/blog/peft 看代码: from transformers import AutoModelForSeq2SeqLM + from peft import get_peft_model, LoraConfig, TaskType model_nam ......
模型

大语言模型LLM推理及训练显存计算方法

一、推理：显存计算 推理的显存大头就是：参数量，参数类型版本一般有以下四种： float 32位 浮点数 4 字节 half / BF16 16位 浮点数 2 字节 int8 8位 整数 1 字节 int4 4位 整数 0.5 字节 以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = ......
显存 模型 语言 方法 LLM

判别模型和生成模型

生成模型就像它的名字可以模拟训练数据的特征分布。 判别模型只能根据输入变量x判断其类别。 抽象一下都是p(Y|x) ......
模型

大模型量化3

https://huggingface.co/blog/4bit-transformers-bitsandbytes 1. 8 位float The FP8 (floating point 8) format has been first introduced in the paper “FP8 f ......
模型

Odoo模型的内置方法(可按需重写）

模型层面 一：_table_exist 检查该模型对于的数据库表是否存在，是则返回1，否则返回0. @api.model_cr def _table_exist(self): pass 模型记录层面 二：create(self,vals) 记录的创建函数，一般情况下，是根据视图传过来的dict对象， ......
模型 方法 Odoo

redis7源码分析：redis 多线程模型解析

多线程模式中，在main函数中会执行InitServerLast void InitServerLast() { bioInit(); // 关键一步， 这里启动了多条线程，用于执行命令，redis起名为IO 线程 initThreadedIO(); set_jemalloc_bg_thread(s ......
redis 线程 源码 模型 redis7

redis7源码分析：redis 单线程模型解析，一条get命令执行流程

有了下文的梳理后 redis 启动流程 再来解析redis 在单线程模式下解析并处理客户端发来的命令 1. 当 client fd 可读时，会回调readQueryFromClient函数 void readQueryFromClient(connection *conn) { client *c ......
redis 线程 源码 模型 命令

聊聊基于Alink库的随机森林模型

概述 随机森林（Random Forest）是一种集成学习（Ensemble Learning）方法，通过构建多个决策树并汇总其预测结果来完成分类或回归任务。每棵决策树的构建过程中都引入了随机性，包括数据采样和特征选择的随机性。 随机森林的基本原理可以概括如下： 随机抽样训练集：随机森林通过有放回抽 ......
模型 森林 Alink

Llama2-Chinese项目：3.2-LoRA微调和模型量化

提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式为"<s>Human: "+问题+"\n</s><s>Assistant: "+答案。本文主要介绍Llama-2-7b模型LoRA微调以及4bit量化的实践过程。 ......
Llama2-Chinese 模型 Chinese 项目 Llama2

CLIP模型代码

近期看到了一篇用CLIP在我这个方向应用的文章，所以玩了一下CLIP，感觉效果还是很好的。 首先，github上的zero-shot代码 import os import clip import torch from torchvision.datasets import CIFAR100 # Lo ......
模型 代码 CLIP

手把手教你在Ubuntu上部署中文LLAMA-2大模型

一、前言 llama2作为目前最优秀的的开源大模型，相较于chatGPT，llama2占用的资源更少，推理过程更快，本文将借助llama.cpp工具在ubuntu(x86\ARM64）平台上搭建纯CPU运行的中文LLAMA2中文模型。 二、准备工作 1、一个Ubuntu环境（本教程基于Ubuntu2 ......
模型 Ubuntu LLAMA

全新注意力算法PagedAttention：LLM吞吐量提高2-4倍，模型越大效果越好

前言 吞吐量上不去有可能是内存背锅！无需修改模型架构，减少内存浪费就能提高吞吐量！ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
吞吐量 PagedAttention 算法 注意力 模型

【8.0】Fastapi响应模型

【一】自定义响应模型 【1】定义视图函数 from fastapi import APIRouter from pydantic import BaseModel, EmailStr from typing import Optional app04 = APIRouter() ### 响应模型 # ......
模型 Fastapi 8.0

Llama2-Chinese项目：2.3-预训练使用QA还是Text数据集？

Llama2-Chinese项目给出pretrain的data为QA数据格式，可能会有疑问pretrain不应该是Text数据格式吗？而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术，给出pretrain的data为Text数据格式。所以推测应该pre ......
Llama2-Chinese Chinese 还是 项目 数据
共3520篇  :32/118页 首页上一页32下一页尾页