526互联

transformer模型gpt

大语言模型黑盒被打破；Meta 元宇宙硬件亏损可能高于市场共识丨 RTE 开发者日报 Vol.60

开发者朋友们大家好： 这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家留 ......
开发者 共识 宇宙 模型 语言

简述osi七层模型和TCP/IP五层模型

1、物理层：实际的最终信号的传输是通过物理层实现的。通过物理介质传输0-1 比特流。常用的设备有（各种物理设备）集线器、中继器、调制解调器、网线、双绞线、同轴电缆。这些都是物理层的传输介质。 传输的单位是比特。​2、数据链路层：将比特组合成字节，再将字节组合成帧，使用数据链路层地址 （以太网使用的是 ......
模型 osi TCP IP

GPU通用计算编程模型

这是我阅读General-Purpose Graphics Processor Architecture的一篇笔记，本文对应书中第二章的内容。 执行模型 现代GPU普遍采用SIMD来实现数据级（data-level）并行，程序员通过诸如CUDA等API以在GPU上启动一系列的线程（thread）执行 ......
模型 GPU

Transformer 优缺点分析

https://aistudio.baidu.com/projectdetail/4909750 https://zhuanlan.zhihu.com/p/330483336 Transformer优点有位置关联操作不受限，建模能力强，通用性强，可扩展性强，能更好的进行并行运算。 Transform ......
优缺点 Transformer

三维模型3DTile格式轻量化的数据压缩与性能平衡关系分析

三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
模型 性能 格式 数据 3DTile

【NIPS2021】Twins: Revisiting the Design of Spatial Attention in Vision Transformers

来自美团技术团队♪（＾∀＾●）ﾉｼ 论文地址：https://arxiv.org/abs/2104.13840 代码地址：https://git.io/Twins 一、写在前面 本文提出了两种视觉转换器架构，即Twins-PCPVT和Twins-SVT。 Twins-PCPVT 将金字塔 Trans ......
Transformers Revisiting Attention Spatial Design

基于AI模型的验证码安全识别(B站，知乎等)

基于使用AI模型解决B站,知乎等平台的安全验证问题，比如 滑块验证，数字识别验证，汉字点击顺序验证，旨在解决爬虫爬取数据过程中的一些反爬措施，仅做学习参考 ......
模型

400万token，大模型推理飙升22倍！清华校友爆火一作，GitHub狂揽1.8k星

前言 大模型上下文限制不是事儿？ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线!! ......
校友 模型 GitHub token 400

微软写了份GPT-4V说明书：166页详细讲解，提示词demo示例全都有

克雷西萧箫发自凹非寺 量子位公众号 QbitAI 多模态王炸大模型 GPT-4V，166 页“说明书”重磅发布！而且还是微软团队出品。 什么样的论文，能写出 166 页？ 不仅详细测评了 GPT-4V 在十大任务上的表现，从基础的图像识别、到复杂的逻辑推理都有展示； 还传授了一整套多模态大模型提示词 ......
示例 说明书 全都 demo GPT

GPT之路(九) LangChain - Memory

记忆封装 - Memory (langchain memory) Memory：这里不是物理内存，从文本的角度，可以理解为“上文”、“历史记录”或者说“记忆力”的管理 ConversationBufferMemory可也用来保留会话信息 In [ ]: from langchain.memory i ......
LangChain Memory GPT

sv的LSB 使用+SV的protect类型+RAL模型的lock原因+C语言结构体中的冒号用法+uvm版本在退出机制的区别+sv的random的seed生效问题+verdi的reserve的debug+vcs禁用打印屏幕输出+清空seqr中的seq+sv使用process开启进程和结束

sv的LSB 使用 https://blog.csdn.net/gsjthxy/article/details/90722378 等价关系 [LSB+:STEP] = [LSB+STEP:LSB] 伪代码： bit [1023:0] mem; bit [7:0] data; j = 0..100 m ......
冒号 模型 进程 屏幕 机制

矩阵的乘法运算与css的3d变换（transform）

theme: qklhk-chocolate 引言：你有没好奇过，在一个使用了transform变换的元素上使用window.getComputedStyle(htmlElement)['transform'] 查询出来的值代表什么？ 为什么硬件加速要使用transform，以及为什么硬件加速会快? ......
乘法 矩阵 transform css

Llama2-Chinese项目：4-量化模型

一.量化模型调用方式 下面是一个调用FlagAlpha/Llama2-Chinese-13b-Chat[1]的4bit压缩版本FlagAlpha/Llama2-Chinese-13b-Chat-4bit[2]的例子： from transformers import AutoTokenizerfro ......
Llama2-Chinese 模型 Chinese 项目 Llama2

Llama2-Chinese项目：6-模型评测

测试问题筛选自AtomBulb[1]，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。 1.测试中的Prompt 例如对于问题"列出5种可以改善睡眠质量的方法"，如下所示： [INST] <<SYS>>You are a helpf ......
Llama2-Chinese 模型 Chinese 项目 Llama2

基于TRE文章的非线性模型化线性方法

之前写过一篇有关TRE优化模型详解的博文： https://www.cnblogs.com/zoubilin/p/17270435.html 这篇文章里面的附录给出了非线性模型化线性的方式，具体内容如下： 首先是篇文章的变量和原模型（具体见我上面那篇笔记）： 其次这篇文章附录给出的非线性化线性的方法 ......
非线性 线性 模型 方法 文章

深入浅出-七层网络模型

网络基本概念 OSI模型 OSI 模型(Open System Interconnection model)是一个由国际标准化组织􏰁提出的概念模型,试图􏰁供一个使各种不同的计算机和网络在世界范围内实现互联的标准框架。 它将计算机网络体系结构划分为七层,每层都可以􏰁供抽象良好的接口。了解 OSI ......
深入浅出 模型 网络

矩阵成真！Pytorch最新工具mm，3D可视化矩阵乘法、Transformer注意力

前言 Pytorch团队推出的最新3D可视化最新工具mm，能够将矩阵乘法模拟世界还原。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】 ......
矩阵 乘法 Transformer 注意力 Pytorch

django模型不应该作为参数传递给task

Django 模型对象。它们不应该作为任务的参数传递。当任务运行时从数据库重新获取对象几乎总是更好，因为使用旧数据可能会导致竞争条件。 想象一下以下场景，您有一篇文章和一个自动扩展其中一些缩写的任务： class Article(models.Model): title = models.CharF ......
模型 参数 django task

线性混合模型为什么是多元高斯分布

如何建立高斯模型，可以看图根据每类数据做一个高斯函数，然后做一个混合高斯密度函数。如果提取目标的话得把目标的概率函数提取出来。 ......
线性 模型

大模型rlhf 相关博客

想学习第一篇博客: https://huggingface.co/blog/zh/rlhf RLHF 技术分解 RLHF 是一项涉及多个模型和不同训练阶段的复杂概念，这里我们按三个步骤分解： 预训练一个语言模型 (LM) ； 聚合问答数据并训练一个奖励模型 (Reward Model，RM) ； 用 ......
模型 博客 rlhf

大模型量化4

https://huggingface.co/blog/peft 看代码: from transformers import AutoModelForSeq2SeqLM + from peft import get_peft_model, LoraConfig, TaskType model_nam ......
模型

Unable to load site GPT

001、问题 GPT官网无法打开， 如下： 002、 解决方法 参考： https://laowangblog.com/chatgpt-unable-to-load-site.html . ......
Unable load site GPT to

大语言模型LLM推理及训练显存计算方法

一、推理：显存计算 推理的显存大头就是：参数量，参数类型版本一般有以下四种： float 32位 浮点数 4 字节 half / BF16 16位 浮点数 2 字节 int8 8位 整数 1 字节 int4 4位 整数 0.5 字节 以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = ......
显存 模型 语言 方法 LLM

判别模型和生成模型

生成模型就像它的名字可以模拟训练数据的特征分布。 判别模型只能根据输入变量x判断其类别。 抽象一下都是p(Y|x) ......
模型

大模型量化3

https://huggingface.co/blog/4bit-transformers-bitsandbytes 1. 8 位float The FP8 (floating point 8) format has been first introduced in the paper “FP8 f ......
模型

Odoo模型的内置方法(可按需重写）

模型层面 一：_table_exist 检查该模型对于的数据库表是否存在，是则返回1，否则返回0. @api.model_cr def _table_exist(self): pass 模型记录层面 二：create(self,vals) 记录的创建函数，一般情况下，是根据视图传过来的dict对象， ......
模型 方法 Odoo

redis7源码分析：redis 多线程模型解析

多线程模式中，在main函数中会执行InitServerLast void InitServerLast() { bioInit(); // 关键一步， 这里启动了多条线程，用于执行命令，redis起名为IO 线程 initThreadedIO(); set_jemalloc_bg_thread(s ......
redis 线程 源码 模型 redis7

redis7源码分析：redis 单线程模型解析，一条get命令执行流程

有了下文的梳理后 redis 启动流程 再来解析redis 在单线程模式下解析并处理客户端发来的命令 1. 当 client fd 可读时，会回调readQueryFromClient函数 void readQueryFromClient(connection *conn) { client *c ......
redis 线程 源码 模型 命令

聊聊基于Alink库的随机森林模型

概述 随机森林（Random Forest）是一种集成学习（Ensemble Learning）方法，通过构建多个决策树并汇总其预测结果来完成分类或回归任务。每棵决策树的构建过程中都引入了随机性，包括数据采样和特征选择的随机性。 随机森林的基本原理可以概括如下： 随机抽样训练集：随机森林通过有放回抽 ......
模型 森林 Alink

Llama2-Chinese项目：3.2-LoRA微调和模型量化

提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式为"<s>Human: "+问题+"\n</s><s>Assistant: "+答案。本文主要介绍Llama-2-7b模型LoRA微调以及4bit量化的实践过程。 ......
Llama2-Chinese 模型 Chinese 项目 Llama2
共4200篇  :37/140页 首页上一页37下一页尾页