transformer模型gpt
2023.25 大模型和小模型
大模型通常指参数较多、层数较深的模型，它们具有更强的表达能力和更高的准确度，但也需要更多的计算资源和时间来训练和推理。常见的大型模型包括深度神经网络（DNN）、卷积神经网络（CNN）、循环神经网络（RNN）等。这些模型适用于数据量较大、计算资源充足的场景，例如云端计算、高性能计算、人工智能等。小模型 ......
怎么让英文大预言模型支持中文？（一）构建自己的tokenization
代码地址：https://github.com/taishan1994/sentencepiece_chinese_bpe Part1前言 目前，大语言模型呈爆发式的增长，其中，基于llama家族的模型占据了半壁江山。而原始的llama模型对中文的支持不太友好，接下来本文将讲解如何去扩充vocab里 ......
《Transformer Quality in Linear Time》论文解读
会议/期刊: ICML 年份: 2022 # 1. Vanilla Transformer Block（MHSA+FFN） 原本的Transformer的Block遵循如下的设计范式：MHSA（多头自注意力）+ 一层或者两层的FFN（全连接层），如下图所示。我们只考虑FFN的话，其数学表达式如下：T ......
什么是大模型？
阅读本文之前，建议先阅读上一篇：什么是神经网络？ 本文由gpt4辅助撰写（gptschools.cn） 什么是大模型？ 模型是指具有大量参数的深度学习或机器学习模型，这些参数可以通过训练过程自动调整以捕获输入数据中的复杂关系。这类模型通常具有较深的网络结构和较多的神经元，以增加模型的表示能力和学习能 ......
django之模型层
模版语法传值 {{}}:变量相关{%%}:逻辑相关 def index(request): # 模版语法可以传递的后端python数据类型 n = 123 f = 11.11 s = '我也想奔现' b = True l = ['小红','姗姗','花花','茹茹'] t = (111,222,33 ......
模型剪枝：让深度学习模型更好地应对不同的任务和环境
[toc] 《模型剪枝：让深度学习模型更好地应对不同的任务和环境》 摘要： 本文介绍了深度学习模型剪枝技术，它是一种让深度学习模型更好地应对不同的任务和环境的有效方法。本文首先介绍了剪枝的概念和历史，然后讲解了深度学习模型剪枝的基本原理和技术方法，最后讨论了剪枝在实际应用中的优缺点和挑战。最后，本文 ......
半监督学习：让机器学习模型更好地应对新任务和场景
[toc] 半监督学习是一种让机器学习模型更好地应对新任务和场景的技术。它结合了监督学习和无监督学习的优点，能够利用已有的数据集来指导模型的学习，从而更好地应对新的任务和场景。在这篇文章中，我们将介绍半监督学习的核心概念和技术原理，以及如何在实践中应用该技术。 首先，我们需要了解什么是半监督学习。半 ......
Python与TensorFlow：如何高效地构建和训练机器学习模型
[toc] 标题：《Python 与 TensorFlow：如何高效地构建和训练机器学习模型》 一、引言 随着人工智能的快速发展，机器学习作为其中的一个重要分支，受到了越来越多的关注和应用。而Python作为一门广泛应用于机器学习领域的编程语言，其与TensorFlow的结合也变得越来越重要。本文将 ......
模型生成技术：让智能家居变得更加智能化和高效化
[toc] 1. 引言 智能家居是一个非常热门的领域，随着人工智能技术的不断发展，模型生成技术也成为了智能家居领域的一个热门技术。本文将介绍模型生成技术，让智能家居变得更加智能化和高效化。 2. 技术原理及概念 模型生成技术是指利用机器学习和深度学习算法，对现有的数据进行建模，生成新的数据序列。在智 ......
深度学习中的循环神经网络”在Transformer中的应用
[toc] 深度学习中的“循环神经网络”在Transformer中的应用 背景介绍 深度学习在人工智能领域的应用已经取得了巨大的成功，尤其是在自然语言处理和计算机视觉领域。其中Transformer模型是近年来深度学习领域的一项重要研究成果，它是基于自注意力机制的深度神经网络模型，能够有效地提高模型 ......
如何训练生成模型来生成高质量的文本？
[toc] 如何训练生成模型来生成高质量的文本？ 随着人工智能技术的不断发展，生成对抗网络(GAN)已成为生成高质量文本的重要方法之一。然而，训练一个GAN模型并使其生成高质量的文本需要进行复杂的计算，并需要大量的数据进行训练。在本文中，我们将介绍如何训练生成模型来生成高质量的文本，并深入探讨相关的 ......
模型微调：让机器学习模型更好地应对金融欺诈和反洗钱任务
[toc] 摘要： 随着深度学习算法在金融欺诈和反洗钱任务中的广泛应用，对机器学习模型的要求也越来越高。为了进一步提高模型的准确率和鲁棒性，需要进行模型微调。本文介绍了模型微调的基本原理和技术流程，并介绍了一些常用的技术工具和框架。同时，还详解了如何使用微调技术来解决金融欺诈和反洗钱任务。文章旨在帮 ......
模型蒸馏在计算机视觉中的应用
[toc] 文章名称：《44.《模型蒸馏在计算机视觉中的应用》》 背景介绍： 随着深度学习的发展，计算机视觉领域取得了巨大的进步，尤其是卷积神经网络(CNN)在图像分类、目标检测、图像分割等领域取得了突破性进展。然而，训练一个大型CNN模型需要大量的计算资源和时间，而且往往容易出现过拟合等问题。为了 ......
模型剪枝在图像识别中的应用：让计算机视觉任务更准确、更快
[toc] 计算机视觉是人工智能领域中非常重要的一个分支，它涉及到计算机视觉技术、机器学习算法以及深度学习模型等多个方面的研究。近年来，随着深度学习模型的不断发展和改进，计算机视觉任务的质量得到了极大的提升，但同时也出现了许多挑战和问题，例如训练数据的不平衡、模型的过拟合等问题。为了更好地解决这些问 ......
强化学习中的强化学习模型应用：推荐系统、自然语言处理
[toc] 强化学习是人工智能领域的一个新兴领域，它通过不断地试错和学习来优化决策策略。近年来，随着深度学习的兴起，强化学习在自然语言处理、推荐系统、游戏 AI 等领域得到了广泛应用。本文将介绍强化学习中的强化学习模型在推荐系统和自然语言处理中的应用，并探讨相关技术原理、实现步骤、应用示例和优化改进 ......
基于深度学习的自动化推理：基于图论和计算图模型的推理
[toc] 《基于深度学习的自动化推理：基于图论和计算图模型的推理》 一、引言 随着人工智能和深度学习技术的快速发展，自动化推理成为了人工智能领域的一个重要研究方向。自动化推理能够提高人工智能系统的性能，降低人工干预的成本，是人工智能领域中的一个重要挑战。图论和计算图模型是自动化推理中非常重要的两个 ......
OPENAI-GPT 第三方多线程批量生成文章工具
本文转载自：OPENAI-GPT 第三方多线程批量生成文章工具 更多内容请访问钻芒博客：https://www.zuanmang.net 👇 2023/4月更新 推送使用全新Python多线程脚本，无需另外生成额度，支持自定义模型。自动打包成xlsx表格文件。 自制ChatGPT批量生成文章多线程 ......
Chat GPT Web开源项目合集
本文转载自：Chat GPT Web开源项目合集 更多内容请访问钻芒博客：https://www.zuanmang.net 1.chatgpt-web 项目地址： 隐藏内容，请登录后查看 2.chatgpt-web 项目地址： 隐藏内容，请登录后查看 3.ChatGPT-Next-Web 项目地址、 ......
【环境部署】TransformersTTS模型 -- 将文字转化为语音
## 论文背景 A Text-to-Speech Transformer in TensorFlow 2 Neural Speech Synthesis with Transformer Network FastSpeech: Fast, Robust and Controllable Text t ......
Automatic quality of generated text Evaluation for Large Language Models，针对大模型生成结果的自动化评测研究
Automatic quality of generated text Evaluation for Large Language Models，针对大模型生成结果的自动化评测研究 ......
CVPR最佳论文颁给自动驾驶大模型！中国团队第一单位，近10年三大视觉顶会首例
前言 这个高光时刻，属于自动驾驶，属于大模型，更是属于中国团队。 本文转载自量子位 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入 ......
（1）基于TCP协议的简单套接字(打电话模型)
# 基于TCP协议的简单套接字(打电话模型) ## 【一】简单版1.0 ### 服务端 ```python # -*-coding: Utf-8 -*- # @File : 服务端 .py # author: Chimengmeng # blog_url : https://www.cnblogs. ......
時光的免费GPT服务
目前提供4个免费服务，3个ChatGPT服务和一个NewBing服务，均不需要魔法，兼容移动端 所提供的服务均基于开源项目进行部署，项目地址均有提供，现有服务均部署在代码托管平台 [Vercel](https://vercel.com/) 上 如果你也想要搭建一个自己的服务，仅需将开源项目Fork到 ......
MosaicML 推出 30B 模型 — 挑战 LLaMA、Falcon 和 GPT
 MosaicML正在推出其第二个开源大型语言模型（LLM），称为MPT-30B，这是继五月份首次推出的较 ......
JVM内存模型及CMS、G1和ZGC垃圾回收器详解
### 1. JVM 内存模型 JVM 内存模型主要指运行时的数据区，包括 5 个部分，如下图所示。  由于所有模块都需要大量参数和设置，因此管理深度学习模型可能很困难。训练模块可能需要诸 ......
【深度学习】参数量、模型大小、显存
对于一个深度学习神经网络来说，其通常包含很多卷积层，用于不断提取目标的特征，或对目标进行最终定位或者分类。 1 数据存储精度与存储空间 在深度学习神经网络中，最常见的数据格式是float32，占4个字节（Byte）。类似地，float16，占2个字节。1024个字节为1KB，1024x1024个字节 ......
【AI绘画模型汇总】分享5个国内实用的AI绘画模型网站-C站AI模型平替网站
鉴于大家未必会有魔法工具访问civitai(C站)下载AI模型，这里我搜集整理了5个实用的国内版AI模型素材库，无障碍访问下载Stable diffusion模型。 1、LiblibAI 访问速度快，作品墙、有提示词参考。无需登录即可下载模型 地址：[LiblibAI_中国最大的原创AI模型分享社区 ......
【环境部署】SPECTER模型-基于transformer的科学出版物
## 论文背景 **标题：**SPECTER: Document-level Representation Learning using Citation-informed Transformers **摘要：**表示学习是自然语言处理系统的关键组成部分。像BERT这样的最新Transformer语 ......
PromptBench:大型语言模型的对抗性基准测试
PromptBench是微软研究人员设计的一个用于测量大型语言模型(llm)对对抗性提示鲁棒性的基准测试。这个的工具是理解LLM的重要一步，随着这些模型在各种应用中越来越普遍，这个主题也变得越来越重要。 研究及其方法论 PromptBench采用多种对抗性文本攻击，研究人员生成了4000多个对抗性提 ......