transformer模型gpt
随机森林模型 的数学原理
随机森林是一种基于决策树的集成学习方法，其基本思想是通过构建多个决策树来进行分类和回归。随机森林中的每一棵决策树都是在随机样本和随机特征的条件下构建出来的，整个建模过程相当于将多个弱分类器组合成一个强分类器。其主要数学原理如下： 1. 决策树： 随机森林是由多个决策树构成的集成模型，而决策树是一种树 ......
在树莓派上实现numpy的conv2d卷积神经网络做图像分类，加载pytorch的模型参数，推理mnist手写数字识别，并使用多进程加速
这几天又在玩树莓派，先是搞了个物联网，又在尝试在树莓派上搞一些简单的神经网络，这次搞得是卷积识别mnist手写数字识别 训练代码在电脑上，cpu就能训练，很快的： import torch import torch.nn as nn import torch.optim as optim from ......
在树莓派上使用numpy实现简单的神经网络推理，pytorch在服务器或PC上训练好模型保存成numpy格式的数据，推理在树莓派上加载模型
这几天又在玩树莓派，先是搞了个物联网，又在尝试在树莓派上搞一些简单的神经网络，这次搞得是mlp识别mnist手写数字识别 训练代码在电脑上，cpu就能训练，很快的： 1 import torch 2 import torch.nn as nn 3 import torch.optim as opti ......
MegEngine 使用小技巧：如何解读 MegCC 编译模型几个阶段 Pass 的作用
MegCC 是一个真真实实的深度学习模型编译器，具备极其轻量的 Runtime 二进制体积，高性能，方便移植，极低内存使用以及快启动等核心特点。用户可在 MLIR 上进行计算图优化，内存规划，最后通过预先写好的 code 模版进行代码生成。 ......
ChatDoctor：一个基于微调LLaMA模型用于医学领域的医学聊天机器人
ChatDoctor：一个基于微调LLaMA模型用于医学领域的医学聊天机器人 https://www.yunxiangli.top/ChatDoctor/ 资源列表 Demo.自动聊天医生与疾病数据库演示。 HealthCareMagic-100k.100k患者和医生之间的真实的对话HealthCa ......
《软件测试52讲》读书笔记（十三） —— 数据脚本解耦+页面对象模型
数据脚本与数据解耦 “测试脚本和数据解耦”的本质是实现了数据驱动的测试，让操作相同但是数据不同的测试可以通过同一套自动化测试脚本来实现，只是在每次测试执行时提供不同的测试输入数据 数据驱动很好地解决了大量重复脚本的问题，实现了“测试脚本和数据的解耦”。 数据驱动测试的数据文件中不仅可以包含测试输入数 ......
大语言模型技术原理
总体来说，ChatGPT 在人工标注的prompts和回答里训练出SFT监督策略模型，再通过随机问题由模型给出多个答案，然后人工排序，生成奖励模型，再通过PPO强化训练增强奖励效果。最终ChatGPT能够更好理解指令的意图，并且按指令完成符合训练者价值观的输出。最后，大语言模型作为一个被验证可行的方... ......
Falcon猎鹰：史上最强开源大语言模型
号称“史上最强的开源大语言模型”出现了。 它叫Falcon（猎鹰），参数400亿，在1万亿高质量token上进行了训练。 最终性能超越650亿的LLaMA，以及MPT、Redpajama等现有所有开源模型。 一举登顶HuggingFace OpenLLM全球榜单： 除了以上成绩，Falcon还可以只 ......
后GPT时代，多模态是最大的机会
作者：王咏刚，SeedV实验室创始人/CEO，创新工场AI工程院执行院长 编者按：ChatGPT/GPT-4的横空出世，已经彻底改变了NLP领域的研究态势，并以其多模态的潜能，点燃了人们心中通往AGI的第一簇火花。 AI 2.0时代因此而至。但新时代的技术列车将通往何方？全新的商业机会又埋藏在何处？ ......
详解WPF线程模型
> Dispatcher可以强制将某个代码片段在特定的Thread上执行。 在WPF中，每个线程都有一个与其关联的Dispatcher，通过Dispatcher的Invoke或BeginInvoke或InvokeAsync可以将指定的代码强制在其关联的线程上执行；Invoke是同步的，代码未在关联线 ......
如何使用 Megatron-LM 训练语言模型
在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 [Accelerate](https://huggingface.co/docs/accelerate/index) 的创建 ......
统计学习方法：感知机模型例题
## 统计学习方法：感知机模型例题 ### 1. 感知机学习算法的原始形式  ### 2. 例题 ``` 例 ......
模型训练-tips
模型冻结部分层的训练方式： 第一步：在训练之前，将除了Embedding之外的层设置为param.requires_grad = False，如下所示： for name, param in model.named_parameters(): if "model.embed_tokens" not ......
李宏毅语音课程-RNN-T模型
rnn-t decoder：给一个输入h，输出多个字符 直到输出空字符Φ。接着输入下一个MCCC特征 实际会在输出字符的后面会 加一个 RNN(最上面的蓝色块)。把原来的RNN剔除(中间黄色块)。 原因：1. 增加的RNN相当于一个语言模型LM，可以提前从text中训练。2. 方便RNN-T的训练。 ......
GPT虚拟直播Demo系列（二）｜无人直播间实现虚拟人回复粉丝
虚拟人和数字人是人工智能技术在现实生活中的具体应用，它们可以为人们的生活和工作带来便利和创新。在直播间场景里，虚拟人和数字人可用于直播主播、智能客服、营销推广等。接入GPT的虚拟人像是加了超强buff，具备更强大的自然语言处理能力和智能对话能力，可以实现更加智能化、自然化的人机交互。
- 直播主播：... ......
李宏毅语音课程笔记-CTC模型
ctc只要encoder即可。输入一个x，encoder输出一个h, 经过一个linear classifier输出预测的字符(包括空字符Φ)。 训练时，需要穷举alignment，再使用cross-entropy进行反向梯度参数更新。 ctc存在的问题： 会出现“结巴”。linear classi ......
李宏毅语音课程笔记-LAS模型原理
Listen过程：将MFCC特征X输入encoder得到输出 h向量，每个x输出一个h。 encoder可以是：RNN、CNN、self-attention layers等 attention and spell过程 1. 向量z0与向量h进行attention运算产生数字α0 2. 使用softm ......
通义千问预体验，如何让 AI 模型应用“奔跑”在函数计算上？
.ready(function () { //CSS方法 //第一种写法 //$("div").css("width", "100px"); //$("div").css("height", "100px" ......
验证码模型训练与识别
1. 训练模型代码 import numpy as np import tensorflow as tf # import tensorflow.compat.v1 as tf # tf.disable_v2_behavior() from captcha.image import ImageCap ......
[转]基于图像的三维模型重建4——增量SFM
内容 几种BA的形式 同时优化相机和三维点 优化相机 只优化三维点 单目相机 增量运动恢复结构（Incremental SFM） 运动恢复结构的几个问题 几种BA的形式 数学模型 n个三维点和m个相机，一些三维点在相机上的投影点。i表示三维点的索引，j表示相机的索引。 u 表示观测点， u^ 表示理 ......
首个大规模使用工具的大模型来了：伯克利发布Gorilla
前言 One AI to rule them all. 本文转载自机器之心 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线!! 大型语言模 ......
GPT-4多态大模型研究
1.概述 GPT-4是OpenAI最新的系统，能够产生更安全和更有用的回应。它是一个大型的多模态模型（接受图像和文本输入，输出文本），在各种专业和学术的基准测试中展现了人类水平的表现。例如，它在模拟的律师资格考试中得分位于前10%的考生之列；相比之下，GPT-3.5的得分位于后10%。 GPT-4是 ......
2023-05-28：为什么Redis单线程模型效率也能那么高？
2023-05-28：为什么Redis单线程模型效率也能那么高？ 答案2023-05-28： **1.C语言实现，效率高** C语言程序运行速度快，因为其相较于其他高级语言更加接近底层机器。由于C语言直接操作内存，不会像其他语言那样依赖虚拟机或垃圾回收机制等中间层，从而能够实现更高的执行效率。 ** ......
深入理解 Java 虚拟机 —— Java 内存模型与线程
处理器的效率和一致性（与 java 内存访问可类比） 计算机同时去做几件事情，不仅是因为计算机的运算能力强大了，还有一个很重要的原因是计算机的运算速度与它的存储和通信子系统的速度差距太大，大量的时间都花费在磁盘I/O、网络通信或者数据库访问上。 如果不希望处理器在大部分时间里都处于等待其他资源的空闲 ......
网络（一）：网络模型和协议
### TCP/IP 网络模型有哪几层？ - 应用层（message消息或报文）：工作在操作系统中的用户态，传输层及以下则工作在内核态 - 传输层（segment段）：为应用层提供网络支持，如 TCP（Transmission Control Protocol 传输控制协议）、UDP（用户数据报协议 ......
大模型全情投入，低代码也越来越清晰
众所周知，许多大企业加码其中，甚至不少互联网大佬级人物也在其中全情投入，。那么在这阵阵浪潮中，我们可以观察到什么样的“众生相”？ 今年3月以来，国内已有超过20家企业入局大模型赛道。从百度“文心一言”、阿里“通义千问”的发布，华为“盘古”等的预告。互联网巨头、科技公司纷纷秀出“肌肉”，谁也不想在这场 ......
千乎万唤始出来，支持gpt3和gpt4支持画图，的在线gpt应用接入案例开源上线啦
了解OPEN AI 平台用户一直在说，这个接口要怎么对接，如何在体验。 由于我一直忙于接口中台开发，所以在线基于OPEN AI 接口实例例子就一直没有写。现在终于写完了。 基于纯**HTML+CSS+JS** 小白也能轻松上手部署。代码简单清晰。 这里不多做其他赘述，更多关于平台信息如下 [小白畅玩 ......