transformer模型gpt
聊聊Transform模型
摘自《BERT基础教程：Transformer大模型实战 》 概述 循环神经网络和长短期记忆网络已经广泛应用于时序任务，比如文本预测、机器翻译、文章生成等。然而，它们面临的一大问题就是如何记录长期依赖。 为了解决这个问题，一个名为Transformer的新架构应运而生。从那以后，Transforme ......
使用LIME解释各种机器学习模型代码示例
机器学习模型变得越来越复杂和准确，但它们的不透明性仍然是一个重大挑战。理解为什么一个模型会做出特定的预测，对于建立信任和确保它按照预期行事至关重要。在本文中，我们将介绍LIME，并使用它来解释各种常见的模型。 LIME LIME (Local Interpretable Model-agnostic ......
python训练阿里云语音合成模型
训练阿里云多人训练语音合成模型 model_link:https://modelscope.cn/models/speech_tts/speech_sambert-hifigan_tts_zh-cn_multisp_pretrain_24k/summary 1.获取KANTTS算法训练框架 2.配置 ......
突破性的多语言代码大模型基CodeShell：引领AI编程新时代
突破性的多语言代码大模型基CodeShell：北京大学与四川天府银行联合打造，引领AI编程新时代 1.CodeShell简介 CodeShell是北京大学知识计算实验室联合四川天府银行AI团队研发的多语言代码大模型基座。它拥有70亿参数，经过对五千亿Tokens的训练，并具有8192的上下文窗口长度 ......
如何实施符合功能安全及ASPICE要求的模型动态测试 ——TPT Workshop邀请函
尊敬的女士/先生： 2023年3月，北汇信息与诸多工程师相约上海，成功举办了今年第一场 TPT Workshop活动，与大家进行了深入的技术交流。如今，2023年已渐渐步入尾声，我们将在北汇信息上海总部再次举办题为“如何实施符合功能安全及ASPICE要求的模型动态测试”的TPT Workshop活动 ......
GPT-4 变笨加剧，一个笑话讲八百遍；ChatGPT 之父剑桥演讲遭抵制丨 RTE 开发者日报 Vol.77
开发者朋友们大家好： 这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家留 ......
物联网平台之“物模型”
一、物模型简介 物模型是物联网平台中用于描述产品功能的数据模型。例如：阿里云物联网平台中，物模型是物理空间中的实体（如传感器、车载装置、楼宇、工厂等）在云端的数字化表示，从属性、服务和事件三个维度，分别描述了该实体是什么、能做什么、可以对外提供哪些信息。 具体来说，物模型的属性维度描述了实体（物联设 ......
MPG模型（调度器）
简介 G 表示 goroutine，每执行一次go f()就创建一个 G，包含要执行的函数和上下文信息。 go的大小：一般为栈上的2KB P 表示 goroutine 执行所需的资源，最多有 GOMAXPROCS（逻辑CPU数量） 个。 P 的本地队列：同全局队列类似，存放的也是等待运行的G，存的数 ......
vLLM 部署大模型
vLLM 部署大模型 https://github.com/vllm-project/vllm/tree/v0.2.0 https://vllm.readthedocs.io/en/latest/getting_started/installation.html https://vllm.readt ......
校验 ChatGPT4 真实性的三个经典问题：区分 GPT3.5 与 GPT4，并提供免费测试网站
现在已经有很多 ChatGPT 的套壳网站，以下分享验明 GPT-4 真身的三个经典问题，帮助你快速区分套壳网站背后到底用的是 GPT-3.5 还是 GPT-4。 大家可以在这个网站测试：https://ai.hxkj.vip，免登录可以问三条，登录之后无限制。咱们使用免登录的额度测试就已经够用了 ......
机器学习——模型保存和加载
以PyTorch为例 class MLP(nn.Module): def __init__(self): super().__init__() self.hidden = nn.Linear(20, 256) self.output = nn.Linear(256, 10) def forward( ......
小模型如何比肩大模型，北理工发布明德大模型MindLLM，小模型潜力巨大
前言 北京理工大学发布双语轻量级语言模型，明德大模型—MindLLM。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班 ......
【专题】2023人工智能大模型在工业领域知识问答稳定性报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=34132 自18世纪中期工业革命以来，人类进入工业社会。在历次工业革命中，人类通过发明创造和管理革新，改进生产方式、降低成本、提高效率，随之而来的是生活、物质、文化、教育等各方面的变化，人际关系和社会结构也得以重塑。如今，数字化技术的发展为工业注 ......
倾斜摄影三维模型的根节点合并的文件大小与质量关系分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
Yii 动态模型实现思路
假设这么一个场景: 有一个通过 Yii ActiveForm 构建的表单，里面所有的字段都是虚拟的，比如说 这个表单的字段来自于一个 JSON 或者说数据库的结果集，需要实现同一个模型，根据不同的传参，构建不同的表单项。 问题： Yii 的表单是通过模型来创建的，也就是说我有这个表单项，模型中必须有 ......
计算机组成原理-----模型机指令系统寻址方式以及其中部分英语简称介绍
学校教学中寻址方式有8种，以下是名称与助记符，以及指令流程（以ST为例）： 1.立即寻址 I Ri -> MAR , M -> MDR ->C , Ri+1 ->Ri 2.寄存器寻址 R 3.寄存器简址 （R） Ri -> MAR，M -> MDR -> C 4.自减型寄存器间址 -(R) Ri-1 ......
会自动写代码的AI大模型来了！仅10秒就写出一个飞机大战游戏！
一、写在前面 昨天分享了一款可以帮我们写代码的插件CodeGeex，其实能帮我们解决大部分问题，讲道理已经很好了对不对？ but，他就是最好的插件吗？ 肯定不是，这不又让我又发现了一款可以平替的插件TONGYI Lingma（阿里云出品智能编码助手通义灵码）。 可能有同学会问了，那六哥这两个插件选哪 ......
技巧 EntityFrameworkCore 实现 CodeFirst 通过模型生成数据库表时自动携带模型及字段注释信息
今天分享自己在项目中用到的一个小技巧，就是使用 EntityFrameworkCore 时我们在通过代码去 Update-Database 生成数据库时如何自动将代码模型上的注释和字段上的注释携带到数据库中，方便后续在数据库直接查看各个表和各个字段的含义。 实现效果如下： 可以看到我们每张表都有明确 ......
【深度学习】PyTorch的基本运算 与 构造简单神经网络模型
基本运算 import torch # 创建一个自定义的张量 t = torch.tensor([1.0, 2.0, 3.0]) # tensor([1., 2., 3.]) # 求平均值 t.mean() # tensor(2.) # 创建一个指定行列的张量 x = torch.empty(3,5 ......
使用单卡v100 32g或更低显存的卡，使用peft工具qlora或lora混合精度训练大模型chatGLM2-6b，torch混合精度加速稳定训练,解决qlora loss变成nan的问题！
最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatG ......
模型复现
GG-CNN git地址：GitHub - dougsm/ggcnn: Generative Grasping CNN from "Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Appro ......
三维模型的顶层合并构建几个注意事项探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
R语言广义加性混合模型(GAMM)分析长沙气象因子、空气污染、PM2.5浓度、显著性检验、逐日变化可视化|附代码数据
全文链接：https://tecdat.cn/?p=32981 原文出处：拓端数据部落公众号 气候变化和空气污染对现代社会产生了越来越大的影响。在这种背景下，研究气象和空气污染之间的关系以及其对PM2.5浓度的影响变得非常重要。为了更好地理解和解释这些关系，广义加性混合模型（GAMM）成为一种强大的 ......
基于开源模型搭建实时人脸识别系统（五）：人脸跟踪
继续填坑，之前已经讲了人脸检测，人脸检测是定位出画面中人脸的位置，理论上把检测到的人脸进行提特征就能做人脸识别了，不过直接这样做是有缺陷，一是存在很大的资源浪费，毕竟同一个人出现在画面，我们实际上应该只需要做一次识别就知道他的身份（理想情况下），而不需要每一帧都去做；二是如果对每一帧都进行独立的检测 ......
diffuser扩散模型\datawhale组队学习——v6.DDIM和音频
今日学习来源：《扩散模型从原理到实践》学习手册 - 飞书云文档 (feishu.cn) 任务四 学习内容： 1、DDIM（把小猫变成小狗） 2、音频生成。 首先还是熟悉的环境安装环节，会报错，先把unit1的 ......
Go 进阶训练营对标字节跳动2-2级能力模型，实践驱动掌握云计算第一语言
最近整理了下收集的Go学习资料，包含了Go学习社区、入门、进阶、性能优化、面试和Go学习书籍，还是比较全面的，在这里推荐给大家。 废话不多说，先献上Go技能升级地图，自己照着地图修炼 Go学习社区 Golang 中国：国内较早的 Go 社区，汇聚各类信息与服务 Learn Go：比较好的Golang ......
知识图谱与大模型相结合的3种方法，1+1>2
知识图谱（KG）和大语言模型（LLM）都是知识的表示形式。将LLM和KG协同使用，同时利用它们的优势，是一种互补的做法。 ......
【MME编写入门】光照模型
float4x4 WorldViewMatrix : WORLDVIEW; float4x4 WorldViewProjMatrix : WORLDVIEWPROJECTION; float4x4 WorldMatrix : WORLD; //需要用到的矩阵 //需要用到光的位置、相机位置 floa ......
深度学习之Attention Model（注意力模型）
https://www.cnblogs.com/jiangxinyang/p/9367497.html 1、Attention Model 概述 深度学习里的Attention model其实模拟的是人脑的注意力模型，举个例子来说，当我们观赏一幅画时，虽然我们可以看到整幅画的全貌，但是在我们深入仔细 ......