模型 思路 机器
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
公共仓库元模型(CWM)（转）
转自：https://www.jianshu.com/p/21207b50084a 一、什么是CWM？ 在我们学习一个新东西时，首先得弄懂明白它是用来干什么的？然后通过实例与理论交错学习，CWM——Common Warehouse Metamodel, 很明显翻译过来时公共仓库元模型，CWM的提出主 ......
Atlas关系型数据库元数据模型
[ { "category": "ENTITY", "guid": "00b4a314-1185-4cd4-84e9-20275990d58d", "createdBy": "hadoop", "updatedBy": "hadoop", "createTime": 1615973091411, " ......
机器学习周刊 第4期：动手实战人工智能、计算机科学热门论文、免费的基于ChatGPT API的安卓端语音助手、每日数学、检索增强 (RAG) 生成技术综述
LLM开发者必读论文：检索增强（RAG）生成技术综述！ 目录： 1、动手实战人工智能 Hands-on Al 2、huggingface的NLP、深度强化学习、语音课 3、Awesome Jupyter 4、计算机科学热门论文 5、LLM开发者必读论文:检索增强 (RAG) 生成技术综述 6、App ......
机器学习周刊03:如何学习深度学习？2024 年学习生成式 AI 路线图、如何构建高效的RAG系统、苹果 腾讯最新论文、阿里DreaMoving
腾讯推出的 AppAgent，是一个多模态智能体，通过识别当前手机的界面和用户指令直接操作手机界面，能像真实用户一样操作手机！ 机器学习周刊：关注Python、机器学习、深度学习、大模型等硬核技术 1、如何学习深度学习？ 最近X上有推友重提这篇文章，是网友看过 Jeremy 教授的 fast.ai ......
使用知识图谱提高RAG的能力，减少大模型幻觉
在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。 向量数据库和知识图谱 向量数据库 向量数据库是表示实体或概念(如单词、短语或文档)的高维向量的集合。数据 ......
三维模型的几何坐标纠正应用探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
机器学习-决策树系列-GBDT算法-集成学习-29
目录1. 复习2. GBDT3. gbdt应用于二分类：3. gbdt应用于多类4. 叶子节点输出值c的计算5. GBDT的其他应用6. GBDT+LR 代码实现 1. 复习 再开始学习GBDT算法之前 先复习一下之前的 线性回归 逻辑回归（二分类） 多分类 线性回归 找到一组W 使得 L 最小 进 ......
以报时机器人为例详细介绍tracker_store和event_broker
报时机器人源码参考[1][2]，本文重点介绍当 tracker_store 类型为 SQL 时，events 表的表结构以及数据是如何生成的。以及当 event_broker 类型为 SQL 时，events 表的表结构以及数据是如何生成的。 一.报时机器人启动 [3] Rasa 对话系统启动方式详 ......
鱼类识别系统Python+TensorFlow卷积神经网络算法模型+深度学习人工智能【计算机课设项目】
一、介绍 鱼类识别系统。使用Python作为主要编程语言开发，通过收集常见的30种鱼类（'墨鱼', '多宝鱼', '带鱼', '石斑鱼', '秋刀鱼', '章鱼', '红鱼', '罗非鱼', '胖头鱼', '草鱼', '银鱼', '青鱼', '马头鱼', '鱿鱼', '鲇鱼', '鲈鱼', '鲍鱼' ......
Windows11下私有化部署大语言模型实战 langchain+llama2
一、本机环境 1.硬件环境： CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。 2.软件环境： Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 ......
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。 VAE VAE 采用了编码器、概率潜在空间和解码器。在训练过程中，编码器预测每个图像的均值和方差。然后从高斯分布中对这些值进行采样，并将其传递到解码器中，其中输入的图像预计 ......
机器学习周刊第二期：300个机器学习应用案例集
大家好 前文：机器学习项目精选 第一期 继续分享我最近看过并觉得非常硬核的资源，包括Python、机器学习、深度学习、大模型等等。 1、Python编程挑战 地址：https://github.com/Asabeneh/30-Days-Of-Python 30天Python编程挑战是一个逐步学习Py ......
根据语音生成全身姿态；基于变分贝叶斯框架的VAE模型；CFG是一种隐式的Perceptual Loss！
本文首发于公众号：机器感知 根据语音全身姿态；基于变分贝叶斯框架的VAE模型；CFG是一种隐式的Perceptual Loss！ Diffusion Model with Perceptual Loss 本文研究了扩散模型在生成样本时的质量问题，作者发现使用均方误差损失训练的模型生成的样本往往不真实 ......
首次引入大模型!Bert-vits2-Extra中文特化版40秒素材复刻巫师3叶奈法
Bert-vits2项目又更新了，更新了一个新的分支：中文特化，所谓中文特化，即针对中文音色的特殊优化版本，纯中文底模效果百尺竿头更进一步，同时首次引入了大模型，使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取，基本上完全解决了发音的ba ......
分布式架构设计思路和要点
分布式架构设计 设计分布式架构时，需要考虑以下几个关键思路和要点： 弹性和可伸缩性：分布式架构应具备弹性和可伸缩性，能够根据负载情况自动调整资源分配。这可以通过采用水平扩展和自动化调度等技术实现。 容错和高可用性：分布式系统应具备容错和高可用性能力，即使部分组件或节点发生故障，整个系统仍能正常运行。 ......
一文搞懂什么是阻塞IO、信号驱动IO、Reactor模型、零拷贝
公众号《鲁大猿》，寻精品资料，帮你构建Java全栈知识体系 www.jiagoujishu.cn 基础IO 如何从数据传输方式理解IO流？ 从数据传输方式或者说是运输方式角度看，可以将 IO 类分为: 字节流, 字节流读取单个字节，字符流读取单个字符(一个字符根据编码的不同，对应的字节也不同，如 U ......
大模型安全｜绿盟
转载：大模型正在“记住”与“说出” 引言 「大模型」引领的创新变革正在发生身处技术爆炸时代，高光与隐忧共存。安全风险已成为发展中无法忽视的话题。 LLM在使用过程中包含敏感机密的数据或信息，可能会导致未授权的数据访问、隐私侵犯、安全漏洞等风险，随之造成敏感信息泄露。 2023年8月，全球开放应用软件 ......
面向初学者的机器学习、数据科学、AI、LLM课程统统免费
微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 大家好，我是老章 推荐几个质量上乘且完全免费的微软开源课程 面向初学者的机器学习课程 地址：https://microsoft.github.io/ML ......
书生浦语大模型全链开源体系介绍
Smiling & Weeping 以后隔着三千梨花树，六百湘水，你不必哽咽，我始终记得见你的第一面 2023大模型成为热门关键词 而通用大模型在大模型中适用范围和效率无疑会更高 那么书生·浦语20B开源大模型性能介绍 那么从模型到应用的主要流程大概 书生·浦语全链条开源开放体系 全链条开源开放体系 ......
聊聊 从源码来看ChatGLM-6B的模型结构
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。 transformer结构： 转载请备注出处：https://www.cnblogs.c ......
简易机器学习笔记（十）Windows下 PaddlePaddle配置CUDA加速环境
前言 大伙既然都来做这个了，那配个CUDA环境肯定是必不可少的了吧（笑） 最前面的最前面， 流程 确定当前设备支持的CUDA版本 安装CUDA Toolkit 和 GPU版的Paddlepaddle 下载cuDNN Archive 手动放置配套的cuDNN到指定文件夹 测试 1.确定当前设备支持的C ......
非工程师指南: 训练 LLaMA 2 聊天机器人
引言 本教程将向你展示在不编写一行代码的情况下，如何构建自己的开源 ChatGPT，这样人人都能构建自己的聊天模型。我们将以 LLaMA 2 基础模型为例，在开源指令数据集上针对聊天场景对其进行微调，并将微调后的模型部署到一个可分享的聊天应用中。全程只需点击鼠标，即可轻松通往荣耀之路！😀 为什么这 ......
机器学习-决策树系列-Adaboost算法-集成学习-29
目录1. adaboost算法的基本思想2. 具体实现 1. adaboost算法的基本思想 集成学习是将多个弱模型集成在一起 变成一个强模型 提高模型的准确率，一般有如下两种： bagging: 不同的base model可以并行计算，输出预测结果少数服从多数，回归问题则对多个模型输出的结果求平均 ......
R语言中的马尔可夫区制转移(Markov regime switching)模型|附代码数据
原文链接：http://tecdat.cn/?p=12187 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于马尔可夫区制转移模型的研究报告，包括一些图形和统计输出。 金融分析师通常关心检测市场何时“发生变化”：几个月或至几年内市场的典型行为可以立即转变为非常不同的行为。投资者希望及时发现这 ......
【专题】2023年中国手术机器人行业专题报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=34144 仿生机器人作为一类结合了仿生学原理的机器人，具备自主决策和规划行动的能力，正逐渐进入大众视野。它们的核心技术要素包括感知与认知技术、运动与控制技术、人机交互技术和自主决策技术。 阅读原文，获取专题报告合集全文，解锁文末68份仿生机器人相 ......
Github揽获3k+星！清华开源CogAgent：基于多模态大模型的GUI Agent
前言 本文提出了视觉 GUI Agent，使用视觉模态（而非文本）对 GUI 界面进行更全面直接的感知，从而做出规划和决策。对此，我们研发了多模态大模型 CogAgent，可接受 1120×1120 的高分辨率图像输入，不仅提升了通用视觉理解能力，还具备强大的 GUI Agent 能力。 本文转载自 ......
大语言模型优化方法简介：Prompt、RAG、Fine-tuning
GPT、LLama、Gemini等大语言模型虽展现出强大能力，但在实际应用中仍有问题，例如在准确性、知识更新速度和答案透明度方面，仍存在挑战。 论文“Retrieval-Augmented Generation for Large Language Models: A Survey（面向大语言模型的 ......
对盒模型的理解
CSS中的盒模型有两种：标准盒子模型、IE盒子模型。 盒模型都是由4个部分组成的：content、padding、border和margin。 标准盒模型和IE盒模型的区别在于设置width和height时，对应的范围不同： 标准盒模型的width和height属性的范围只包含了content； I ......