模型 文本 摘要 任务
任务调度XXL-JOB
编译部署 1.从github下载源码 https://github.com/xuxueli/xxl-job git clone https://github.com/xuxueli/xxl-job.git 2.切换版本，修改配置文件 ####调度中心配置文件路径 xxl-job-admin/src/ ......
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
公共仓库元模型(CWM)（转）
转自：https://www.jianshu.com/p/21207b50084a 一、什么是CWM？ 在我们学习一个新东西时，首先得弄懂明白它是用来干什么的？然后通过实例与理论交错学习，CWM——Common Warehouse Metamodel, 很明显翻译过来时公共仓库元模型，CWM的提出主 ......
python 提供一段文本和关键词列表进行标红处理
def highlight_keywords_html(text, keywords): for keyword in keywords: text = text.replace(keyword, '<span style="color:red;">' + keyword + '</span>') ......
Atlas关系型数据库元数据模型
[ { "category": "ENTITY", "guid": "00b4a314-1185-4cd4-84e9-20275990d58d", "createdBy": "hadoop", "updatedBy": "hadoop", "createTime": 1615973091411, " ......
使用知识图谱提高RAG的能力，减少大模型幻觉
在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。 向量数据库和知识图谱 向量数据库 向量数据库是表示实体或概念(如单词、短语或文档)的高维向量的集合。数据 ......
【分享一个工具】根据 /metrics 路径下的文本信息，自动生成包含所有 metrics 的 grafana 报表
作者:张富春(ahfuzhang)，转载时请注明作者和引用链接，谢谢！ cnblogs博客 zhihu Github 公众号:一本正经的瞎扯 在做某个服务对应的 grafana 监控报表的时候发现，一个个操作浏览器界面太耗时了。 能否一次性列出所有的 metrics 数据，然后再让我微调？ 终于，没 ......
三维模型的几何坐标纠正应用探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
鱼类识别系统Python+TensorFlow卷积神经网络算法模型+深度学习人工智能【计算机课设项目】
一、介绍 鱼类识别系统。使用Python作为主要编程语言开发，通过收集常见的30种鱼类（'墨鱼', '多宝鱼', '带鱼', '石斑鱼', '秋刀鱼', '章鱼', '红鱼', '罗非鱼', '胖头鱼', '草鱼', '银鱼', '青鱼', '马头鱼', '鱿鱼', '鲇鱼', '鲈鱼', '鲍鱼' ......
未来，Windows 计划任务在以下几个方向可能会有一些发展
未来，Windows 计划任务在以下几个方向可能会有一些发展： 更强大的任务调度功能：随着计算机系统的不断发展，对任务调度的需求也在增加。未来的 Windows 计划任务可能会提供更多的灵活性和功能，例如更精细的时间调度、更多的触发器选项以及对任务依赖关系的支持。 更友好的用户界面和易用性改进：为了 ......
Windows11下私有化部署大语言模型实战 langchain+llama2
一、本机环境 1.硬件环境： CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。 2.软件环境： Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 ......
11 Verilog语法_函数与任务
软件版本：无 操作系统：WIN10 64bit 硬件平台：适用所有系列FPGA 登录"米联客"FPGA社区-www.uisrc.com视频课程、答疑解惑！ 1概述 本小节讲解Verilog语法的函数与任务，需要掌握具体的task和function语句的使用方法。 2函数与任务 task和functi ......
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。 VAE VAE 采用了编码器、概率潜在空间和解码器。在训练过程中，编码器预测每个图像的均值和方差。然后从高斯分布中对这些值进行采样，并将其传递到解码器中，其中输入的图像预计 ......
根据语音生成全身姿态；基于变分贝叶斯框架的VAE模型；CFG是一种隐式的Perceptual Loss！
本文首发于公众号：机器感知 根据语音全身姿态；基于变分贝叶斯框架的VAE模型；CFG是一种隐式的Perceptual Loss！ Diffusion Model with Perceptual Loss 本文研究了扩散模型在生成样本时的质量问题，作者发现使用均方误差损失训练的模型生成的样本往往不真实 ......
首次引入大模型!Bert-vits2-Extra中文特化版40秒素材复刻巫师3叶奈法
Bert-vits2项目又更新了，更新了一个新的分支：中文特化，所谓中文特化，即针对中文音色的特殊优化版本，纯中文底模效果百尺竿头更进一步，同时首次引入了大模型，使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取，基本上完全解决了发音的ba ......
一文搞懂什么是阻塞IO、信号驱动IO、Reactor模型、零拷贝
公众号《鲁大猿》，寻精品资料，帮你构建Java全栈知识体系 www.jiagoujishu.cn 基础IO 如何从数据传输方式理解IO流？ 从数据传输方式或者说是运输方式角度看，可以将 IO 类分为: 字节流, 字节流读取单个字节，字符流读取单个字符(一个字符根据编码的不同，对应的字节也不同，如 U ......
大模型安全｜绿盟
转载：大模型正在“记住”与“说出” 引言 「大模型」引领的创新变革正在发生身处技术爆炸时代，高光与隐忧共存。安全风险已成为发展中无法忽视的话题。 LLM在使用过程中包含敏感机密的数据或信息，可能会导致未授权的数据访问、隐私侵犯、安全漏洞等风险，随之造成敏感信息泄露。 2023年8月，全球开放应用软件 ......
书生浦语大模型全链开源体系介绍
Smiling & Weeping 以后隔着三千梨花树，六百湘水，你不必哽咽，我始终记得见你的第一面 2023大模型成为热门关键词 而通用大模型在大模型中适用范围和效率无疑会更高 那么书生·浦语20B开源大模型性能介绍 那么从模型到应用的主要流程大概 书生·浦语全链条开源开放体系 全链条开源开放体系 ......
聊聊 从源码来看ChatGLM-6B的模型结构
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。 transformer结构： 转载请备注出处：https://www.cnblogs.c ......
Python 潮流周刊第 34 期（摘要）
本周刊由 Python猫 出品，精心筛选国内外的 250+ 信息源，为你挑选最值得分享的文章、教程、开源项目、软件工具、播客和视频、热门话题等内容。愿景：帮助所有读者精进 Python 技术，并增长职业和副业的收入。 周刊全文：https://pythoncat.top/posts/2024-01- ......
Android对接华为AI - 文本识别
准备工作 在开发应用前： 1、需要在AppGallery Connect中配置相关信息，包括：注册成为开发者和创建应用。 2、使用ML Kit云侧服务（端侧服务可不开通）需要开发者在AppGallery Connect上打开ML Kit服务开关。 集成HMS Core SDK 工程根目录build. ......
R语言中的马尔可夫区制转移(Markov regime switching)模型|附代码数据
原文链接：http://tecdat.cn/?p=12187 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于马尔可夫区制转移模型的研究报告，包括一些图形和统计输出。 金融分析师通常关心检测市场何时“发生变化”：几个月或至几年内市场的典型行为可以立即转变为非常不同的行为。投资者希望及时发现这 ......
Github揽获3k+星！清华开源CogAgent：基于多模态大模型的GUI Agent
前言 本文提出了视觉 GUI Agent，使用视觉模态（而非文本）对 GUI 界面进行更全面直接的感知，从而做出规划和决策。对此，我们研发了多模态大模型 CogAgent，可接受 1120×1120 的高分辨率图像输入，不仅提升了通用视觉理解能力，还具备强大的 GUI Agent 能力。 本文转载自 ......
【多进程】python多进程CPU密集型任务的进程数选择
实验思路 从1加到100000000， 分别用单进程，多进程方案去做。 实验代码 from multiprocessing import Pool, Process, Queue import os, time, random def test_func(left, right): res = 0 ......
大语言模型优化方法简介：Prompt、RAG、Fine-tuning
GPT、LLama、Gemini等大语言模型虽展现出强大能力，但在实际应用中仍有问题，例如在准确性、知识更新速度和答案透明度方面，仍存在挑战。 论文“Retrieval-Augmented Generation for Large Language Models: A Survey（面向大语言模型的 ......
对盒模型的理解
CSS中的盒模型有两种：标准盒子模型、IE盒子模型。 盒模型都是由4个部分组成的：content、padding、border和margin。 标准盒模型和IE盒模型的区别在于设置width和height时，对应的范围不同： 标准盒模型的width和height属性的范围只包含了content； I ......
java定时任务执行器
ScheduledExecutorService executorService = Executors.newSingleThreadScheduledExecutor(); 这段代码使用 Java 的 ScheduledExecutorService 接口和 Executors 类来创建一个单线 ......
vtkScalarBarWidget以及vtkTextWidget、vtkOrientationMarkerWidget 显示颜色递变范围，文本以及actor方向
vtkScalarBarWidget 用于显示颜色递变的范围 vtkTextWidget 用于显示文本 vtkOrientationMarkerWidget 使用当前actor的方向 输入测试数据scalarBarWidgetTestData.vtk /*********************** ......