大规模 模型 场景 作用
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
公共仓库元模型(CWM)（转）
转自：https://www.jianshu.com/p/21207b50084a 一、什么是CWM？ 在我们学习一个新东西时，首先得弄懂明白它是用来干什么的？然后通过实例与理论交错学习，CWM——Common Warehouse Metamodel, 很明显翻译过来时公共仓库元模型，CWM的提出主 ......
Springboot 多环境配置、${key:default_value}的作用与使用
多环境配置 方式一 创建多个配置文件 application.yml #主配置文件 application-dev.yml #开发环境的配置 application-prod.yml #生产环境的配置 application-test.yml #测试环境的配置 # application.yml s ......
Atlas关系型数据库元数据模型
[ { "category": "ENTITY", "guid": "00b4a314-1185-4cd4-84e9-20275990d58d", "createdBy": "hadoop", "updatedBy": "hadoop", "createTime": 1615973091411, " ......
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
安卓之视频智能字幕的应用场景以及各种技术优劣分析
一、文章摘要 随着技术的发展，智能字幕已经成为了安卓平台上一个重要的功能，特别是在视频播放方面。它为用户提供了一种更方便、更快捷的方式来理解视频内容，尤其是在多种语言环境下或者在没有声音的环境中。下面我们将详细探讨安卓平台上视频智能字幕的应用场景以及各种技术的优劣分析。 二、正文 2.1、应用场景 ......
盘一盘这个没资格出现在面试环节的场景题。
你好呀，我是歪歪。 前两天在一个技术群里看到有人抛出一张图片，提出了这样的一个问题： 请教一下，线程池可以做到根据任务的类型，来指定特定线程执行吗？ 了解了一下背景，是批量任务触发，从订单表中查询出“处理中”状态的订单，订单可能属于不同的通道，所以需要调用不同通道的接口。 现在的方案是把订单查出来之 ......
使用知识图谱提高RAG的能力，减少大模型幻觉
在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。 向量数据库和知识图谱 向量数据库 向量数据库是表示实体或概念(如单词、短语或文档)的高维向量的集合。数据 ......
“云+冷链”新场景，华为云助力前海粤十“物畅其流”
前海粤十凭借其创新的智慧冷链物流园区一体化管理云平台，在“2023华为开发者大赛”企业赛道获得银奖，将云上技术应用在了冷链领域，引领冷链物流行业迈向智能化新篇章。 ......
三维模型的几何坐标纠正应用探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
Ansible - 基础配置以及常用操作场景
Ansible 基础配置 主配置文件：/etc/ansible/ansible.cfg ansible配置文件查找顺序 首先检测ANSIBLE_CONFIG变量定义的配置 其次检查当前目录下的./ansible.cfg文件（可以在任意目录创建ansible目录，并参考默认ansible.cfg文件配 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-7 watcher常用使用场景
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12703 1 重点关注 1.1 watcher常用使用场景 集群中统一资源配置 2 课程内容 3 Coding ......
鱼类识别系统Python+TensorFlow卷积神经网络算法模型+深度学习人工智能【计算机课设项目】
一、介绍 鱼类识别系统。使用Python作为主要编程语言开发，通过收集常见的30种鱼类（'墨鱼', '多宝鱼', '带鱼', '石斑鱼', '秋刀鱼', '章鱼', '红鱼', '罗非鱼', '胖头鱼', '草鱼', '银鱼', '青鱼', '马头鱼', '鱿鱼', '鲇鱼', '鲈鱼', '鲍鱼' ......
Windows11下私有化部署大语言模型实战 langchain+llama2
一、本机环境 1.硬件环境： CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。 2.软件环境： Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 ......
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。 VAE VAE 采用了编码器、概率潜在空间和解码器。在训练过程中，编码器预测每个图像的均值和方差。然后从高斯分布中对这些值进行采样，并将其传递到解码器中，其中输入的图像预计 ......
day29 Promtail高级特性及场景案例 （9.10）
9.10-1-Promtail高级特性及场景案例(1) 一、如何评价一款“好”的日志收集解决方案 首先，优秀的日志收集解决方案应该能够 适配 各种 复杂 的场景。其次，功能的 全面性 也是一个重要的考虑因素。如：具备日志过滤、转换、增强和处理等丰富功能。此外，易用性 也是一个关键因素。用户能够轻松配 ......
根据语音生成全身姿态；基于变分贝叶斯框架的VAE模型；CFG是一种隐式的Perceptual Loss！
本文首发于公众号：机器感知 根据语音全身姿态；基于变分贝叶斯框架的VAE模型；CFG是一种隐式的Perceptual Loss！ Diffusion Model with Perceptual Loss 本文研究了扩散模型在生成样本时的质量问题，作者发现使用均方误差损失训练的模型生成的样本往往不真实 ......
首次引入大模型!Bert-vits2-Extra中文特化版40秒素材复刻巫师3叶奈法
Bert-vits2项目又更新了，更新了一个新的分支：中文特化，所谓中文特化，即针对中文音色的特殊优化版本，纯中文底模效果百尺竿头更进一步，同时首次引入了大模型，使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取，基本上完全解决了发音的ba ......
一文搞懂什么是阻塞IO、信号驱动IO、Reactor模型、零拷贝
公众号《鲁大猿》，寻精品资料，帮你构建Java全栈知识体系 www.jiagoujishu.cn 基础IO 如何从数据传输方式理解IO流？ 从数据传输方式或者说是运输方式角度看，可以将 IO 类分为: 字节流, 字节流读取单个字节，字符流读取单个字符(一个字符根据编码的不同，对应的字节也不同，如 U ......
... 在python中的作用
在函数中当作pass使用 def f(): ... 在numpy中的使用： 当作索引的省略 b = np.arange(12).reshape(2, 3, 2) print(b) """ [[[ 0 1] [ 2 3] [ 4 5]] [[ 6 7] [ 8 9] [10 11]]] """ pri ......
大模型安全｜绿盟
转载：大模型正在“记住”与“说出” 引言 「大模型」引领的创新变革正在发生身处技术爆炸时代，高光与隐忧共存。安全风险已成为发展中无法忽视的话题。 LLM在使用过程中包含敏感机密的数据或信息，可能会导致未授权的数据访问、隐私侵犯、安全漏洞等风险，随之造成敏感信息泄露。 2023年8月，全球开放应用软件 ......
书生浦语大模型全链开源体系介绍
Smiling & Weeping 以后隔着三千梨花树，六百湘水，你不必哽咽，我始终记得见你的第一面 2023大模型成为热门关键词 而通用大模型在大模型中适用范围和效率无疑会更高 那么书生·浦语20B开源大模型性能介绍 那么从模型到应用的主要流程大概 书生·浦语全链条开源开放体系 全链条开源开放体系 ......
聊聊 从源码来看ChatGLM-6B的模型结构
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。 transformer结构： 转载请备注出处：https://www.cnblogs.c ......
测试实习中遇到的一些场景
测试环境正常，合并代码后，线上环境没有某个模块功能 场景：迭代时，测试环境中所有迭代新功能全部测掉了，Bug修好测好了。合并的分支完全按照提测单上合并的。去presaas上测试的时候，【表负责人】那块功能前端，后端竟然没有？ 原因：开发编写提测单的时候，忘记填写assets的test的分支了。 测试 ......
安卓之图形绘制的应用场景以及各种技术优劣分析
安卓系统作为全球最流行的移动操作系统之一，其图形绘制功能在各种应用场景中发挥着重要作用。无论是创意绘图、教育应用、游戏开发还是虚拟现实，图形绘制都是关键的一环。本文将深入探讨安卓图形绘制的应用场景，并分析各种技术的优劣，同时附上相关代码示例。 ......
VS2019启动编辑并继续不起作用（.NET）
直接上方案 1)请确保您取消选中工具>选项>调试>常规下的选项：使用托管兼容模式和要求源文件与原始版本完全匹配。如下图： 2)请先取消选中编辑并继续选项，然后关闭您的旧解决方案，删除解决方案文件夹中的.vs隐藏文件夹，解决方案中的每个bin和obj文件夹。 3)最容易忽略的一点。右键启动项目>属性> ......
【触想智能】嵌入式工控一体机的特点与应用场景分析
嵌入式工控一体机是一种用于工业自动化控制的计算机设备，它将显示器、主机、键盘、鼠标等器件集成在一起，具有高可靠性、抗干扰能力强、易于维护等特点。 嵌入式工控一体机，有内嵌式和外嵌式两种，在社会生产中被广泛应用，比如我们常见的快递柜、取款机等设备就是应用了嵌入式的工控一体机。以下是小编对嵌入式工控一体 ......
Vue2入门之超详细教程十三-key的作用与原理
Vue2入门之超详细教程十三-key的作用与原理 1、简介 React、Vue中的key有什么作用？ 1.虚拟DOM中key的作用： key是虚拟DOM对象的标识，当状态中的数据发生变化时，Vue会根据[新数据]生成[新的虚拟DOM]，随后Vue进行[新虚拟DOM]的差异比较，比较规则如下： ......
day28 基于Loki的日志收集系统-基于Loki特性的场景变现及优化 (9.8-9.9)
9.8-基于Loki的日志收集系统 一、EFK vs LPG 架构和组件 Loki：Loki是一个开源的水平可扩展日志聚合系统，由Promtail、Loki和Grafana组成。 EFK：EFK是一个集成的解决方案，由Elasticsearch、Fluentd和Kibana组成。 存储和查询： Lo ......
springMVC的常见注解，以及注解的作用。@Controller,@RestController,@RequestMapping,@RequestParam,@RequestHeader等
目录注：使用注解，必须要开启注解包扫描1.@Controller2.@RequestMapping3.@PathVariable4.@RequestParam5.@RequestHeader6.@CookieValue7.@RequestBody该注解的作用8.@ResponseBody9.@Res ......