transformer架构 宝典 模型
重磅：谷歌发布最强大AI模型【Google Gemini】
https://www.cnblogs.com/eryueren/p/17901497.html 一、前言 北京时间 2023年12 月 13 日Google 发布了最新的 Gemini Pro模型，并且提供了 API 访问。 一个更好的消息是：Gemini Pro 可免费使用。赶紧体验起来吧~ 二 ......
倾斜摄影三维模型的根节点合并纹理匀色技术方法分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
实现漫反射光照模型
漫反射光照符合兰伯特定律(Lambert's law)，基本光照模型中漫反射计算公式： \(C_{diffuse}=(C_{light} \cdot M_{diffuse})max(0,\hat{N} \cdot \hat{I} )\) 其中，\(C_{light}\) 是光源的颜色，\(M_{di ......
boltdb系统架构解析
1. 整体系统架构 boltdb是小型的单机kv存储系统，所有数据都保存在一个文件中，通过内存映射的方式进行数据读取和写入，存储结构采用类B+树的组织形式，支持一写多读的事务机制，支持bucket增删改查、bucket嵌套和k/v增删改查等功能。 2.详细数据结构 DB：代表着boltdb文件对象， ......
R语言结构方程模型SEM、路径分析房价和犯罪率数据、预测智力影响因素可视化2案例|附代码数据
原文链接：http://tecdat.cn/?p=25044 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于结构方程模型的研究报告，包括一些图形和统计输出。 1 简介 在本文，我们将考虑观察/显示所有变量的模型，以及具有潜在变量的模型。第一种有时称为“路径分析”，而后者有时称为“测量模型” ......
第一章 微服务架构体系
1.1系统架构的演变 随着互联网的发展，网站应用的规模不断扩大，常规的应用架构已无法应对，分布式服务架构以及微服务架构势在必行，亟需一个治理系统确保架构有条不紊的演进。 1.1.1单体应用架构 Web应用程序发展的早期，大部分web工程(包含前端页面,web层代码,service层代码,dao层代码 ......
扩散模型初探
扩散模型的推导 主要是根据以下网址学习diffusion的数学形式：网址 首先使用\(q\)表示前向扩散过程，使用\(p\)表示逆向过程。 \[q(\mathbf{x}_t|\mathbf{x}_{t-1})=\mathcal{N}(\mathbf{x}_t;\sqrt{1-\beta}_t\mat ......
AI浪潮下，大模型如何在音视频领域运用与实践？
视频云大模型算法「方法论」。 刘国栋｜演讲者 在AI技术发展如火如荼的当下，大模型的运用与实践在各行各业以千姿百态的形式展开。音视频技术在多场景、多行业的应用中，对于智能化和效果性能的体验优化有较为极致的要求。如何运用好人工智能提升算法能力，解决多场景业务中的具体问题，需要创新地探索大模型技术及其应 ......
Swift —— 一、架构解析
一、简介 OpenStack 对象存储 （swift） 用于冗余、可扩展的数据 使用标准化服务器集群存储PB的存储 可访问的数据。它是一种长期存储系统，可存储大量 可以检索和更新的静态数据。对象存储使用 分布式架构 没有中央控制点，提供更大的可扩展性，冗余和持久性。对象写入多个硬件设备，使用 Ope ......
重磅：谷歌发布最强大AI模型【Google Gemini】
能不能“吊打” GPT-4 北京时间
2023年12 月 13 日Google 发布了最新的 Gemini Pro模型，并且提供了 API 访问。
一个更好的消息是：Gemini Pro 可免费使用。 ......
05 基础入门——资产架构&端口&应用&WAF&站库分离&负载均衡
一、资产架构1、网站配置 （1）目录型网站安全 bbs.xiaodi8.com dz论坛 #该域名下有一套网站程序，dz论坛 bbs.xiaodi8.com/blog wp程序 #该域名的某个目录下也配置了一套网站程序 总结：一个网站，两个程序，其中任何一个程序出现漏洞，都可以进入安全测试（同一服务 ......
HarmonyOS：使用MindSpore Lite引擎进行模型推理
场景介绍 MindSpore Lite是一款AI引擎，它提供了面向不同硬件设备AI模型推理的功能，目前已经在图像分类、目标识别、人脸识别、文字识别等应用中广泛使用。 本文介绍使用MindSpore Lite推理引擎进行模型推理的通用开发流程。 基本概念 在进行开发前，请先了解以下概念。 张量：它与数 ......
模型放置到3D场景中后模型位置与鼠标选中的位置不一致怎么办？
在线工具推荐：3D数字孪生场景编辑器 - GLTF/GLB材质纹理编辑器 - 3D模型在线转换 - Three.js AI自动纹理开发包 - YOLO 虚幻合成数据生成器 - 三维模型预览图生成器 - 3D模型语义搜索引擎 1、问题 从事3D建模相关工作的朋友们在工作中经常会遇到以下几种问题： 1、 ......
如何创建逼真的3D模型
要实现逼真的 3D 视觉效果，需要关注细节并了解照明、纹理和材质的原理。要使 3D 场景看起来更逼真，请专注于精确的照明设置，使用高分辨率纹理和凹凸贴图来增加表面的深度，并合并逼真的着色器和材质。此外，请注意构图、摄像机角度和后期处理效果，以增强 3D 渲染的整体真实感。 ......
如何删除/替换3D模型的材质贴图
GLTF 编辑器 -NSDT 不仅可以设置3D模型纹理贴图，还可以设置模型的几何原点、以及对有相同材质属性的mesh进行合并，实现模型轻量化，是一款不可多得的实用型在线模型编辑工具。 ......
GLB/GLTF 模型压缩轻量化
Draco 是用于网格压缩的 glTF 扩展，以及由 Google 开发的开源库，用于压缩和解压缩 3D 网格以显着减小 3D 内容的大小。它压缩顶点位置、法线、颜色、纹理坐标和任何其他通用顶点属性，从而提高通过 Web 传输 3D 内容的效率和速度。 ......
ChatGLM2-6B模型的微调
概述 GLM模型底层还是基于Transformer，因此其设计、优化都是围绕Transformer的各个组件的。从注意力层的掩码、位置编码等方面优化与设计。 ChatGLM3/ChatGLM2的源码中，比如finetune、trainer等代码，其实是copy自HuggingFace，而且其使用流程 ......
最强Pose模型RTMO开源 | 基于YOLO架构再设计，9MB+9ms性能完爆YOLO-Pose
https://mp.weixin.qq.com/s/4EJAKBcqlCzDXib1_TKJxw 点击下方卡片，关注「AI视界引擎」公众号 AI视界引擎 「AI视界引擎」公众号不仅致力于分享AI视觉与大语言模型的前沿科技，还将成为连接业界专家、学术界和广大读者的桥梁。我们将提供最新的研究进展、技术 ......
三维模型的顶层合并构建的模型层级和块大小划分规则浅析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
【学习笔记】transformer 简札
高铁心血来潮逼着自己把这个模型的结构看了一遍，不写下来会忘掉的 Encoder 输入是词向量。 word vector -> [(multihead) self-attention -> forward ]×n-> layer normalization self attention 就是 qkv矩 ......
面试宝典
测试基础 QA和QC的区别 QC主要是发现BUG QA不但要找BUG，更主要的是预防BUG的产生 验收测试的标准 需求说明中都已经实现 性能指标达到要求 没有严重性的BUG 需求文档、设计文档、接口文档、测试用例、测试计划、测试报告 研发流程 需求分析阶段、需求评审阶段、测试用例评审阶段、测试阶段 ......
HanLP — HMM隐马尔可夫模型 -- 训练和预测
训练的过程，就是求三个矩阵的过程 初始概率矩阵 转移概率矩阵 发射矩阵 每个字有4种可能性，上图中有7个字，就是 4^7 种可能性 维特比算法，从众多路径中，挑出最优的那条，他和隐马尔可夫没有强关联 初始概率矩阵 根据频率得到概率 今天 天气 真 不错。 麻辣肥牛 好吃 ！ 我 喜欢 吃 好吃 的！ ......
《架构师之路：软件架构之美》阅读笔记二
《架构师之路：软件架构之美》是一本关于软件架构的经典之作，作者通过丰富的案例和实践经验，向读者展示了软件架构的重要性、原则和方法。在阅读这本书的过程中，我深刻地认识到了软件架构对于整个软件开发过程的影响，以及如何成为一名优秀的架构师。以下是我在阅读过程中的一些笔记和心得。 软件架构的定义 软件架构是 ......
Diffusion Model扩散模型
1、扩散模型基本原理： 扩散模型包括两个步骤： 固定的（或预设的）前向扩散过程q：该过程会逐渐将高斯噪声添加到图像中，直到最终得到纯噪声。 2.可训练的反向去噪扩散过程pθ：训练一个神经网络，从纯噪音开始逐渐去噪，直到得到一个真实图像 。 正向过程首先，对于一张原始图片，我们给加一个高斯噪声，图片由 ......
一文带你了解LoRa微调语言大模型的实用技巧
微调定制化的大型语言模型需要投入大量时间和精力，但掌握恰当的微调方法和技巧能显著提高效率。比如用LoRa（LLM的低秩适配Low-Rank Adaptation）微调大模型，能够利用少量显卡和时间对大模型进行微调，降低成本。 ......
大模型-向量数据库
向量数据库很多，先试试milvus。 1、安装：通过docker pull没搞定。使用官网的docker-compose搞定了。 2、运行：需要启动3个容器： docker start milvus-etcd docker start milvus-minio docker start milvus ......
HanLP — HMM隐马尔可夫模型 -- 语料库
BMES => B:词语开始、M：词语中间、E：词语结束、S:单独成词 并非所有中文任务都需要分词 语料库 每行是一篇“文章” 每篇文章用空格分开 语料库的准确性，严重影响分词结果 理论上，语料库越大越好 每个字都有一个标识（隐藏状态），可以根据语料库得到所有标识 中文分词就是为了得到状态 麻 辣 ......
Swin Transformer 马尔奖论文（ICCV 2021最佳论文）
目录 简介 作者之一的微软亚研院的首席研究员胡瀚老师在bibili讲过该论文 swin transformer比ViT做的更好的原因之一就是它将图片的一些特性嵌入到了网络模型之中，比如说平移不变性和尺寸不变性等，这样使得网络能够在cv领域做的更好。 该文章提出的Swin Transformer可以被 ......
软件架构读书笔记2
第二部分：计算机功底 主要讲解的是术。计算机功底、语言、框架、网络、数据库、操作系统等。 印象最深刻的是框架那一章。作者提到，熟悉一个框架之后，更多的是应该去关注它的缺点，而不是优点。更应该关注它不能做什么，而不是它能做什么。 它不能做什么往往是别的框架的改进点。 细想，如果你不关注它不能做什么，在 ......
软件架构设计读书笔记
第一部分：什么是架构？ 一句话:架构是针对所有重要问题做出的重要决策。 不同公司或者相同公司在不同的阶段所面临的问题不同，架构自然也会有所不同。 个人认为，不存在称之为完美的架构，只会存在最适合的。面对的场景，着重的目的不同，那么相应的决策也会不同(有点废话)。 架构的分类。 作者从技术的角度，把软 ......