CANN

2023CANN训练营第2季————Ascend C算子Tiling切分原理与实战

使用Ascend C进行昇腾AI芯片算子开发,开发者仅需要把关注点放在数据切分和计算逻辑实现上。固定shape算子切分相对简单,动态shape的算子需要如何去实现呢?本篇笔记从复习切分的基本概念出发,讲述了一种动态shape的切分方法,并编程进行了验证。 ......
算子 训练营 实战 原理 Ascend

昇腾CANN 7.0 黑科技:大模型推理部署技术解密

针对大模型推理场景,CANN最新发布的CANN 7.0版本有机整合各内部组件,支持大模型的量化压缩、分布式切分编译、分布式加载部署,并在基础加速库、图编译优化、模型执行调度等方面针对大模型进行极致性能优化。 ......
模型 技术 科技 CANN 7.0

昇腾CANN DVPP硬件加速训练数据预处理,友好解决Host CPU预处理瓶

数据加载预处理由host CPU处理,而模型训练计算是在NPU或GPU上处理的,两者一般并行执行,因此训练一次迭代的时间通常是两个处理时间的最大值。 ......
硬件 数据 CANN DVPP Host

昇腾CANN 7.0 黑科技:大模型训练性能优化之道

为了释放昇腾硬件算力,昇腾AI异构计算架构CANN发布更开放、更易用的CANN 7.0版本,全面兼容业界的AI框架、加速库和主流大模型。 ......
模型 性能 科技 CANN 7.0

【2023 · CANN训练营第一季】昇腾AI入门Pytorch

昇腾AI全栈架构 华为AI全栈全场景解决方案为4层,分别为芯片层、芯片使能层、AI框架层和应用使能层。 芯片 基于统一、可扩展架构的系列化AI IP和芯片,为上层加速提供硬件基础。 芯片产品:昇腾310和昇腾910的独立芯片,Nano-Tiny-Lite的非独立芯片。 Ascend层,一切集成电路的 ......
训练营 Pytorch 2023 CANN 183

CANN开发实践:4个DVPP内存问题的典型案例解读

摘要:由于DVPP媒体数据处理功能对存放输入、输出数据的内存有更高的要求(例如,内存首地址128字节对齐),因此需调用专用的内存申请接口,那么本期就分享几个关于DVPP内存问题的典型案例,并给出原因分析及解决方法。 本文分享自华为云社区《FAQ_DVPP内存问题案例》,作者:昇腾CANN。 DVPP ......
典型案例 典型 内存 案例 问题

CANN训练:模型推理时数据预处理方法及归一化参数计算

摘要:在做基于Ascend CL模型推理时,通常使用的有OpenCV、AIPP、DVPP这三种方式,或者是它们的混合方式,本文比较了这三种方式的特点,并以Resnet50的pytorch模型为例,结合训练营提供的sample,说明了分别是如何实现预处理的。 本文分享自华为云社区《【2023 · CA ......
模型 参数 方法 数据 CANN
共7篇  :1/1页 首页上一页1下一页尾页