TVM
《TVM编译器原理与实践》新书出版发行
《TVM编译器原理与实践》新书出版发行 《TVM编译器原理与实践》新书推荐 作者：吴建明，吴一昊；出版社：机械工业出版社；出版时间：2023年12月 本书已经出版，目前在淘宝天猫，京东，当当上可以购买。谢谢！ 天猫： https://detail.tmall.com/item.htm?abbucke ......
《TVM编译器原理与实践》新书推荐
《TVM编译器原理与实践》新书推荐 作者：吴建明，吴一昊；出版社：机械工业出版社；出版时间：2023年12月 本书已经出版，目前在淘宝天猫，京东，当当上可以购买。谢谢！ 天猫： https://detail.tmall.com/item.htm?abbucket=8&id=757068341348& ......
通过UMA使用TVM优化硬件加速器
# Making your Hardware Accelerator TVM-ready with UMA 本文介绍 Universal Modular Accelerator Interface(UMA)，UMA提供了易用的API将新的硬件加速器整合进TVM。 展示如何使用UMA将硬件加速器整合进 ......
TVM编译深度学习模型
# Quick Start Tutorial for Compiling Deep Learning Models 本文将展示如何使用Relay python前端构建神经网络，并使用TVM为Nvidia GPU创建实时运行库，需要有cuda版本的TVM和llvm。 ## TVM支持的硬件后端 图中展 ......
TVM交叉编译RPC
# Cross Compilation and RPC 本文将介绍交叉编译以及TVM通过RPC在远程设备上执行。 通过交叉编译和RPC，可以在本地机器上编译程序，然后在远程设备上运行。这在远程设备的资源有限时十分重要，例如Rasberry Pi和移动平台，本文将介绍Rasberry Pi的CPU例子 ......
TVM 代码生成—TIR to LLVM IR
本文地址：https://www.cnblogs.com/wanger-sjtu/p/17573212.html TVM在编译过程中，经历了 ```mermaid graph LR A[3rd IR] --> B[Relay IR] B --> C[TIR] C --> D[LLVM IR] C - ......
TVM Tensor Expression
# 使用张量表达式 我们将注意力转向如何使用张量表达式（Tensor Expression）（TE）来定义张量的计算，并应用循环优化。TE用pure的函数语言（每个表达式没有副作用），定义了张量的计算。整体上查看TVM的上下文时，Relay用一系列算子的集合描述了一个计算，其中每个算子都可以使用TE ......
TVM 源码阅读PASS — VectorizeLoop
本文地址：https://www.cnblogs.com/wanger-sjtu/p/17501119.html VectorizeLoop这个PASS就是对标记为`ForKind::kVectorized`的`For`循环做向量化处理，并对For循环中的语句涉及到的变量，替换为`Ramp`，以便于 ......
TVM－MLC LLM 调优方案
本文地址：https://www.cnblogs.com/wanger-sjtu/p/17497249.html LLM 等GPT大模型大火以后,TVM社区推出了自己的部署方案，支持Llama，Vicuna，Dolly等模型在iOS、Android、GPU、浏览器等平台上部署运行。 https:// ......
TVM面试题
1、TVM中的调度器（Scheduler）是什么？请简要解释TVM调度器的作用和工作原理。 TVM中的调度器（Scheduler）是负责将计算图映射到特定硬件目标上的组件。调度器在TVM中起着关键的作用，它决定了计算图的执行方式、并行化策略以及内存布局等，以优化计算性能和资源利用。 TVM调度器的主 ......
AI编译器CINN v.s TVM 中CodeGen 源码解读
> 如下的技术点梳理仅以「日常优化工作」为牵引点，涉及哪个模块，就具体去看哪个模块的代码。 # 一、CINN 框架 CINN 中`CodeGen`之后的代码编译主要交给了`Compiler`类来负责。核心的函数主要是： * `Build(ir::Module&, string& code)` * ` ......
TVM 中的 Profiler 设计
一、基本用法 首先看 Profiler 的用法： with ms.Profiler() as profiler: # .... 用户代码 print("Tuning Time:") print(profiler.table()) 二、前端接口设计 其中 Profiler 类的设计是绑定和映射到了 C ......
TVM Deploy Runtime[施工中]
本文地址:https://www.cnblogs.com/wanger-sjtu/p/17291070.html tvm 中在部署时有多个选择，最开始的graph exectuor runtime 、后来降低overhead 引入的AOT runtime, 以及后来Nimble 中动态shape引入 ......
AI编译器TVM与MLIR框架分析
AI编译器TVM与MLIR框架分析 面向ASIC设备的编译器框架：TVM or MLIR？ 2019~2021年，“摩尔定律失效”这一关键词频频出现于各大技术网站，在此背景下，市面上多如牛毛的AI芯片公司不约而同地给出了通用CPU+专用ASIC芯片的方案，以应对日益增长的AI边、端侧推理计算需求。在 ......