Dialect及Operation详解

发布时间 2023-04-23 17:09:31作者: 多一些不为什么的坚持

参考资料:

[MLIR] Dialect及Operation详解 - 知乎 (zhihu.com)

2.  Dialect 及Operation

2.1Dialect

2.1.1Dialect 是什么?

从源程序到目标程序,要经过一系列的抽象以及分析,通过 Lowering Pass 来实现从一个IR到另一个IR的转换。但IR之间的转换需要统一格式,统一IR的第一步就是要统一“语言”,各个IR原来配合不默契,谁也理解不了谁,就是因为“语言”不通。

因此 MLIR 提出了Dialect,各种IR可以转换为对应的 mlir Dialect,不仅方便了转换,而且还能随意扩展。不妨将dialect看成各种具有IR表达能力的黑盒子,之后的编译流程就是在各种dialect之间转化。

2.1.2 dialect 是怎么工作的?

MLIR中的Dialect可以看作是一种扩展机制,它可以用于表示不同的编程语言和领域特性。在MLIR中,每个Dialect都会定义自己的语法规则和操作,这些规则和操作可以用于构建对应的IR表示。为了避免命名冲突,MLIR将不同的Dialect的IR定义在不同的命名空间中。

每种语言的 dialect(如tensorflow dialect、HLO dialect、LLVM IR dialect)都是继承自 mlir::Dialect,并注册了数字自己的属性、操作和数据类型,也可以使用虚函数来改变一些通用性行为

整个的编译过程:从源语言生成 AST(Abstract Syntax Tree,抽象语法树),借助 dialect 遍历 AST,产生 MLIR 表达式(此处可为多层IR通过 Lowering Pass 依次进行分析),最后经过 MLIR 分析器,生成目标硬件程序。

2.1.3. dialect 内部构成

dialect主要是由自定义的 TypeAttributeInterface 以及 operation 构成。operation 细分为Attribute、Type、Constraint、Interface、Trait(属性、类型、限制、接口、特征)。同时存在 ODS 和 DRR 两个重要的模块,这两个模块都是基于 tableGen 模块,ODS 模块用于定义 operation ,DRR 模块用于实现两个 dialect 之间的 conversion

2.2 Operation

Operation 是 Dialect 的重要组成部分,是抽象和计算的核心单元,可以看成是方言语义的基本元素。

下面例子可理解为:

生成的结果是 %t_tensor,toy dialect,执行的是 transpose 操作,输入数据是 %tensor,能够将 tensor<2x3xf64> 的数据转换成tensor<3x2xf64> 的数据,该 transpose 的位置在 "example/file/path",第12行,第1个字符:

%t_tensor = "toy.transpose"(%tensor) {inplace = true} : (tensor<2x3xf64>) -> tensor<3x2xf64> loc("example/file/path":12:1)

结构拆分解析:

(1)%t_tensor:定义结果名称,SSA值,由%<t_tensor>构成,一般<t_tensor>是一个整数型数字。

IR 是 LLVM 的设计核心,它采用 SSA(Single-Static Assignments,静态单赋值)的形式,并具备两个重要特性:
- 代码被组织成三地址指令
- 有无限的寄存器

(2)"toy.transpose":操作的名称,应该是唯一的字符串,方言空间以.开头;指明为 Toy Dialect 的transpose 操作;.之前的内容是 Dialect 命名空间的名字,.后面是操作的名称。

(3)(%tensor):输入的操作数的列表,多个操作数之间用逗号隔开。

(4){inplace = true}:属性字典,定义一个名为inplace的布尔类型,其常量值为true

(5)(tensor<2x3xf64>) -> tensor<3x2xf64>:函数形式表示的操作类型,前者是输入,后者是输出。<2x3xf64>号中间的内容描述了张量的尺寸2x3和张量中存储的数据类型f64,中间使用x连接。

(6)loc("example/file/path":12:1):此操作的源代码中的位置。每个操作都有与之关联的强制性源位置,在 MLIR 中是核心要求,并且 API 依赖并操纵他。例如:如果一个转换将操作替换成另一个操作,必须在新的操作中附加一个位置,可以追踪该操作的来源。所以,在使用工具链 mlir-opt 中默认没有这个位置信息,添加 -mlir-print-debuginfo 标志指定要包含位置。

更一般的格式可见下图:

3. 创建新的dialect(添加新的operation)

本节创建新的dialect包括 手动编写C++创建 以及 利用ODS框架生成

ODS 全称 Operation Definition Specification,操作者只需要根据 operation 框架定义的规范,在一个.td文件中填写相应的内容,使用 mlir 的 tableGen 工具就可以自动生成上面的 C++ 代码。
本节完全参考官方文档 :Chapter 2: Emitting Basic MLIR - MLIR (llvm.org)

本节将以Toy语言为例,演示构造 Toy Dialect并添加相应的Operation的流程。

Toy语言是为了验证及演示MLIR系统的整个流程而开发的一种基于Tensor的语言。
Toy 语言具有以下特性:
- Mix of scalar and array computations, as well as I/O
- Array shape Inference
- Generic functions
- Very limiter set of operators and features

3.1 定义 Toy Dialect