526互联

cuda-kernels

[fastllm]cuda-kernels源码解析

接着前面第一篇架构的分析，这篇文章主要分析fastllm中使用cuda-kernels的写法，在fastllm中主要有以下几种使用频率较高的kernel：gemv_int4, gemv_int8, gemm_int8, RMSNorm, softmax，RotatePosition2D，swiglu ......
cuda-kernels 源码 fastllm kernels cuda
共1篇  :1/1页 首页上一页1下一页尾页