随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含lmdeploy、FasterTransformer和vLLM等。
一.lmdeploy推理部署
lmdeploy由上海人工智能实验室开发，推理使用C++/CUDA，对外提供python/gRPC/http接口和WebUI界面，支持tensor parallel分布式推理、支持fp16/weightint4/kv cache int8量化。lmdeploy支持transformer结构（例如LLaMA、LLaMa2、InternLM、Vicuna等），目前支持fp16，int8和int4。
1.fp16推理
安装预编译的Python包，即python3 -m pip install lmdeploy。把模型转成lmdeploy 推理格式，假设huggingface版LLaMa2模型已下载到/models/llama-2-7b-chat目录，结果会存到workspace文件夹，如下所示：
python3 -m lmdeploy.serve.turbomind.deploy llama2 /models/llama-2-7b-chat
在命令行中测试聊天效果，如下所示：
python3 -m lmdeploy.turbomind.chat ./workspace
...
double enter to end input >>> who are you
...
Hello! I'm just an AI assistant ...
也可以用gradio启动WebUI来聊天，如下所示：
python3 -m lmdeploy.serve.gradio.app ./workspace
lmdeploy同样支持原始的facebook模型格式、支持70B模型分布式推理，用法查看lmdeploy 官方文档。
2.kv cache int8量化
lmdeploy实现了kv cache int8量化，同样的显存可以服务更多并发用户。首先计算模型参数，结果是pth格式，保存到临时目录minmax，如下所示：
mkdir minmax
python3 -m lmdeploy.lite.apis.calibrate \
--model /models/llama-2-7b-chat \ # huggingface llama2 模型。也支持 llama/vicuna/internlm/baichuan 等
--calib_dataset 'c4' \ # 校准数据集，支持 c4, ptb, wikitext2, pileval
--calib_samples 128 \ # 校准集的样本数，如果显存不够，可以适当调小
--calib_seqlen 2048 \ # 单条的文本长度，如果显存不够，可以适当调小
--work_dir minmax \ # 保存 pth 格式量化统计参数和量化后权重的文件夹
然后用minmax目录里的参数，计算量化参数，保存到fp16转换好的workspace/triton_models/weights下，如下所示：
python3 -m lmdeploy.lite.apis.kv_qparams \
--work_dir minmax \ # 上一步计算的 minmax 结果
--turbomind_dir ./workspace/triton_models/weights \ # 结果保存目录
--kv_sym False \ # 用非对称量化
--num_tp 1 # tensor parallel GPU 个数
修改推理配置，开启kv cache int8。编辑workspace/triton_models/weights/config.ini，如下所示：
（1）把use_context_fmha改为0，表示关闭flashattention
（2）把quant_policy设为4，表示打开kv cache量化
最终执行测试即可，如下所示：
python3 -m lmdeploy.turbomind.chat ./workspace
点击这里查看kv cache int8量化实现公式、精度和显存测试报告。
3.weight int4量化
lmdeploy基于AWQ 算法实现了weight int4量化，相对fp16版本，速度是3.16倍、显存从16G降低到6.3G。这里有AWQ算法优化好llama2原始模型，直接下载。如下所示：
git clone https://huggingface.co/lmdeploy/llama2-chat-7b-w4
对于自己的模型，可以用auto_awq工具来优化，如下所示：
# 计算量化参数
python3 -m lmdeploy.lite.apis.calibrate \
--model $HF_MODEL \ # huggingface 模型位置
--calib_dataset 'c4' \ # 校准数据集，支持 c4, ptb, wikitext2, pileval
--calib_samples 128 \ # 校准集的样本数，如果显存不够，可以适当调小
--calib_seqlen 2048 \ # 单条的文本长度，如果显存不够，可以适当调小
--work_dir $WORK_DIR \ # 保存 Pytorch 格式量化统计参数和量化后权重的文件夹
# 量化模型
python3 -m lmdeploy.lite.apis.auto_awq \
--model $HF_MODEL \ # huggingface 模型位置
--w_bits 4 \ # 权重量化的 bit 数
--w_group_size 128 \ # 权重量化分组统计尺寸
--work_dir $WORK_DIR \ # 上一条命令保存参数的目录
执行以下命令，即可在终端与模型对话，如下所示：
## 转换模型的layout，存放在默认路径 ./workspace 下
python3 -m lmdeploy.serve.turbomind.deploy \
--model-name llama2 \
--model-path ./llama2-chat-7b-w4 \
--model-format awq \
--group-size 128
## 推理
python3 -m lmdeploy.turbomind.chat ./workspace
点击这里查看weight int4量化的显存和速度测试结果。额外说明，weight int4和kv cache int8二者并不冲突、可以同时打开，节约更多显存。
二.FasterTransformer推理部署
FasterTransformer由NVIDIA开发，采用C++/CUDA编写，支持分布式推理，transformer编码器和解码器均可进行加速。通过FasterTransformer和Triton加速LLama2模型推理，目前支持FP16或者Int8推理，Int4目前还不支持。
1.镜像构建
准备环境变量，如下所示：
export BUILD_DICTIONARY="/data/build"
export TRITON_VERSION=23.04
（1）构建镜像
cd $BUILD_DICTIONARY
git clone https://github.com/Rayrtfr/fastertransformer_backend.git
cd $BUILD_DICTIONARY/fastertransformer_backend
export TRITON_VERSION=23.04
docker build --build-arg TRITON_VERSION=${TRITON_VERSION} -t triton_ft_backend:${TRITON_VERSION}-v-1 -f docker/Dockerfile-1 .
docker build --build-arg TRITON_VERSION=${TRITON_VERSION} -t triton_ft_backend:${TRITON_VERSION} -f docker/Dockerfile-2 .
docker build --build-arg TRITON_VERSION=${TRITON_VERSION} -t triton_ft_backend:${TRITON_VERSION}-final -f docker/Dockerfile-3 .
TRITON_VERSION=23.04这个镜像需的GPU的驱动版本是Driver Version: 535.54.03，如果GPU的驱动不是这个版本，需要https://docs.nvidia.com/deeplearning/triton-inference-server/release-notes/rel-22-12.html#rel-22-12找到cuda driver对应版本的triton-inference-server。
（2）启动容器
# 启动容器
export TRITON_VERSION=23.04
# 注意需要 BUILD_DICTIONARY 挂载到容器里面
docker run -idt --gpus=all --net=host --shm-size=4G --name triton_ft_backend_pure \
-v $BUILD_DICTIONARY:$BUILD_DICTIONARY \
-p18888:8888 -p18000:8000 -p18001:8001 -p18002:8002 triton_ft_backend:${TRITON_VERSION}-final bash
2.容器内操作
下面介绍一下Llama2-Chinese-13b-Chat模型的权重转换成FasterTransformer格式。Llama2-Chinese-7b-Chat也是类似的方式。
（1）转换权重，权重转换成FasterTransformer格式
cd $BUILD_DICTIONARY
git clone https://github.com/Rayrtfr/FasterTransformer.git
cd $BUILD_DICTIONARY/FasterTransformer
mkdir models && sudo chmod -R 777 ./*
python3 ./examples/cpp/llama/huggingface_llama_convert.py \
-saved_dir=./models/llama \
-in_file=/path/FlagAlpha/Llama2-Chinese-13b-Chat \
-infer_gpu_num=1 \
-weight_data_type=fp16 \
-model_name=llama
（2）修改模型配置
编辑config.pbtxt文件，如下所示：
mkdir $BUILD_DICTIONARY/triton-model-store/
cd $BUILD_DICTIONARY/triton-model-store/
cp -r $BUILD_DICTIONARY/fastertransformer_backend/all_models/llama $BUILD_DICTIONARY/triton-model-store/
# 修改 triton-model-store/llama/fastertransformer/config.pbtxt
parameters {
key: "tensor_para_size"
value: {
string_value: "1"
}
}
## 修改 model_checkpoint_path 为上面转换之后的路径
parameters {
key: "model_checkpoint_path"
value: {
string_value: "/ft_workspace/FasterTransformer/models/llama/1-gpu/"
}
}
## 模型使用int8推理需要加一下面的配置
parameters {
key: "int8_mode"
value: {
string_value: "1"
}
}
修改model.py文件，如下所示：
# 修改这两个文件
triton-model-store/llama/preprocess/1/model.py
triton-model-store/llama/postprocess/1/model.py
# 检查 这个路径为tokenier对应的路径
self.tokenizer = LlamaTokenizer.from_pretrained("/path/FlagAlpha/Llama2-Chinese-13b-Chat")
（3）编译FasterTransformer Library
同一类型的模型，编译一次就行了。编译之前检查FasterTransformer/examples/cpp/llama/llama_config.ini，如下所示：
# 单卡推理这里是1，多卡可以改成卡的数目
tensor_para_size=1
model_dir=/mnt/data/wuyongyu/train/FasterTransformer/models/llama/1-gpu/
编译FasterTransformer，如下所示：
cd $BUILD_DICTIONARY/FasterTransformer
mkdir build && cd build
git submodule init && git submodule update
pip3 install fire jax jaxlib transformers
cmake -DSM=86 -DCMAKE_BUILD_TYPE=Release -DBUILD_PYT=ON -DBUILD_MULTI_GPU=ON -D PYTHON_PATH=/usr/bin/python3 ..
make -j12
make install
3.启动triton server
同样在上面的容器内操作，如下所示：
CUDA_VISIBLE_DEVICES=0 /opt/tritonserver/bin/tritonserver --model-repository=$BUILD_DICTIONARY/triton-model-store/llama/
输出如下所示：
I0717 17:17:14.670037 70681 grpc_server.cc:2450] Started GRPCInferenceService at 0.0.0.0:8001
I0717 17:17:14.670495 70681 http_server.cc:3555] Started HTTPService at 0.0.0.0:8000
I0717 17:17:14.713000 70681 http_server.cc:185] Started Metrics Service at 0.0.0.0:8002
启动client测试
python3 $BUILD_DICTIONARY/fastertransformer_backend/inference_example/llama/llama_grpc_stream_client.py
三.vLLM推理部署
vllm同样是GPU推理的方案，它由加州大学伯克利分校开发，核心技术是PageAttention，吞吐量比HuggingFace Transformers高出24倍。相较与FasterTrainsformer，vLLM更加的简单易用，不需要额外进行模型的转换，支持fp16推理。特点：快速的推理速度，高效的kv cache，连续的batch请求推理，优化cuda算子，支持分布式推理。
1.安装vllm
vllm安装命令，如下所示：
git clone https://github.com/vllm-project/vllm
cd vllm && python setup.py install
2.启动测试server
下载13B模型或者7B模型到特定目录。
（1）单卡推理
编辑single_gpus_api_server.sh里面model为上面的7B或者13B模型的下载路径。启动测试server，如下所示：
# multi_gpus_api_server.sh 里面的CUDA_VISIBLE_DEVICES指定了要使用的GPU卡
bash single_gpus_api_server.sh
（2）多卡推理
13B模型，70B模型推荐多卡推理。编辑multi_gpus_api_server.sh里面model为上面的13B模型的下载路径。启动测试server，如下所示：
# multi_gpus_api_server.sh 里面的CUDA_VISIBLE_DEVICES指定了要使用的GPU卡
# tensor-parallel-size 指定了卡的个数
bash multi_gpus_api_server.sh
3.启动client测试
python client_test.py
参考文献：
[1]https://github.com/FlagAlpha/Llama2-Chinese/tree/main/inference-speed/GPU/lmdeploy_example
[2]https://github.com/FlagAlpha/Llama2-Chinese/tree/main/inference-speed/GPU/FasterTransformer_example
[3]https://github.com/FlagAlpha/Llama2-Chinese/blob/main/inference-speed/GPU/vllm_example/README.md