简介一下这三个东西：
CUDA：是一种针对支持 CUDA 功能的 GPU（图形处理器）的 C 语言开发环境。
cuDNN：是GPU加速的用于深度神经网络的原语库。cuDNN为标准例程提供了高度优化的实现，例如向前和向后卷积，池化，规范化和激活层。
TensorRT：是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境，可为深度学习推理应用提供低延迟和高吞吐量。在推理过程中，基于TensorRT的应用程序比仅仅使用CPU作为平台的应用程序要快40倍。
### 一、安装CUDA
#### 1.卸载已安装的NVIDIA驱动
安装CUDA工具包时，如果系统中有已安装过的驱动，则会无法顺利安装，所以先看一下系统是否已经安装过NVIDIA驱动
用如下命令进行查看已安装的驱动
```
dpkg -l | grep nvidia
```
如果存在已安装的驱动，用如下命令进行卸载
```
sudo systemctl stop nvidia*
sudo apt-get remove --purge '^nvidia-.*'
sudo apt-get autoremove
sudo rm /etc/X11/xorg.conf
sudo reboot
```
#### 2. 安装CUDA工具包
首先需要得知你的显卡适配什么版本的工具包，打开你的cmd (由于你的驱动已经卸载，ubuntu下之后的命令无法使用，这里建议切换到Windows系统)
```
nvidia-smi
```
会显示你适配的CUDA版本，这里我的系统适配11.6。所以之后的安装包我以11.6为例
进入[NVIDIA官网](https://developer.nvidia.com/cuda-toolkit-archive)下载
选取合适的版本进行下载即可，我这里的命令是
```
wget https://developer.download.nvidia.com/compute/cuda/11.6.0/local_installers/cuda_11.6.0_510.39.01_linux.runsudo sh cuda_11.6.0_510.39.01_linux.run
```
选择accept
选择install
#### 3. 配置环境变量
```
vim ~/.bashrc
```
在最后添加如下两行
```
export PATH=/usr/local/cuda-11.6/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64:$LD_LIBRARY_PATH
```
#### 4.验证
最后验证一下是否正确安装
```
nvcc --version
```
### 二、安装cuDNN
#### 1.安装cuDNN包
来到我们的[官网](https://developer.nvidia.com/rdp/cudnn-archive#a-collapse805-111)
选择合适的CUDA版本下载安装包
#### 2. 安装cuDNN
（1）先将安装包解压缩，可以使用Tab键自动补全压缩包名称。(如果下载的是别的类型安装包可以参考[官方文档](https://developer.nvidia.com/nvidia-tensorrt-download))
```
tar -xvf cudnn-linux-x86_64-8.x.x.x_cudaX.Y-archive.tar.xz
```
（2）将cuDNN文件夹下的文件复制到CUDA安装目录下
```
sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
```
#### 3.验证
```
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
```
这就OK了
### 三、安装TensorRT
#### 1.安装TensorRT包
来到我们的[下载页面](https://developer.nvidia.com/tensorrt)
这里你先要注册一个账号，具体就不细说了，注册完可以看到这个界面
选择下载与自身系统和CUDA版本适配的包，这里注意要下与自身设备匹配格式的安装，比如我需要的是x86_64，一开始下载了arm格式的，出现了很多问题，浪费了时间。安装包很大，注意一下网络的稳定性。
#### 2.安装TensorRT
```
tar -zxvf TensorRT-8.4.1.5.Ubuntu-20.04.aarch64-gnu.cuda-11.6.cudnn8.4.tar.gz
```
移动TensorRT文件夹到/usr/local
```
sudo mv TensorRT-8.6.1.6 /usr/local
```
#### 3.配置环境变量
```
vim ~/.bashrc
```
最后添加一下内容
```
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/TensorRT-8.6.1.6/lib
export C_INCLUDE_PATH=$C_INCLUDE_PATH:/usr/local/TensorRT-8.6.1.6/include
export CPLUS_INCLUDE_PATH=$CPLUS_INCLUDE_PATH:/usr/local/TensorRT-8.6.1.6/include
```
#### 4.验证
进入下面命令指定的文件夹
```
cd /usr/local/TensorRT-8.6.1.6/samples/sampleOnnxMNIST/
```
编译
```
sudo make
```
进入bin文件夹，运行刚刚生成的可执行文件
```
cd ../../bin
./sample_onnx_minst
```
这样就算成功了