TensorRT安装

安装PyCuda

如果通过Python使用TensorRT的话，需要安装PyCuda，只需要执行：

pip install pycuda

(注：本人测试环境为Ubuntu16.04，在安装过程中发现PyCuda新版本会编译失败，而pycuda<=2019.1则正常。)

若安装出现问题，需手动编译，可参照官网教程：

git clone https://github.com/inducer/pycuda.git # 测试时新版本为2020.1
tar xfz pycuda-VERSION.tar.gz
cd pycuda-VERSION
pip3 install numpy==1.20rc   # 此处一定要注意版本,本人刚开始安装了1.19,一直不成功
python configure.py --cuda-root=/where/ever/you/installed/cuda  # 修改为自己cuda的路径
su -c "make install"

# 测试
cd pycuda-VERSION/test
python test_driver.py    # "OK"则通过

安装TensorRT

官方推荐安装cuda10.2或者11.0以上，cuda版本不对的请自行更换。这里推荐安装TensorRT 7.2.3.4及以上版本，太早的版本很多算子不支持，容易踩坑。

以TensorRT 7系列为例，去官网选择合适版本下载

① 解压缩

tar xzvf TensorRT-7.2.3.4.Ubuntu-16.04.x86_64-gnu.cuda-10.2.cudnn8.1.tar.gz

② 安装TensorRT wheel 文件，根据python版本选择，这里是python3.6

cd TensorRT-7.2.3.4/python
pip install tensorrt-7.2.3.4-cp36-none-linux_x86_64.whl

③ 安装graphsurgeon wheel文件

cd TensorRT-7.2.3.4/graphsurgeon
pip install graphsurgeon-0.4.5-py2.py3-none-any.whl

④ 配置环境变量

编辑~/.bashrc文件，在文末添加以下内容：

export LD_LIBRARY_PATH=/home/用户名/TensorRT-7.2.3.4/lib:$LD_LIBRARY_PATH

(注：自己换成TensorRT-7.2.3.4所在路径)

配置生效：

source ~/.bashrc