做谷歌外贸较好网站,wordpress 建站 linux,北京网站改版,长沙优化网站0.0 说明
参考黄家驹的Win10 环境下YOLO V8部署#xff0c;遇到一些问题#xff0c;并解决实现#xff0c;记录如下: 斜线字体是原博客中的创作
0.1 参考链接
https://blog.csdn.net/m0_72734364/article/details/128865904
1 Windows10下yolov8 tensorrt模型加速部署
…0.0 说明
参考黄家驹的Win10 环境下YOLO V8部署遇到一些问题并解决实现记录如下: 斜线字体是原博客中的创作
0.1 参考链接
https://blog.csdn.net/m0_72734364/article/details/128865904
1 Windows10下yolov8 tensorrt模型加速部署
TensorRT-Alpha基于tensorrtcuda c实现模型end2end的gpu加速支持win10、linux在2023年已经更新模型YOLOv8, YOLOv7, YOLOv6, YOLOv5, YOLOv4, YOLOv3, YOLOX, YOLOR,pphumanseg,u2net,EfficientDet。 关注仓库《TensorRT-Alpha》https://github.com/FeiYull/TensorRT-Alpha Linux tensorrt yolov8保姆教程: https://blog.csdn.net/m0_72734364/article/details/128758544
我成功转换后跑起来的结果 我电脑的配置
GPU1660TIcuda drivercudacudnncudnn8.2.1tensorrt8.4.2.4Visual studio2019社区版
所有版本最好保持完全一致否则在onnx 转tensorrt时会出现问题。PS 有解决这个问题的大神欢迎交流
could not load cudnn_cnn_infer64_8.dll 以下是参考内容
2.1 安装VS2019
问题:官网找不到 vs2019
链接https://pan.baidu.com/s/1h4iURKyVgp6xtWB_3LBDcA?pwdqjhi 提取码qjhi –来自百度网盘超级会员V1的分享
需要Microsoft账号如果您有别的途径下载安装也可以。 进入https://visualstudio.microsoft.com/zh-hans/vs/older-downloads/ 选择[2019] - [下载] 在新页面选择 Visual Studio Community 2019 (version 16.11) 下载完成之后安装过程选择如下图
2.2 安装库
注Nvidia相关网站需要注册账号。
2.2.1 安装Nvidia显卡驱动
进入 https://www.nvidia.cn/Download/index.aspx?langcn# 依据实际情况选择如下图是我的选择(for RTX3070) 选择[搜索]-[下载] -[双击默认安装] - [重启系统] - [进入cmd]输入如下指令
2.2.2 安装 cuda11.2
进入: https://developer.nvidia.com/cuda-toolkit-archive 选择CUDA Toolkit 11.2.0 (December 2020) 选择[Windows] - [x86_64] - [10] - [exe(local)] - [Download(2.9GB)] 双击安装重启在cmd窗口输入如下指令
nvcc -VCMD窗口打印如下信息表示cuda11.2安装正常 note:cuda11.2 不需要手动设置环境变量如下图环境变量都是自动设置的。
2.2.3 安装 cudnn8.2.1
进入网站https://developer.nvidia.com/rdp/cudnn-archive 选择 Download cuDNN v8.2.1 (June 7th, 2021), for CUDA 11.x 选择 cuDNN Library for Windows (x86) 你将会下载这个压缩包: “cudnn-11.3-windows-x64-v8.2.1.32_2.zip” 解压之后cudnn的头文件、库文件都要拷贝到cuda安装目录。 如下图进入cudnn解压所在文件夹中include拷贝所有头文件粘贴到CUDA/v11.2/include中 lib、bin中的文件也拷贝到对应cuda目录中 重启系统
2.2.4 下载 tensorrt8.4.2.4
网站更新2023.12https://developer.nvidia.com/nvidia-tensorrt-8x-download 把这个打勾 I Agree To the Terms of the NVIDIA TensorRT License Agreement 选择: TensorRT 8.4 GA Update 1 选择: TensorRT 8.4 GA Update 1 for Windows 10 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5, 11.6 and 11.7 ZIP Package 你将会下载这个压缩包: “TensorRT-8.4.2.4.Windows10.x86_64.cuda-11.6.cudnn8.4.zip” 解压到F:\ThirdParty并重命名为TensorRT-8.4.2.4 并将路径F:\ThirdParty\TensorRT-8.4.2.4\lib添加到环境变量如下图
重启系统
2.2.5 OpenCV4.5.5安装
进入https://opencv.org/releases/ 选择[OpenCV – 4.5.5] - [Windows] 下载完成之后是一个exe的自解压格式解压到D:\ThirdParty 并将路径“D:\ThirdParty\opencv4.5.5\build\bin” 和 D:\ThirdParty\opencv4.5.5\build\x64\vc15\bin添加到环境变量如下图 重启系统 2.3 创建属性表
一般地Visual Studio 2019一个库对应两个属性表文件分别对应vs2019的debug模式和release模式例如本文中OpenCV创建了这两种。而TensorRT和CUDA只需要创建一种属性表(适用以上两种模式)。
2.3.1 创建OpenCV属性表
创建opencv库debug属性表 step1基于VS2019随便新建一个C空项目如下图项目设置为Debug、X64模式 step2如下图选择[属性窗口] - [右击Debug|x64] - [添加新项目属性表] step3文件命名为OpenCV4.5.5_DebugX64.props - [添加] 编辑属性表[如下图双击属性表] step4如下图选择[通用属性] - [VC目录] - [包含目录] - [编辑] step5如下图将两个OpenCV两个头文件目录拷贝进去 - [确认]
step6选择[通用属性] - [VC目录] - [库目录] - [编辑] - 将路径D:\ThirdParty\opencv4.5.5\build\x64\vc15\lib拷贝进去 - [确认] step7选择[通用属性] - [链接器] - [输入] - [附加依赖项] - 将文件名opencv_world455d.lib拷贝进去-[确认] 小结 到这里opencv库debug属性表制作完成release属性表和上述流程一样唯一区别在于如下图项目切换到Release x64模式新建OpenCV4.5.5_ReleaseX64属性表然后在step7中将文件名修改为“opencv_world455.lib”
2.3.2 创建TensorRT属性表
右击Debug|x64 or 右击Release|x64新建属性表重命名为TensorRT8.4.2.4_X64
# include路径
F:\ThirdParty\TensorRT-8.4.2.4\include
F:\ThirdParty\TensorRT-8.4.2.4\samples\common
# F:\ThirdParty\TensorRT-8.4.2.4\samples\common\windows # 这个路径文件不需要包含
# lib路径
F:\ThirdParty\TensorRT-8.4.2.4\lib
# lib文件名称for release debug
nvinfer.lib
nvinfer_plugin.lib
nvonnxparser.lib
nvparsers.lib依照上一节3个步骤 step1选择[通用属性] - [VC目录] - [包含目录] - [编辑] - 把上述3个include路径拷贝进去 step2选择[通用属性] - [VC目录] - [库目录] - [编辑] - 把上述lib路径拷贝进去 step3选择[通用属性] - [链接器] - [输入] - [附加依赖项] - [编辑] - 将上述lib文件名称拷贝进去-[确认] 最后修改tensorrt属性表[通用属性] - [C/C] - [预处理器] - [预处理器定义] - 添加指令_CRT_SECURE_NO_WARNINGS - [确认]
2.3.3 创建CUDA属性表
CUDA属性表直接白嫖官方在路径C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\extras\visual_studio_integration\MSBuildExtensions\CUDA 11.2.props 最后我们应该有了如下属性表文件 其中cuda 和tensorrt的属性表同时兼容release x64 和debug x64你再新建TensorRT-Alpha中yolov8 yolov7 yolov6 等项目后只需要把上述提前做好的属性表引入到工程就行了当然项目还需要进行简单设置(设置NVCC避免tensorrt的坑)在后文提到。属性表做到了一次新建到处使用。
3 创建工程
3.1 拉取 yolov8 c 源代码
https://github.com/FeiYull/TensorRT-Alpha
3.1.1把utils 这几个文件放到项目utils 文件夹下 3.1.2把YOLO v8下面的文件放的yoloV8下面 3.1.3 资源文件
在TensorRT-8.4.2.4.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.2.4\samples\common\logger.cpp 3.2 生成cuda依赖项
这一步大概是将cuda 的头文件还有库文件以及链接依赖项添到项目中。
3.3 .cu 和.h文件设置NVCC编译
选中所有的.cu 文件和.h 文件 右键属性选择cuda c/c 编译 如下图yolov8项目编译成功从下面编译信息可以看到exe文件所在路径为path\yolov8\x64\Release 不容易啊至此大功告成
快验证一下吧
yolov8.exe --modelyolov8n.trt --size640 --batch_size1 --imgbus.jpg --show --savePath这是我自己转的几个.trt 文件 可测试 链接https://pan.baidu.com/s/1dbcRjUa0qZaq8RT67jqBLA?pwdcg93 提取码cg93
PS
如果编译出错请检查此处
a项目包含目录 b 库目录 c 附加依赖项 d 确认.h 文件和.cu 文件是 NVCC 编译的
见 3.3 .cu 和.h文件设置NVCC编译
