清新区住房和城乡建设局网站,音乐网站如何建设,平阳网站建设公司,ps在线图片编辑Builder#xff08;网络原数据#xff09;#xff1a;模型搭建的入口#xff0c;网络的tensorRT内部表示以及可执行程序引擎都是由该对象的成员方法生成的 BuiderConfig#xff08;网络原数据的选项#xff09;#xff1a;负责设置模型的一些参数#xff0c;如是否开始… Builder网络原数据模型搭建的入口网络的tensorRT内部表示以及可执行程序引擎都是由该对象的成员方法生成的 BuiderConfig网络原数据的选项负责设置模型的一些参数如是否开始fp16模式in8模式等等 Network计算图内容网络的主体在使用api搭建网络的过程当中将不断地向其中添加一些层并标记网络的输入输出节点在其他两种workflow中则使用Parser来加载来自Onnx文件中的网络就无需一层一层手工添加 SerializedNetwork模型网络在TRT中的内部表示可用它生成可执行的推理引擎或者把它序列化保存为文件方便以后读取和使用 Engine推理引擎是模型计算的核心可理解为可执行程序的代码段 context用于计算GPU的上下文。类比于cpu上的进程概念进程是执行推理引擎的主体 buffer相关数据的内存、显存相关我们将需要把数据从cpu端搬到gpu端执行推理计算后再把数据由gpu端搬回cpu端。这些步骤涉及内存的申请、拷贝和释放需要借助CUDA库或者扩大python库才能完成 excute调用计算核心执行推理计算的具体过程 善后工作还有一些外围的工作需要手工去完成
