松江新城建设有限公司网站,网站公司排行榜前十名,网站服务器解决方案,装修找客户去哪个网站本专栏主要是提供一种国产化图像识别的解决方案#xff0c;专栏中实现了YOLOv5/v8在国产化芯片上的使用部署#xff0c;并可以实现网页端实时查看。根据自己的具体需求可以直接产品化部署使用。
B站配套视频#xff1a;https://www.bilibili.com/video/BV1or421T74f
前言…本专栏主要是提供一种国产化图像识别的解决方案专栏中实现了YOLOv5/v8在国产化芯片上的使用部署并可以实现网页端实时查看。根据自己的具体需求可以直接产品化部署使用。
B站配套视频https://www.bilibili.com/video/BV1or421T74f
前言
在实际生产过程中有很多时候不光是通过网络获取rtsp视频流通常会采用在板子上插上USB摄像头获取画面。 今天我将向搭建演示该如何通过USB获取画面后推流出RTSP视频流。
本课程相关代码以开源在V8的项目中有开源链接的朋友可以重新拉取一下代码。
前期准备
首先我们需要确定一下基本原理usb的获取和推流到rtsp是这里面存在编码不一致的问题。
通常我们会采用opencv获取usb摄像头的画面然后进行推理这时候图像是RGB编码的。
而推流到RTSP中就变成了YUV编码那自然就会想到RK3588的固有能力硬件编码器MPP。
那RTSP的推流我们就选择官方推荐的ZLMediakit来实现。正题结构如下所示 #mermaid-svg-KYqRPVY2dj0UufyW {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .error-icon{fill:#552222;}#mermaid-svg-KYqRPVY2dj0UufyW .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-KYqRPVY2dj0UufyW .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-KYqRPVY2dj0UufyW .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-KYqRPVY2dj0UufyW .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-KYqRPVY2dj0UufyW .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-KYqRPVY2dj0UufyW .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-KYqRPVY2dj0UufyW .marker{fill:#333333;stroke:#333333;}#mermaid-svg-KYqRPVY2dj0UufyW .marker.cross{stroke:#333333;}#mermaid-svg-KYqRPVY2dj0UufyW svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-KYqRPVY2dj0UufyW .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .cluster-label text{fill:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .cluster-label span{color:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .label text,#mermaid-svg-KYqRPVY2dj0UufyW span{fill:#333;color:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .node rect,#mermaid-svg-KYqRPVY2dj0UufyW .node circle,#mermaid-svg-KYqRPVY2dj0UufyW .node ellipse,#mermaid-svg-KYqRPVY2dj0UufyW .node polygon,#mermaid-svg-KYqRPVY2dj0UufyW .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-KYqRPVY2dj0UufyW .node .label{text-align:center;}#mermaid-svg-KYqRPVY2dj0UufyW .node.clickable{cursor:pointer;}#mermaid-svg-KYqRPVY2dj0UufyW .arrowheadPath{fill:#333333;}#mermaid-svg-KYqRPVY2dj0UufyW .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-KYqRPVY2dj0UufyW .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-KYqRPVY2dj0UufyW .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-KYqRPVY2dj0UufyW .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-KYqRPVY2dj0UufyW .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-KYqRPVY2dj0UufyW .cluster text{fill:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .cluster span{color:#333;}#mermaid-svg-KYqRPVY2dj0UufyW div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-KYqRPVY2dj0UufyW :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} opencv yolo mpp mpp ZLMediakit USB RGBimg 推理画面 YUVimg RTSP 下载和编译zlmediakit、mpp
代码讲解查看视频 https://www.bilibili.com/video/BV1or421T74f](https://www.bilibili.com/video/BV1or421T74f
cd ZLMediaKit
git submodule init
git submodule update
cmake . -B build cmake --build build -j4
cd ../mpp
cmake . -B build cmake --build build -j4
cp ./submodules/mpp/build/utils/libutils.a libs/
cp ./submodules/ZLMediaKit/release/linux/Debug/libmk_api.so libs/源码核心部分
int process_video_file(rknn_app_context_t *ctx, const char *video_path)
{// 读取视频cv::VideoCapture cap(video_path);if (!cap.isOpened()){printf(Failed to open video file: %s, video_path);}// 获取视频尺寸、帧率int cap_width cap.get(cv::CAP_PROP_FRAME_WIDTH);int cap_height cap.get(cv::CAP_PROP_FRAME_HEIGHT);int fps cap.get(cv::CAP_PROP_FPS);ctx-media mk_media_create(__defaultVhost__, ctx-push_path_first.c_str(), ctx-push_path_second.c_str(), 0, 0, 0);codec_args v_args {0};mk_track v_track mk_track_create(MKCodecH264, v_args);mk_media_init_track(ctx-media, v_track);mk_media_init_complete(ctx-media);mk_media_set_on_regist(ctx-media, on_mk_media_source_regist_func, ctx);// 初始化编码器MppEncoder *mpp_encoder new MppEncoder();MppEncoderParams enc_params;memset(enc_params, 0, sizeof(MppEncoderParams));enc_params.width cap_width;enc_params.height cap_height;enc_params.fmt MPP_FMT_YUV420SP;enc_params.type MPP_VIDEO_CodingAVC;mpp_encoder-Init(enc_params, ctx);ctx-encoder mpp_encoder;// mpp编码配置void *mpp_frame NULL;int mpp_frame_fd 0;void *mpp_frame_addr NULL;int enc_data_size;int frame_index 0;int ret 0;// 画面cv::Mat img;while (true){// 读取视频帧cap img;if (img.empty()){printf(Video end.);break;}frame_index;// 结束计时auto end_time std::chrono::high_resolution_clock::now();// 将当前时间点转换为毫秒级别的时间戳auto millis std::chrono::time_point_caststd::chrono::milliseconds(end_time).time_since_epoch().count();mpp_frame ctx-encoder-GetInputFrameBuffer();mpp_frame_fd ctx-encoder-GetInputFrameBufferFd(mpp_frame);mpp_frame_addr ctx-encoder-GetInputFrameBufferAddr(mpp_frame);rga_buffer_t src wrapbuffer_fd(mpp_frame_fd, cap_width, cap_height, RK_FORMAT_YCbCr_420_SP);int enc_buf_size ctx-encoder-GetFrameSize();char *enc_data (char *)malloc(enc_buf_size);rga_buffer_t rgb_img wrapbuffer_virtualaddr((void *)img.data, cap_width, cap_height, RK_FORMAT_BGR_888);// 将RGB图像复制到src中imcopy(rgb_img, src);if (frame_index 1){enc_data_size ctx-encoder-GetHeader(enc_data, enc_buf_size);}// 内存初始化memset(enc_data, 0, enc_buf_size);enc_data_size ctx-encoder-Encode(mpp_frame, enc_data, enc_buf_size);ret mk_media_input_h264(ctx-media, enc_data, enc_data_size, millis, millis);if (ret ! 1){printf(mk_media_input_frame failed\n);}}cap.release();
}
代码讲解查看视频https://www.bilibili.com/video/BV1or421T74f
