【技术实现步骤摘要】
一种多路视频流的AI异步检测并实时渲染方法及系统
[0001]本专利技术涉及多路视频流处理
，尤其涉及一种多路视频流的AI异步检测并实时渲染方法及系统。
技术介绍
[0002]现有的大多数实时视频流进行AI检测与渲染的方法一般都是通过OpenCV/FFmpeg从摄像头获取视频流进行视频解码抽帧，随后将获取的视频帧转成相应格式的图像（比如RGB），接着将一帧帧图像送入AI模型进行相关目标的检测、分类与识别，然后将AI模型输出的检测结果利用OpenCV绘制在每一帧图像上，最后利用FFmpeg将每一帧图像进行视频编码，输出H264/H265格式的视频流。
[0003]然而上述的AI检测与渲染存在一定的缺陷，主要在于：1、上述方案每一步都是串行同步的，输出的FPS依赖于AI模型的推理速度，渲染性能低下；2、一个AI模型只能服务一路视频流，缺乏多路视频渲染能力，如果需要渲染多路视频就需要加载多个AI模型，资源占用会显著增加；3、从摄像头获取的实时视频帧经历图像转码、AI检测、视频编码等步骤消耗了很多时间，会产生很大的延时...
【技术保护点】
【技术特征摘要】
1.一种多路视频流的AI异步检测并实时渲染方法，其特征在于，包括以下步骤：S1、多路摄像头通过视频解码模块拆帧得到各帧图像，最新帧图像记为第N帧图像；S2、AI检测引擎模块根据自身性能评估抽帧间隔确定相应的检测算法模型，每隔固定的时间周期从S1中获取的第N帧图像送入检测算法模型进行相关的检测与识别，并将检测识别结果推送与之对应的结果队列中得到第N帧图像检测结果；S3、帧间预测模块采用卡尔曼滤波算法根据第N帧图像以及之前已经输出检测结果的第N
‑
1帧图像，根据检测框的历史位置与位移速度预测第N帧图像检测框的位置与状态，得到第N帧图像数据；S4、图像绘制与渲染模块根据第N帧图像数据和第N帧图像检测结果的信息绘制最终的视频帧；S5、通过视频编码模块和实时推流模块将最终的视频帧进行编码、推流，用户终端即可看到AI渲染之后的实时画面。2.根据权利要求1所述的AI异步检测并实时渲染方法，其特征在于：在步骤S2中，AI检测引擎模块根据自身性能评估抽帧间隔确定相应的检测算法模型，具体过程包括以下步骤：S21、AI检测引擎模块自动读取多路视频流的输出帧率记为r，多路视频流记为N；S22、AI检测引擎模块根据已加载的检测算法模型，判断当前检测算法模型针对当前输入流的处理帧率FPS是否足以应对N路视频流，即判断当前检测算法模型的处理帧率FPS的值是否大于等于N*r；若是，则判断当前检测算法模型的处理帧率FPS的值是否大于等于2*N*r；若处理帧率FPS的值大于等于2*N*r，则卸载一半的当前检测算法模型，并停止相关线程，降低AI检测引擎模块的资源占用率；若处理帧率FPS的值小于2*N*r，则进入步骤S23；若否，则采用当前检测算法模型并结束；S23、判断AI检测引擎模块所剩资源是否能够加载新的检测算法模型；若是，则启动新线程，加载新的检测算法模型共同处理N路视频流；若否，则降低各路视频的输出帧率r，并降低当前检测算法模型针对每路视频流的抽帧间隔，直至能够应对N路视频流的输入。3.根据权利要求1所述的AI异步检测并实时渲染方法，其特征在于：在步骤S3中，预测第N帧图像检测框的位置与状态，具体过程包括以下步骤：S31、初始化状态向量X和状态协方差矩阵P；S32、定义状态转移矩阵F、观测矩阵H、观测噪声协方差矩阵R以及过程噪声协方差矩阵Q；S33、预测目标检测框的位置；S34、预测状态协方差矩阵；S35、状态更新得到修正后的状态向量X和状态协方差矩阵P。4.根据权利要求3所述的AI异步检测并实时渲染方法，其特征在于：在步骤S31中，状态向量X表示目标的状态，包括位置和速度信息，初始时需要根据第一帧的检测结果
来设置状态向量的初始值；状态向量X的表达式为：；状态协方差矩阵P表示状态估计的不确定性，初始时可以定义为单位矩阵；状态协方差矩阵P的表达式为：；上式中，代表检测框左上角的坐标，代表检测框右下角的坐标，分别表示左上角和右下角坐标的速度。5.根据权利要求3所述的AI异步检测并实时渲染方法，其特征在于...
【专利技术属性】
技术研发人员：宋艳枝，金晨曦，
申请(专利权)人：合肥高斯智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。