基于Pipeline的并行视频结构化推理方法及系统技术方案

本发明专利技术公开了基于Pipeline的并行视频结构化推理方法及系统，属于人工智能视觉分析技术领域，要解决的技术问题为串行链式解析导致视频结构化推理解析效率低，无法满足pipeline解析的并行处理。包括如下步骤：将Pipeline拆分为主Pipeline和分支Pipeline；通过主Pipeline对获取的视频流进行行人和车辆的检测分析，得到行人图片和车辆图片；通过行人检测分支Pipeline对行人进行属性分析和特征提取，通过车辆检测分支Pipeline对车辆进行属性分析和特征提取；通过主Pipeline对行人分析结果和车辆分析结果进行汇总。果和车辆分析结果进行汇总。果和车辆分析结果进行汇总。

【技术实现步骤摘要】
基于Pipeline的并行视频结构化推理方法及系统


[0001]本专利技术涉及人工智能视觉分析
，具体地说是基于Pipeline的并行视频结构化推理方法及系统。

技术介绍

[0002]随着人工智能的快速发展以及国家对于安防领域的重视，智能视觉技术作为安防领域的核心技术也得到了快速的发展，而视频结构化也是智能视觉研究领域的重点方向。视频结构化是指根据视频画面中呈现出的人、车、物、颜色、数字及其他属性特征，经过推理解析建立视频结构大数据平台。
[0003]视频结构化推理解析是需要将视频画面中符合要求的行人、车辆解析出来，并将结果发到下级服务。但是已有框架并没有提供带有并行合并pipeline结果属性的element，在视频结构化推理中只能串行解析每个模型获取对应信息。这样串行链式解析就会导致解析效率低。
[0004]串行链式解析导致视频结构化推理解析效率低，无法满足pipeline解析的并行处理，是需要解决的技术问题。

技术实现思路

[0005]本专利技术的技术任务是针对以上不足，提供基于Pipeline的并行视频结构化推理方法及系统，来解决串行链式解析导致视频结构化推理解析效率低，无法满足pipeline解析的并行处理的问题。
[0006]第一方面，本专利技术的基于Pipeline的并行视频结构化推理方法，包括如下步骤：
[0007]将Pipeline拆分为主Pipeline和分支Pipeline，所述主Pipeline共多个且并行运行，所述分支Pipeline包括行人检测分支Pipeline和车辆检测分支Pipeline；
[0008]配置并初始化主Pipeline，所述主Pipeline用于以获取的视频流为输入，对视频流进行解码分帧得到多帧图片，并以行人和车辆为目标，对每帧图片进行目标检测以及目标跟踪抓拍，输出行人车辆推理结果以及行人图片和车辆图片；
[0009]配置并初始化行人检测分支Pipeline和车辆检测分支Pipeline，所述行人检测分支Pipeline用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果，所述车辆检测分支Pipeline用于以车辆图片为输入，多车辆进行属性分析和特征提取，得到车辆分析结果，并用于将行人分析结果和车辆分析结果返回主Pipeline，所述主Pipeline用于将所述行人分析结果和车辆分析结果汇集为最终结果并返回下级服务；
[0010]通过主Pipeline对获取的视频流进行行人和车辆的检测分析，得到行人图片和车辆图片；
[0011]以行人图片为输入，通过行人检测分支Pipeline对行人进行属性分析和特征提取，得到行人分析结果，并以车辆图片为输入，通过车辆检测分支Pipeline对车辆进行属性分析和特征提取，得到车辆分析结果；
[0012]通过主Pipeline对行人车辆推理结果以及行人分析结果和车辆分析结果进行汇总，得到最终结果，并将最终结果返回下级服务。
[0013]作为优选，所述主Pipeline中配置有行人车辆检测模型，所述行人车辆检测模型为基于深度学习构建的神经网络模型，用于以图片为输入，对行人和车辆进行推理分类，得到目标名称和目标位置坐标，并得到行人图片和车辆图片，所述目标包括行人和车辆；
[0014]所述行人检测分支Pipeline中配置有行人检测模型，所述行人检测模型为基于深度学习构建的神经网络模型，用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果；
[0015]所述车辆检测分支Pipeline中配置有车辆检测模型，所述车辆检测模型为基于深度学习构建的神经网络模型，用于以车辆图片为输入，对车辆进行属性分析和特征提取，得到车辆分析结果；
[0016]通过服务器显存的大小以及主Pipeline和分支Pipeline中模型的大小计算出可并行的主pipeline个数，所述主pipeline个数计算公式为：
[0017][0018]其中，X
m
表示服务器显存的大小，X
d
表示主Pipeline和分支Pipeline中模型的大小，所述模型包括行人车辆检测模型、行人检测模型以及车辆检测模型；num为向下取整获取整数结果。
[0019]作为优选，所述主Pipeline包括如下模块：
[0020]视频流输入模块，所述视频流输入模块用于通过视频监控点和码流类型完成开流，获取视频源的rtsp流；
[0021]视频解码分帧模块，所述视频码分帧模块与所述视频流输入模块交互，用于对视频流进行分帧，得到多帧图片；
[0022]检测推理模块，所述检测推理模块与所述视频解码分帧模块交互，配置有行人车辆检测模型，所述行人车辆检测模型为基于深度学习构建的神经网络模型，用于通过行人车辆检测模型对输入的图片进行行人和车辆的推理分类，得到目标名称和目标位置坐标，并得到行人图片和车辆图片，所述目标包括行人和车辆；
[0023]跟踪模块，所述跟踪模块用于利用IOU计算方法跟踪区域中的某个目标，跟踪规则为第一次出现检测区域中的目标或者跟丢后再次出现在区域中的目标进行跟踪抓拍，所述目标包括行人和车辆；
[0024]返回结果模块，所述返回结果模块与所述检测推理模块交互，用于对行人图片和车辆图片进行抠图处理，将抠图后的行人图片发送至行人检测分支Pipeline，将抠图后的车辆图片发送至车辆检测分支Pipeline；用于获取行人分析结果和车辆分析结果，将行人车辆推理结果以及行人分析结果和车辆分析结果汇总为最终结果并返回下级服务。
[0025]作为优选，所述行人检测分支Pipeline包括：
[0026]图片源输入模块，所述图片源输入模块用于从主Pipeline中获取行人图片；
[0027]行人属性及特征提取模块，所述行人属性及特征提取模块与所述图片源输入模块交互，配置有行人检测模型，所述行人检测模型为基于深度学习构建的神经网络模型，用于通过行人检测模块对行人图片进行属性分析和特征提取，得到行人分析结果；
[0028]结果返回模块，所述结果返回模块与所述行人属性及特征提取模块交互，用于将行人分析结果返回主Pipeline。
[0029]作为优选，所述行人检测模型用于对行人性别、年龄、是否戴口罩以及是否戴眼镜进行属性检测，获取行人的特征值，得到行人分析结果。
[0030]作为优选，所述车辆检测分支Pipeline中配置有如下模块：
[0031]图片源输入模块，所述图片源输入模块用于从主Pipeline中获取车辆图片；
[0032]解码预处理模块，所述解码预处理模块用于对车辆图片进行解码预处理，通过对车辆图片进行图像剪裁和归一化处理，输出满足统一标准的车辆图片；
[0033]车辆属性分析和特征提取模块，所述车辆属性分析和特征提取模块中配置有车辆分析模型，所述车辆分析模型为基于深度学习构建的神经网络模型，用于通过所述车辆分析模型对车辆图片进行车辆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Pipeline的并行视频结构化推理方法，其特征在于包括如下步骤：将Pipeline拆分为主Pipeline和分支Pipeline，所述主Pipeline共多个且并行运行，所述分支Pipeline包括行人检测分支Pipeline和车辆检测分支Pipeline；配置并初始化主Pipeline，所述主Pipeline用于以获取的视频流为输入，对视频流进行解码分帧得到多帧图片，并以行人和车辆为目标，对每帧图片进行目标检测以及目标跟踪抓拍，输出行人车辆推理结果以及行人图片和车辆图片；配置并初始化行人检测分支Pipeline和车辆检测分支Pipeline，所述行人检测分支Pipeline用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果，所述车辆检测分支Pipeline用于以车辆图片为输入，多车辆进行属性分析和特征提取，得到车辆分析结果，并用于将行人分析结果和车辆分析结果返回主Pipeline，所述主Pipeline用于将所述行人分析结果和车辆分析结果汇集为最终结果并返回下级服务；通过主Pipeline对获取的视频流进行行人和车辆的检测分析，得到行人图片和车辆图片；以行人图片为输入，通过行人检测分支Pipeline对行人进行属性分析和特征提取，得到行人分析结果，并以车辆图片为输入，通过车辆检测分支Pipeline对车辆进行属性分析和特征提取，得到车辆分析结果；通过主Pipeline对行人车辆推理结果以及行人分析结果和车辆分析结果进行汇总，得到最终结果，并将最终结果返回下级服务。2.根据权利要求1所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述主Pipeline中配置有行人车辆检测模型，所述行人车辆检测模型为基于深度学习构建的神经网络模型，用于以图片为输入，对行人和车辆进行推理分类，得到目标名称和目标位置坐标，并得到行人图片和车辆图片，所述目标包括行人和车辆；所述行人检测分支Pipeline中配置有行人检测模型，所述行人检测模型为基于深度学习构建的神经网络模型，用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果；所述车辆检测分支Pipeline中配置有车辆检测模型，所述车辆检测模型为基于深度学习构建的神经网络模型，用于以车辆图片为输入，对车辆进行属性分析和特征提取，得到车辆分析结果；通过服务器显存的大小以及主Pipeline和分支Pipeline中模型的大小计算出可并行的主pipeline个数，所述主pipeline个数计算公式为：其中，X
m
表示服务器显存的大小，X
d
表示主Pipeline和分支Pipeline中模型的大小，所述模型包括行人车辆检测模型、行人检测模型以及车辆检测模型；num为向下取整获取整数结果。3.根据权利要求1所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述主Pipeline包括如下模块：视频流输入模块，所述视频流输入模块用于通过视频监控点和码流类型完成开流，获
取视频源的rtsp流；视频解码分帧模块，所述视频码分帧模块与所述视频流输入模块交互，用于对视频流进行分帧，得到多帧图片；检测推理模块，所述检测推理模块与所述视频解码分帧模块交互，配置有行人车辆检测模型，所述行人车辆检测模型为基于深度学习构建的神经网络模型，用于通过行人车辆检测模型对输入的图片进行行人和车辆的推理分类，得到目标名称和目标位置坐标，并得到行人图片和车辆图片，所述目标包括行人和车辆；跟踪模块，所述跟踪模块用于利用IOU计算方法跟踪区域中的某个目标，跟踪规则为第一次出现检测区域中的目标或者跟丢后再次出现在区域中的目标进行跟踪抓拍，所述目标包括行人和车辆；返回结果模块，所述返回结果模块与所述检测推理模块交互，用于对行人图片和车辆图片进行抠图处理，将抠图后的行人图片发送至行人检测分支Pipeline，将抠图后的车辆图片发送至车辆检测分支Pipeline；用于获取行人分析结果和车辆分析结果，将行人车辆推理结果以及行人分析结果和车辆分析结果汇总为最终结果并返回下级服务。4.根据权利要求1所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述行人检测分支Pipeline包括：图片源输入模块，所述图片源输入模块用于从主Pipeline中获取行人图片；行人属性及特征提取模块，所述行人属性及特征提取模块与所述图片源输入模块交互，配置有行人检测模型，所述行人检测模型为基于深度学习构建的神经网络模型，用于通过行人检测模块对行人图片进行属性分析和特征提取，得到行人分析结果；结果返回模块，所述结果返回模块与所述行人属性及特征提取模块交互，用于将行人分析结果返回主Pipeline。5.根据权利要求1
‑
4任一项所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述行人检测模型用于对行人性别、年龄、是否戴口罩以及是否戴眼镜进行属性检测，获取行人的特征值，得到行人分析结果。6.根据权利要求1所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述车辆检测分支Pipeline中配置有如下模块：图片源输入模块，所述图片源输入模块用于从主Pipeline中获取车辆图片；解码预处理模块，所述解码预处理模块用于对车辆图片进行解码预处理，通过对车辆图片进行图像剪裁和归一化处理，输出满足统一标准的车辆图片；车辆属性分析和特征提取模块，所述车辆属性分析和特征提取模块中配置有车辆分析模型，所述车辆分析模型为基于深度学习构建的神经网络模型，用于通过所述车辆分析模型对车辆图片进行车辆属性分析和提取，输出车辆分析结果；返回结果模块，所述返回结果模块用于将车辆分析结果分返回主Pipeline。7.根据权利要求1、2、3、4或6所述的基于Pipeline的并行视频结构化...

【专利技术属性】
技术研发人员：苗亚囡，杨镇铭，李晗，刘琛，田昌英，安晓博，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：