一种视频图像处理识别系统技术方案

本发明专利技术涉及一种视频图像处理识别系统，包括边缘计算处理器和云平台，所述边缘计算处理器包括：获取单元、转换单元、判断单元、目标检测单元、特征提取单元、姿态提取单元以及特征组合单元；所述云平台包括：解包单元、比对单元、识别校验单元以及报警单元。本发明专利技术通过边缘计算处理器判断当前帧图像中是否存在检测目标，并对检测目标设置标签，再通过云平台对带有标签的检测目标进行识别校验，并根据识别校验结果进行处理，整个过程通过人工智能分析结合深度学习可以实时抓取视频图像并进行分析，从而实时处理以免酿成大的安全隐患。从而实时处理以免酿成大的安全隐患。从而实时处理以免酿成大的安全隐患。

【技术实现步骤摘要】
一种视频图像处理识别系统


[0001]本专利技术涉及视频图像监控
，特别是涉及一种视频图像处理识别系统。

技术介绍

[0002]针对工业生产场所以及生活安防场所中，需要安装视频监控对特定区域的特定人群行为进行实时监控。目前，视频所抓取的视频流或图像无法给管理者进行实时的必要信息反馈，只能事后调取，因此没有一套有效的实时监控系统可以实现针对异常行为的实时监控报警机制。

技术实现思路

[0003]本专利技术所要解决的技术问题是提供一种视频图像处理识别系统，能够实时抓取视频图像并进行分析，以便实时处理，以免酿成大的安全隐患。
[0004]本专利技术解决其技术问题所采用的技术方案是：提供一种视频图像处理识别系统，包括边缘计算处理器和云平台，
[0005]所述边缘计算处理器包括：获取单元，用于获取视频图像；转换单元，用于将视频图像转换为单帧图像；判断单元，用于判断所述单帧图像与上一次检测时是否发生变化；目标检测单元，用于在所述单帧图像与上一次检测时发生变化时对所述单帧图像采用目标检测网络进行目标检测得到边界框与类型；特征提取单元，用于提取在预设的关注区域中的边界框，形成第一特征标签；姿态提取单元，用于根据所述边界框的类型提取目标的姿态，形成第二特征标签；特征组合单元，用于将所述单帧图像、第一特征标签和第二特征标签进行组合形成特征集合；
[0006]所述云平台包括：解包单元，用于对所述特征集合进行解包，提取所有的第一特征标签和第二特征标签；比对单元，用于遍历所有的第一特征标签和第二特征标签，并与预设的报警类别进行比对；识别校验单元，用于在比对一致时调用与所述报警类别对应的算法负载对所述第一特征标签或第二特征标签进行识别校验；报警单元，用于在识别校验一致时进行报警。
[0007]所述判断单元在判断所述单帧图像与上一次检测时是否发生变化时，提取所述单帧图像的光流特征，将提取出的光流特征与上一次检测时的光流特征进行比对，若两者的差异超过阈值，则表示所述单帧图像与上一次检测时发生变化。
[0008]所述特征提取单元计算所述边界框与预设的关注区域的重合度，当重合区域超过边界框面积的50％时，表示所述边界框在所述预设的关注区域中，并进行提取。
[0009]所述姿态提取单元判断所述边界框的类型是否为“人”，若是则通过openpose算法对人体提取骨架特征点以提取目标的姿态，形成第二特征标签，其中在对人体提取骨架特征点时以胸口点为圆心用极坐标形式对骨架特征做归一化处理。
[0010]所述云平台还包括异常库单元，所述异常库单元用于在识别校验不一致时，对所述特征集合和校验结果进行保存，并用于对所述目标检测网络进行更新。
[0011]所述报警单元在进行报警时，将报警原因、所述单帧图像及其对应的来源点位和时间添加至报警数据库，并发布一个报警信息到客户端处理接口。
[0012]所述算法负载由所述云平台的开发者或第三方开发者提供。
[0013]所述云平台包括数据管理系统，所述数据管理系统用于对所述算法负载实现功能模块化管理，包括算法需求发布与算法开发管理、算法服务器资源分配和各级不同管理员对权限分配。
[0014]所述云平台包括用户管理系统，所述用户管理系统用于依据不同的客户需求完成相对应的项目部署。
[0015]有益效果
[0016]由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术通过边缘计算处理器判断当前帧图像中是否存在检测目标，并对检测目标设置标签，再通过云平台对带有标签的检测目标进行识别校验，并根据识别校验结果进行处理，整个过程通过人工智能分析结合深度学习可以实时抓取视频图像并进行分析，从而实时处理以免酿成大的安全隐患。
附图说明
[0017]图1是本专利技术实施方式的结构拓扑图；
[0018]图2是本专利技术实施方式中边缘计算处理器的工作流程图；
[0019]图3是本专利技术实施方式中云平台的工作流程图。
具体实施方式
[0020]下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0021]本专利技术的实施方式涉及一种视频图像处理识别系统，如图1所示，包括边缘计算处理器和云平台，其中，边缘计算处理器与多个摄像头连接。
[0022]所述边缘计算处理器包括：获取单元，用于获取视频图像；转换单元，用于将视频图像转换为单帧图像；判断单元，用于判断所述单帧图像与上一次检测时是否发生变化；目标检测单元，用于在所述单帧图像与上一次检测时发生变化时对所述单帧图像采用目标检测网络进行目标检测得到边界框与类型；特征提取单元，用于提取在预设的关注区域中的边界框，形成第一特征标签；姿态提取单元，用于根据所述边界框的类型提取目标的姿态，形成第二特征标签；特征组合单元，用于将所述单帧图像、第一特征标签和第二特征标签进行组合形成特征集合；
[0023]所述云平台包括：解包单元，用于对所述特征集合进行解包，提取所有的第一特征标签和第二特征标签；比对单元，用于遍历所有的第一特征标签和第二特征标签，并与预设的报警类别进行比对；识别校验单元，用于在比对一致时调用与所述报警类别对应的算法负载对所述第一特征标签或第二特征标签进行识别校验；报警单元，用于在识别校验一致时进行报警。
[0024]本实施方式在进行监测时，具体流程如下：
[0025]边缘计算处理器的视频图像处理和分析流程，如图2所示，具体包括以下步骤：
[0026]步骤1，边缘计算处理器轮询摄像头rtsp流，在轮询时，使用ffmpeg将摄像头rtsp流转换成单帧图像，通过该方式可以实现对多路摄像头的快速轮询，从而提高轮询效率。
[0027]步骤2，对每路摄像头提取光流特征，并将提取的光流特征与上一轮轮询的光流特征进行比对，若两者差异较大则认为该路摄像头的画面有变化，当存在变化时，则继续执行流程，否则跳过该路继续轮询。值得一提的是，当没有上一轮轮询的光流特征时，则直接执行流程。
[0028]步骤3，采用目标检测网络对当前帧图像做目标检测，得到边界框及其类型，本实施方式中的目标检测网络可以采用yolov5目标检测网络。
[0029]步骤4，采用有效区域过滤器对得到的边界框进行筛选，具体为：计算边界框与预设的关注区域(即有效区域)的重合度，若重合区域超过边界框面积的50％，则认为该边界框在关注区域中，否则认为该边界框不在关注区域中，将在关注区域中的边界框筛选出。
[0030]步骤5，判断是否有人体目标，即判断关注区域中的边界框的类型是否为“人”，若不是，则生成类别标签，若是，则通过openpose算法对人体提取骨架特征点，进行人体姿态模式的识别，并生成人体骨架标签。在提取骨架特征点时以胸口点为圆心用极坐标形式对骨架特征做归一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频图像处理识别系统，包括边缘计算处理器和云平台，其特征在于，所述边缘计算处理器包括：获取单元，用于获取视频图像；转换单元，用于将视频图像转换为单帧图像；判断单元，用于判断所述单帧图像与上一次检测时是否发生变化；目标检测单元，用于在所述单帧图像与上一次检测时发生变化时对所述单帧图像采用目标检测网络进行目标检测得到边界框与类型；特征提取单元，用于提取在预设的关注区域中的边界框，形成第一特征标签；姿态提取单元，用于根据所述边界框的类型提取目标的姿态，形成第二特征标签；特征组合单元，用于将所述单帧图像、第一特征标签和第二特征标签进行组合形成特征集合；所述云平台包括：解包单元，用于对所述特征集合进行解包，提取所有的第一特征标签和第二特征标签；比对单元，用于遍历所有的第一特征标签和第二特征标签，并与预设的报警类别进行比对；识别校验单元，用于在比对一致时调用与所述报警类别对应的算法负载对所述第一特征标签或第二特征标签进行识别校验；报警单元，用于在识别校验一致时进行报警。2.根据权利要求1所述的视频图像处理识别系统，其特征在于，所述判断单元在判断所述单帧图像与上一次检测时是否发生变化时，提取所述单帧图像的光流特征，将提取出的光流特征与上一次检测时的光流特征进行比对，若两者的差异超过阈值，则表示所述单帧图像与上一次检测时发生变化。3.根据权利要求1所述的视频图像处理识别系统，其特征在于，所述特征提取单元计算所述边界框与预设的关注区域的...

【专利技术属性】
技术研发人员：崔晓涛，
申请(专利权)人：上海檀索科技有限公司，
类型：发明
国别省市：