视频目标检测方法、计算机装置、存储介质及程序产品制造方法及图纸

本发明专利技术公开了一种视频目标检测方法、计算机装置、存储介质及程序产品，设计了一个融合目标检测算法、关键帧选择算法、超分辨率算法的监控视频综合分析框架，用于解决公共安全领域视频数据分析工作量大，容易丢失目标且分辨率低的问题。其次，我们通过基于回归的目标检测与识别算法，对视频目标进行实时识别，便于监控视频查看人员追踪目标，通过设计关键帧选择算法，挑选出监控视频中场景显著变化的帧，降低视频分析的工作量。最后，我们使用像素空间和特征空间融合超分辨率算法对关键帧中的目标进行超分辨率重建，提升关键目标的分辨率，提高监控视频检测目标的视觉感知质量，便于监控视频查看人员侦查办案。于监控视频查看人员侦查办案。于监控视频查看人员侦查办案。

【技术实现步骤摘要】
视频目标检测方法、计算机装置、存储介质及程序产品


[0001]本专利技术涉及监控视频目标识别领域，特别是一种视频目标检测方法、计算机装置、存储介质及程序产品。

技术介绍

[0002]视频监控在社会公共安全中发挥着越来越重要的作用。传统的视频监控系统只能提供实时情况监控，或者通过回看监控视频人工分析案件，监控视频数据应用效率底，难以有效发挥视频监控的巨大作用。人工智能和机器学习技术应用于视频监控系统，能够智能分析视频内容、检测异常行为、发现潜在的危害行为，从而提供更准确、更安全的监控
[1]。虽然大型互联网公司发布了一些智能视频监控产品，但是一方面受到软件产品购买、运行、维护成本的限制，监控视频领域缺乏简洁、有效的辅助工具；另一方面受到硬件成本、硬件工艺、拍摄环境等限制，目前监控视频的分辨率低，视觉感知不清晰。
[0003]传统目标检测算法OpenCV级联分类器，通过滑动窗口进行区域选择，采用 HOG+SVM等方法进行特征提取，使用分类器对检测区域进行分类
[2,3]。基于深度学习的目标检测算法可分为基于区域建议的目标检测与识别算法和基于回归的目标检测与识别算法两种。基于区域建议的目标检测与识别算法RCNN，首先基于区域建议生成目标候选框，然后对所生成的目标候选框进行筛选，最后精修候选框的大小与位置
[4]。基于回归的目标检测与识别算法YOLO将目标检测看作是一个回归问题，训练阶段的目的是训练出一组权值，测试时，直接调用已训练好的权值进行目标定位
[5]。传统超分辨率方法多是基于插值(如零阶插值法、双线性插值法和双三次插值法)和实例的方法。基于实例的稀疏表示方法通过学习图像块之间的稀疏关联，建立从低分辨率到超分辨率图像之间的映射关系，实现图像的超分辨率重建
[6]。基于深度学习的超分辨率算法可以分为基于像素空间的方法和基于特征空间的方法。基于像素空间的超分辨率方法SRCNN，首先使用一个9*9卷积层提取图像初始特征，然后使用一个1*1卷积层学习从低分辨率到高分辨的非线性映射，最后使用一个5*5卷积层重建超分辨率图像
[7]。基于特征空间的超分辨率方法SRGAN，通过生成器学习从LR到HR的非线性映射，通过鉴别器在语义和风格上约束生成的超分辨率图像
[8]。这些目标检测算法和超分辨率算法在各自领域取得越来越好的效果，但是并不适合直接用于基于视频监控的公共安全领域，将目标检测算法、关键帧选择算法和超分辨率算法融合，并针对公共安全领域设计监控视频综合分析框架，对于提升监控视频侦查人员工作效率，具有重要意义
[9]。

技术实现思路

[0004]本专利技术所要解决的技术问题是，针对现有技术不足，提供一种视频目标检测方法、计算机装置、存储介质及程序产品，提高视频目标检测精度。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：一种视频目标检测方法，包括以下步骤：
[0006]S1、提取输入视频帧的特征，融合提取的特征，构建视频目标检测网络；
[0007]S2、目标检测网络将视频帧划分为N*N个网格，每个网格预测出B个检测框，采用基于检测框中心点距离的非极大值抑制算法去除冗余窗口
[10](对于视频帧中重叠的目标，根据检测框中心点位置信息，能够保留重叠目标的检测框，防止重叠目标被屏蔽)，输出去除冗余窗口后的检测框，即目标框的类别信息、数量信息和置信度信息；
[0008]S3、判断目标框内当前帧视频与上一帧视频的类别信息、数量信息、置信度信息之一是否发生变化，若发生变化，则将当前帧作为关键帧；
[0009]S4、获取关键视频帧中的目标在图像中的坐标信息，根据坐标信息截取关键帧中的目标，得到监控视频的关键目标。
[0010]本专利技术的基于目标检测网络的关键帧选择算法，能够从大量视频帧中，选出类别信息、数量信息、置信度信息发生变化的关键帧，剔除信息相似的大量冗余视频帧，能够有效提升监控视频侦查人员的工作效率，降低人工成本，极大地提高侦查人员目标检测的精度。
[0011]为了进一步提高目标检测精度，有效提升关键目标的视觉感知质量，协助视频侦查人员识别、追踪目标，本专利技术的方法还包括：
[0012]S5、提取关键目标的初始特征，学习初始特征从低分辨率到高分辨率的映射关系，重建出高分辨率关键目标。
[0013]本专利技术利用两个级联的卷积层提取所述关键目标的初始特征，从而提取更丰富的初始特征，扩大超分辨率重建网络的感受野。
[0014]本专利技术中，学习初始特征从低分辨率到高分辨率的映射关系，重建出高分辨率关键目标的具体实现过程包括：
[0015]1)将所述初始特征输入第一上采样单元，得到第一上采样特征图；
[0016]2)将所述第一上采样特征图输入第一下采样单元，得到第一下采样特征图；
[0017]3)将所述第一下采样特征图输入第二上采样单元，得到第二上采样特征图；将所述第二上采样特征图输入第二下采样单元，得到第二下采样特征图；将所述第二下采样特征图输入第三上采样单元，得到第三上采样特征图；将所述第三上采样特征图输入第三下采样单元，得到第三下采样特征图；
[0018]4)重复步骤3)N次，将得到的特征图输入第四上采样单元，获得第四上采样特征图；
[0019]5)将第四上采样特征图输入至输出卷积层，重建出高分辨率关键目标。
[0020]本专利技术基于上、下采用单元迭代的超分辨率重建网络，能够充分挖掘低分辨率和高分辨率图像之间的映射关系，递归结构能够在不增加参数量的前提下，增加反投影网络的深度，从而实现高质量视频帧SR重建。
[0021]所有的上采样单元结构相同，包括依次连接的第一反卷积层、第一卷积层和第二反卷积层；所有的下采样单元结构相同，包括依次连接的第二卷积层、第三反卷积层和第三卷积层。本专利技术中，上、下采样单元，通过计算上、下采样过程中的投影误差，并使用投影误差修正输出，恢复上、下采样过程中的信息丢失，提升上、下采样单元的输出质量。
[0022]上采样单元结构的第一反卷积层用于上采样输入特征；第一卷积层用于下采样第一反卷积的输出，并计算与输入特征的差值(投影误差)；第二反卷积层用于上采样投影误差，并与第一反卷积层的输出叠加，得到经过投影误差修正的上采样输出。下采样单元结构
loss)优化目标框并通过非极大值抑制算法(DIOU_NMS)筛选目标框，输出目标框类别信息、数量信息和置信度信息。其中，目标框优化损失函数为GIoU＝IoU
‑
|A
c
‑
U|/|A
c
|，其中A
c
是预测框A和真实框B的最小外接框，U是预测框和真实框的并集U＝A∪B，GIoU能够区分IoU相同并且大小也相同的预测框与真实框之间不同的位置关系，能够优化预测框和真实框不相交的情况。 DIOU_NMS在筛选目标框的时候同时考虑重叠区域和两个检测框之间的中心距离，不会删除两个中心点较远的检测框，因为其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频目标检测方法，其特征在于，包括以下步骤：S1、提取输入视频帧的特征，融合提取的特征，构建视频目标检测网络；S2、目标检测网络将视频帧划分为N*N个网格，每个网格预测出B个检测框，采用基于检测框中心点距离的非极大值抑制算法去除冗余窗口，输出去除冗余窗口后的检测框，即目标框的类别信息、数量信息和置信度信息；S3、判断目标框内当前帧视频与上一帧视频的类别信息、数量信息、置信度信息之一是否发生变化，若发生变化，则将当前帧作为关键帧；S4、获取视频帧在图像中的坐标信息，根据坐标信息截取关键帧中的目标，得到监控视频的关键目标。2.根据权利要求1所述的视频目标检测方法，其特征在于，还包括：S5、提取关键目标的初始特征，学习初始特征从低分辨率到高分辨率的映射关系，重建出高分辨率关键目标。3.根据权利要求2所述的视频目标检测方法，其特征在于，利用两个级联的卷积层提取所述关键目标的初始特征。4.根据权利要求2所述的视频目标检测方法，其特征在于，学习初始特征从低分辨率到高分辨率的映射关系，重建出高分辨率关键目标的具体实现过程包括：1)将所述初始特征输入第一上采样单元，得到第一上采样特征图；2)将所述第一上采样特征图输入第一下采样单元，得到第一下采样特征图；3)将所述第一下采样特征图输入第二上采样单元，得到第二上采样特征图；将...

【专利技术属性】
技术研发人员：任盛，
申请(专利权)人：湖南文理学院，
类型：发明
国别省市：