一种视频中行人和人脸混合提取方法技术

本发明专利技术公开了一种视频中行人和人脸混合提取方法，包括本发明专利技术提出了一种基于深度学习和图像处理算法的监控视频行人和人脸混合提取技术，在传统服务器上使用通用cpu和gpu硬件，利用深度学习相关技术实现了对监控摄像头输出的实时视频流进行行人和人脸抓拍功能，提取出指定监控区域内经过的行人最优图像以及对应人脸图像，同时利用本技术可以实现离线监控视频中行人/人脸快速提取，便于对监控历史视频数据的整理，极大提高安防人员对重点人员管控效率。管控效率。管控效率。

【技术实现步骤摘要】
一种视频中行人和人脸混合提取方法


[0001]本专利技术涉及视频抓拍
，具体为一种视频中行人和人脸混合提取方法。

技术介绍

[0002]近年来，随着智慧城市、智慧安防领域的发展，视频监控作为不可或缺的数据获取方法，城市中部署了随处可见的安防监控摄像头，时刻保障着人们的安全。而行人和人脸作为安防摄像头主要关注的对象，需要有高效的抓拍提取手段以提高监控人员的工作效率，目前业内主要使用集成了人脸抓拍和行人抓拍功能抓拍摄像头对监控区域内经过行人和人脸进行提取，比如海康威视、大华等抓拍摄像头。
[0003]目前市面上使用抓拍相机方式提取行人和人脸信息的产品存在着以下四点缺陷：
[0004]1、使用成本高
[0005]相对普通监控摄像机，带抓拍功能通常要贵的多，同时由于城市已经部署过很多普通监控摄像机，将它们全部更新、部署即造成之前投入资金的浪费、工作量又巨大。
[0006]2、算法升级维护繁琐
[0007]由于抓拍相机内部集成抓拍提取算法，而随着人工智能算法的不断演进，抓拍算法也会越来越准确，功能越来越丰富，但当前的抓拍摄像机对于算法的更新需要逐个升级相机固件，有的相机甚至可能还需要现场连接摄像机，优化升级繁琐，工作量大。
[0008]3、覆盖面少
[0009]由于带有抓拍功能的相机推出较晚同时价格较高，目前城市中绝大部分监控摄像头都是不带抓拍功能的普通摄像头，可以智能提取监控区域中的行人和人脸信息，快速定位重点人的区域覆盖面很少。
[0010]4、品种繁多，功能和效果参差不齐
[0011]目前各大监控摄像头厂家都在研发支持行人或人脸抓拍功能的摄像机，但效果和功能各不相同，如果有的相机仅支持人脸的抓拍提取但不支持行人的抓拍提取，有的相机虽然支持的功能多但效果不佳，很容易出现漏拍或抓拍图片效果不佳的情况，而抓拍摄像机又受限于部署和升级繁琐的问题，一旦上线短期很难更换。
[0012]因此我们对此做出改进，提出一种视频中行人和人脸混合提取方法。

技术实现思路

[0013]为了解决上述技术问题，本专利技术提供了如下的技术方案：
[0014]本专利技术一种视频中行人和人脸混合提取方法，包括以下几个步骤：
[0015]S1、对摄像头通过5G网络传入的实时视频流解码和离线存储的监控视频文件解码，采用ffmpeg视频处理库进行视频逐帧解码，从而得到序列化的图片数据，而后将图片数据分别送入人脸检测模块和行人检测模块中；
[0016]S2、对S1解码出的视频信息，进行目标检测，得到人脸和行人信息，使用基于centerNet深度学习网络训练出的行人检测模块器进行视频帧中行人位置和大小的检测；
[0017]S3、对S2中的人脸和行人信息进行目标定位跟踪，使用Faceboxes作为视频帧中人脸位置和大小的检测器，对不同尺寸、姿态和场景下的人脸进行定位，采用sort算法，将S2当前检测的目标与现有目标相关联，并管理跟踪目标的生命周期；
[0018]S4、对S3检测出的行人和人脸图片分别进行质量评估，质量评估使用基于深度学习的质量分类算法以及传统图像处理方法获得各项质量评估结果；
[0019]S5、对行人和人脸进行相关联对比识别；
[0020]S6、混合提取对比，根据行人、人脸以及关联评估提取输出结果。
[0021]作为本专利技术的一种优选技术方案，所述S1S1目标检测中包括cpu和gpu硬件和视频解码模块，所述视频解码模块与摄像头通过5G网络信号连接，所述视频解码模块采用ffmpeg视频处理库进行视频逐帧解码。
[0022]作为本专利技术的一种优选技术方案，所述S2中设有人脸检测模块和行人检测模块，所述人脸检测模块采用Faceboxes检测器，检测视频帧中人脸位置和大小，所述人脸检测模块包括人脸检测模块算法，所述人脸检测模块算法包括以下三个步骤：
[0023]步骤一、通过RDCL利用7
×
7、5
×
5的大卷积核和CReLU完成1024
×
1024高分辨率图像的快速下采样，在大幅度减少参数量的同时，覆盖必要的图片分布信息；
[0024]步骤二、引入MSCL和FPN将不同尺度卷积层的信息进行了融合；进一步扩大了模型的感受视野，提升了对不同尺度人脸的召回能力；
[0025]步骤三、引入Anchordensificationstrategy，通过稠密采样anchor提升小人脸匹配成功的概率。
[0026]作为本专利技术的一种优选技术方案，所述S2中行人检测模块采用centerNet目标检测方法，检测当前热点与周围8个临近点，采用3
×
3最大池化。
[0027]作为本专利技术的一种优选技术方案，所述S2中包括人脸跟踪模块和行人跟踪模块，所述人脸跟踪模块和行人跟踪模块均采用多目标跟踪，且采用sort算法，以目标检测框iou作为前后帧间目标关系度量指标，预测当前位置，并关联检测框到目标。
[0028]作为本专利技术的一种优选技术方案，所述S4中包括人脸质量评估模块和行人质量评估模块，所述人脸质量评估模块和行人质量评估模块均使用基于深度学习的质量分类算法以及传统图像处理方法，所述人脸跟踪模块包括行人评估维度和人脸质量评估模块维度，所述行人评估维度由行人清晰度、行人重叠度、行人宽高比例、是否存在到人脸、行人是否完整和行人朝向构成，所述人脸质量评估模块维度由人脸清晰度、人脸角度和人脸遮挡情况构成。
[0029]作为本专利技术的一种优选技术方案，所述S5中包括人脸/行人关联模块，所述人脸/行人关联模块选择关联到的帧数最多的一个人脸id作为此行人的最优关联人脸，避免短暂关联结果的干扰，减少关联的错误。
[0030]作为本专利技术的一种优选技术方案，所述S6中设有人脸/行人结果输出模块，所述人脸/行人结果输出模块中记录行人离开后输出和行人长时间逗留后输出，根据行人、人脸以及关联评估给定的输出结果综合评定出同一行人id中最佳的行人和人脸图片和属性信息。
[0031]本专利技术的有益效果是：
[0032]1、该种视频中行人和人脸混合提取方法，实现速度更快、资源消耗更低的算法处理，在NVIDIA2080ti卡上FH
‑
Video
‑
Mix
‑
Capture对于实时监控视频流可以实现8路以上的
实时处理，对于离线视频处理帧率可以达到200fps左右，提取效果良好，可以在行人离开和长时间逗留监控区域后输出最优行人和人脸信息，同时升级成本低，不需要更新原先部署的监控摄像头，使用烽火人工智能计算服务器即可让原始部署的普通监控摄像头升级使用行人和人脸提取功能，大大节省了人力和资金成本；
[0033]2、该种视频中行人和人脸混合提取方法，将行人和人脸结合起来，实时独立检测和评估最佳行人和人脸，使视频可以一次性输出经过监控区域的最佳行人和人脸，可以方便的升级提取算法，亦可以针对性、定制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频中行人和人脸混合提取方法，其特征在于，包括以下几个步骤：S1、对摄像头通过5G网络传入的实时视频流解码和离线存储的监控视频文件解码，采用ffmpeg视频处理库进行视频逐帧解码，得到序列化的图片数据，后将图片数据分别送入人脸检测模块和行人检测模块中；S2、对S1解码出的视频信息，进行目标检测，得到人脸和行人信息，使用基于centerNet深度学习网络训练出的行人检测模块器进行视频帧中行人位置和大小的检测；S3、对S2中的人脸和行人信息进行目标定位跟踪，使用Faceboxes作为视频帧中人脸位置和大小的检测器，对不同尺寸、姿态和场景下的人脸进行定位，采用sort算法，将S2当前检测的目标与现有目标相关联，并管理跟踪目标的生命周期；S4、对S3检测出的行人和人脸图片分别进行质量评估，质量评估使用基于深度学习的质量分类算法以及传统图像处理方法获得各项质量评估结果；S5、对行人和人脸进行相关联对比识别；S6、混合提取对比，根据行人、人脸以及关联评估提取输出结果。2.根据权利要求1所述的一种视频中行人和人脸混合提取方法，其特征在于，所述S1目标检测中包括cpu和gpu硬件和视频解码模块，所述视频解码模块与摄像头通过5G网络信号连接，所述视频解码模块采用ffmpeg视频处理库进行视频逐帧解码。3.根据权利要求1所述的一种视频中行人和人脸混合提取方法，其特征在于，所述S2中设有人脸检测模块和行人检测模块，所述人脸检测模块采用Faceboxes检测器，检测视频帧中人脸位置和大小，所述人脸检测模块包括人脸检测模块算法，所述人脸检测模块算法包括以下三个步骤：步骤一、通过RDCL利用7
×
7、5
×
5的大卷积核和CReLU完成1024
×
1024高分辨率图像的快速下采样，在大幅度减少参数量的同时，覆盖必要的图片分布信息；步骤二、引入MSCL和FPN将...

【专利技术属性】
技术研发人员：夏立，周祥，王祥，钱坤，王康，李峰岳，
申请(专利权)人：南京烽火星空通信发展有限公司，
类型：发明
国别省市：