一种基于卷积神经网络级联的大场景监控图像人脸检测方法技术

本发明专利技术公开了一种基于卷积神经网络级联的大场景监控图像人脸检测方法，本方法的具体操作步骤如下：(1)、收集整理大场景监控图像数据并做详细标注；(2)、融合人脸区域及其语义信息，即脸部及其周围肩膀区域的级联卷积神经网络结构设计；(3)、融合人脸区域及其语义信息的级联卷积神经网络模型训练。本发明专利技术有效解决了大场景监控图像中由于人脸尺度小，尺度变化大，人脸细节模糊而造成的人脸检测效果差的问题，相比于已有的人脸检测算法，检测性能有极大提升。

【技术实现步骤摘要】
一种基于卷积神经网络级联的大场景监控图像人脸检测方法
本专利技术涉及计算机视觉、人工智能领域，尤其涉及一种基于卷积神经网络级联的大场景监控图像人脸检测方法。
技术介绍
“人脸检测”是经典的计算机视觉研究课题之一。随着时代的推进，“人脸检测”在我们的生活中有了越来越广泛的运用，针对于这些日常生活运用，目前已经有很多成熟的算法，例如开源的Opencv人脸检测算法、Dlib人脸检测算法等这些传统的人脸检测算法。近年来兴起的基于深度学习的人脸检测算法，CascadeCNN、MTCNN等。得益于深度学习算法的强大的学习能力，极大的提高了人脸检测算法的性能。近年来，国际安全形势不容乐观，全球多地接连发生恐怖袭击事件。从另一个侧面来看，安防监控产业也迎来了蓬勃发展的新时期。安防监控设备的智能化更是未来的发展趋势。“大场景监控图像”中的人脸检测是一个比较特殊的运用领域。诸如广场、车站、体育场等这些大场景区域，人群密集，是恐怖袭击事件的高发区域。在这些大场景监控区域，为了获取更大的视野范围，监控设备安装位置较高，因此所获取的人脸图片尺度较小，并且由于监控图像中人脸的位置分布广泛，导致人脸尺度变化范围大，除此以外，大场景监控图像中人脸细节比较模糊，传统的人脸检测算法和已经公布的基于深度学习的人脸检测算法都难以对这种图像做到满意的检测效果，出现的误检率和漏检率都很高。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供了一种基于卷积神经网络级联的大场景监控图像人脸检测方法，以解决目前存在的人脸检测算法对于大场景监控图像中的人脸检测效果差的问题。为达到上述目的，本专利技术所采用的技术方案是：一种基于卷积神经网络级联的大场景监控图像人脸检测方法，包括以下步骤：（1）收集整理大场景监控图像数据并做详细标注；（2）融合人脸区域及其语义信息（脸部及其周围肩膀区域）的级联卷积神经网络结构设计；（3）融合人脸区域及其语义信息的级联卷积神经网络模型训练。所述步骤（1）收集整理大场景监控图像数据并做详细标注包括以下步骤：（1-1）采集诸如广场、车站、体育场等这些大场景区域的监控图像数据；（1-2）使用labelImg图像标注软件对上一步采集的图像数据进行标注，标注包括“人脸矩形区域位置”和“人脸语义信息”，即脸部及其周围肩膀区域的矩形区域位置，标注后生成XML文件；（1-3）对标注后生成XML文件，使用Python编写程序将XML文件中保存的标注位置坐标转换为对应的文本文件，特别注意将人脸区域位置坐标与对应的人脸语义信息矩形区域位置一一对应保存，作为数据集的标注文件。所述步骤（2）融合人脸区域及其语义信息，即脸部及其周围肩膀区域的级联卷积神经网络结构设计包括以下步骤：（2-1）以级联卷积神经网络结构为基础，加入人脸区域语义信息特征；（2-2）针对级联网络结构的第二级和第三级网络，增加一个人脸区域语义信息特征输入端，通过卷积神经网络同时提取人脸区域特征和对应的语义信息特征，然后在网络的高层将两种特征融合，得出检测区域属于人脸的概率。所述步骤（3）融合人脸区域及其语义信息的级联卷积神经网络模型训练包括以下步骤：（3-1）为了保证训练的时候人脸和头肩训练数据的一一对应关系。本专利技术采用将训练数据整体打包为hdf5格式文件的方式来训练模型。首先制作一个TXT文件，文件中的每一行的内容为：“人脸样本路径”、“对应的头肩样本路径”，“标签值”；（3-2）然后使用Python调用HDF5库将训练数据转换为“.h5”文件，即包含训练数据和标签值的hdf5格式文件；（3-3）逐级训练卷积神经网络模型。本专利技术与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：(1)本专利技术能有效检测大场景监控图像中不同尺度的人脸，检测精度高。(2)本专利技术对大场景监控图像中由于光照变化、遮挡、姿态改变而造成的畸变人脸具有很高的检测精度。(3)本专利技术对大场景监控图像中尺度极小，人脸细节丢失严重的人脸仍然具有很高的检测精度。附图说明图1为监控图像数据标注时人脸区域与其对应的语义信息区域之间的几何关系；图2为本专利技术方法的操作程序框图；图3为本专利技术算法的级联卷积神经网络结构总体流程图；图4为本专利技术算法的级联卷积神经网络中第一级网络的结构图；图5为本专利技术算法的级联卷积神经网络中第二级和第三级网络的结构图。具体实施方式下面结合附图和优选实施例对本专利技术一种基于卷积神经网络级联的大场景监控图像人脸检测方法作进一步说明。实施实例一：参照附图1~5：(1-1)基于卷积神经网络级联的大场景监控图像人脸检测方法收集整理大场景监控图像数据并做详细标注；(1-2)融合人脸区域及其语义信息，即脸部及其周围肩膀区域的级联卷积神经网络结构设计；融合人脸区域及其语义信息的级联卷积神经网络模型训练。实施实例二：本实施实例与实施实例一基本相同，特别之处如下：(2-1)所述基于卷积神经网络级联的大场景监控图像人脸检测方法采集广场、或车站、或体育场的大场景区域的监控图像数据；(2-2)使用labelImg图像标注软件对步骤（2-1）采集的图像数据进行标注，标注包括“人脸矩形区域位置”和“人脸语义信息—脸部及其周围肩膀区域矩形区域位置”，标注后生成XML文件；(2-3)对标注后生成的XML文件，使用Python编写程序，将XML文件中保存的标注位置坐标转换为对应的文本文件，特别注意将人脸区域位置坐标与对应的人脸语义信息矩形区域位置一一对应保存，作为数据集的标注文件。(2-4)以级联卷积神经网络结构为基础，融合人脸区域语义信息特征；(2-5)针对级联网络结构的第二级和第三级网络，增加一个人脸区域语义信息特征输入端，通过卷积神经网络同时提取人脸区域特征和对应的语义信息特征，然后在网络的高层将两种特征融合，得出检测区域属于人脸的概率。(2-6)为了保证训练的时候人脸和人脸语义信息数据的一一对应关系，采用将训练数据整体打包为hdf5格式文件的方式来训练模型，首先制作一个TXT文件，文件中的每一行的内容为：“人脸样本路径”、“对应的头肩样本路径”，“标签值”；(2-7)使用Python调用HDF5库将训练数据转换为“.h5”文件，即包含训练数据和标签值的hdf5格式文件。实施实例三：基于卷积神经网络级联的大场景监控图像人脸检测方法，其特征在于包括了以下步骤：(3-1)在本专利技术通过采集大场景监控图像数据来获取算法模型的训练数据，共计采集500张大场景监控图像，所涉及场景包括广场、车站、体育场；(3-2)在采集的图像中共计标注约15000张人脸，及人脸所对应的语义信息区域。其中监控图像数据标注时人脸区域与其对应的语义信息区域之间的几何关系参照附图1；(3-3)融合人脸区域及其语义信息，即脸部及其周围肩膀区域的级联卷积神经网络结构设计；(3-4)级联卷积神经网络的总体结构流程参考附图2。为一个三级的级联结构，每一级为一个卷积神经网络分类器。通过对输入网络的检测区域逐级筛选得到最终的检测结果；(3-5)级联卷积神经网络的第一级网络为人脸分类器。它的卷积神经网络结构参考附图3。本专利技术将它的结构设计的比较简单，虽然模型的学习能力也减少了，但这样可以减少第一级分类器的计算量，使算法能够在开始阶段快速排除检测图像中大量的非人脸区域。此本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络级联的大场景监控图像人脸检测方法，其特征在于包括以下步骤：（1）收集整理大场景监控图像数据并做详细标注；（2）融合人脸区域及其语义信息，即脸部及其周围肩膀区域的级联卷积神经网络结构设计；（3）融合人脸区域及其语义信息的级联卷积神经网络模型训练。

【技术特征摘要】
1.一种基于卷积神经网络级联的大场景监控图像人脸检测方法，其特征在于包括以下步骤：（1）收集整理大场景监控图像数据并做详细标注；（2）融合人脸区域及其语义信息，即脸部及其周围肩膀区域的级联卷积神经网络结构设计；（3）融合人脸区域及其语义信息的级联卷积神经网络模型训练。2.根据权利要求1所述的基于卷积神经网络级联的大场景监控图像人脸检测方法，其特征在于：所述步骤（1）收集整理大场景监控图像数据并做详细标注，包括以下步骤：（1-1）采集广场、或车站、或体育场的大场景区域的监控图像数据；（1-2）使用labelImg图像标注软件对步骤（1-1）采集的图像数据进行标注，标注包括“人脸矩形区域位置”和“人脸语义信息—脸部及其周围肩膀区域矩形区域位置”，标注后生成XML文件；（1-3）对标注后生成的XML文件，使用Python编写程序，将XML文件中保存的标注位置坐标转换为对应的文本文件，特别注意将人脸区域位置坐标与对应的人脸语义信息矩形区域位置一一对应保存，作为数据集的标注文件。3.根据权利要求1所...

【专利技术属性】
技术研发人员：卜伟，周传宏，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31