采用嵌入式系统中的小规模卷积神经网络模块的人脸检测技术方案

本申请实施例提供了基于使用小规模硬件卷积神经网络(CNN)模块的人脸检测系统的多个示例，其中该模块被配置到多任务级联CNN模块中。在一些实施例中，基于子图像的CNN系统可被配置为等同于不需划分而处理整个输入图像的大规模CNN，从而该基于子图像的CNN系统的输出可与大规模CNN的输出完全相同。基于此，本申请公开的一些实施例将该基于子图像的CNN系统和技术应用到级联CNN或多任务级联CNN(MTCNN)的一级或多级中，从而输入到该级联CNN或者该MTCNN的指定级中的更大输入图像可以被划分成一组具有更小尺寸的子图像。因此，该级联CNN或者该MTCNN的每一级都可以采用相同的小规模硬件CNN模块，该小规模硬件CNN模块受最大输入图像尺寸限制。

Face detection using small scale convolution neural network module in embedded system

The application example provides multiple examples of face detection system based on the small scale hardware convolution neural network (CNN) module, which is configured to multitask concatenated CNN module. In some embodiments, the sub image based CNN system can be configured to equate to the large-scale CNN that processes the whole input image without division, so that the output of the CNN system based on sub images can be exactly the same as the output of large-scale CNN. Based on this, some embodiments of the disclosed the sub image CNN system and application based on cascade CNN or multi task CNN cascade (MTCNN) one or more stages, thus more input to the input image of the cascade CNN or the MTCNN is specified in the class can be divided into a group with the smaller size of the sub image. Therefore, every level of the cascade CNN or MTCNN can adopt the same small scale hardware CNN module, which is limited by the largest input image size. The CNN module is small.

【技术实现步骤摘要】
采用嵌入式系统中的小规模卷积神经网络模块的人脸检测优先权要求及相关专利申请本申请与正在审查中的美国专利申请15/441,194(申请名称：基于有限资源小规模CNN模块的卷积神经网络(CNN)系统(CONVOLUTIONALNEURALNETWORK(CNN)SYSTEMBASEDONRESOLUTION-LIMITEDSMALL-SCALECNNMODULES)；专利技术人：王星、吴谦伟、梁杰；申请日：2017年2月23日)相关。上述申请以引用形式被并入本申请，并作为本申请的一部分。本专利申请要求美国临时专利申请62/428,497(申请名称：基于有限资源小规模CNN模块的卷积神经网络(CNN)(CONVOLUTIONALNEURALNETWORKS(CNN)BASEDONRESOLUTION-LIMITEDSMALL-SCALECNNMODULES)；专利技术人：王星、吴谦伟、梁杰；申请日：2016年11月30日)的优先权。
本公开一般涉及机器学习和人工智能领域，更具体而言，涉及使用小规模硬件卷积神经网络(CNN)模块对视频图像执行人脸检测的系统、装置和技术。
技术介绍
深度学习(DL)是机器学习和人工神经网络的一个基于一组算法的分支，该算法通过使用具有很多个处理层的人工神经网络来试图建模数据中的高层次抽象。典型的DL架构可包括许多层的神经元和数百万个参数。可以在配备有GPU的高速计算机上用海量数据训练这些参数，并由在深层网络也能适用的新的训练算法来指导，诸如修正线性单元(ReLU)、漏失(或丢弃)、数据集增强，以及随机梯度下降(SGD)。在现有的DL架构之中，卷积神经网络(CNN)是最流行的架构之一。虽然CNN背后的思想在20多年前就被发现了，但是，CNN的真正的能力只是在深度学习理论的近期发展之后才被认识到。到目前为止，CNN已经在许多人工智能和机器学习领域，诸如人脸识别、图像分类、图像字幕生成、可视问答以及自动驾驶汽车中取得了巨大成功。在很多人脸识别应用中，人脸检测都是比较重要的过程。很多人脸检测技术可以容易地检测近距离的正向脸部。然而，在无约束情形下，实现稳健并快速的人脸检测依然是非常困难的。这是因为，这些情形通常与人脸的大量变化相关，这些变化包括姿态变化、遮挡、夸张的表情以及极端的光照变化。可以处理这些无约束情形下的有效人脸检测技术包括：(1)在“用于人脸检测的卷积神经网络级联”(AConvolutionalNeuralNetworkCascadeforFaceDetection)(H.Li,Z.Lin,X.Shen,J.Brandt,andG.Hua,计算机视觉和模式识别，IEEE会议学报(Proc.IEEEConf.onComputerVisionandPatternRecognition)，2015年6月1日)中描述的级联卷积神经网络(CNN)结构(下文称之为“级联CNN”或者“级联CNN结构”)；以及(2)在“利用多任务级联卷积网络的接合人脸检测和对齐”(JointFaceDetectionandAlignmentUsingMultitaskCascadedConvolutionalNetworks)(K.Zhang,Z.Zhang,Z.Li,andY.Qiao；IEEE信号处理学报(IEEESignalProcessingLetters)，Vol.23,No.10,pp.1499-1503，2016年10月)中描述的多任务级联CNN结构(下文称之为“MTCNN”或者“MTCNN结构”)。在级联CNN中，由粗至精的级联CNN架构用于人脸检测。更具体地，该级联CNN架构不使用单个深度神经网络，而是使用在输入图像的不同分辨率上操作的多个浅层神经网络，从而该CNN可以快速地在低分辨率级舍弃背景区域，然后在最终高分辨率级谨慎地评估少量候选区域。为了提高定位效率，在每个检测/分类级之后采用校正级，以调整已检测窗口(或者“边界框”)的位置。因此，该级联CNN通常需要6级或者6个简单的CNN：三个级或CNN用于二进制人脸检测/分类，而另外三个用于边界框校正。由于在每级采用的级联设计以及简单的CNN，因此该人脸检测结构高度适用于在嵌入式环境中运行。需要注意，级联CNN内的每个边界框校正级都需要额外的计算开销。此外，在该级联CNN中，人脸检测和人脸对齐的固有相关性被忽略了。在MTCNN中，多任务级联CNN通过多任务学习，利用统一标准的级联CNN整合人脸检测和人脸对齐操作。原则上，该MTCNN还采用多个由粗至精的CNN级，从而对输入图像的不同分辨率进行操作。然而，在MTCNN中，在每一级，利用单个CNN结合训练人脸关键点定位、二进制人脸分类和边界框对准。因此，MTCNN只需要三个级。更特别地，MTCNN的第一级迅速地通过浅层CNN生成候选人脸窗口。接下来，该MTCNN的第二级利用更复杂的CNN，通过舍弃大量非人脸窗口筛选出候选窗口。最终，MTCNN的第三级使用处理能力更强的CNN，以确定每个输入窗口是否包括人脸。如果确定包括，则对五个人脸关键点的位置进行估计。相对于先前的人脸检测系统，MTCNN的性能得到了明显的改善。相对于上文所述的级联CNN结构，MTCNN结构通常更适于在资源有限的嵌入式系统上执行。
技术实现思路
文中所述实施例提供了基于使用小规模硬件卷积神经网络(CNN)模块的人脸检测系统、技术和架构的各个示例，其中该模块被配置到多任务级联CNN中。在一些实施例中，基于子图像的CNN系统可被配置为等同于不需划分而处理整个输入图像的大规模CNN系统，从而该基于子图像的CNN系统的输出可与大规模CNN的输出完全相同。基于此，本申请公开的一些实施例将该基于子图像的CNN系统和技术应用到级联CNN或多任务级联CNN(MTCNN)的一级或多级中，从而该级联CNN或者该MTCNN的指定级中的更大的输入图像可以被划分成具有更小尺寸的一组子图像。因此，该级联CNN或者该MTCNN的每一级都可以采用相同的小规模硬件CNN模块，该小规模硬件CNN模块受最大输入图像尺寸限制。一方面，公开了一种基于采用至少一个小规模硬件卷积神经网络(CNN)模块，并用于处理视频图像的人脸检测系统。该人脸检测系统包括运动检测模块和第一处理模块。该运动检测模块用于检测视频图像内对应于一移动物体的候选图像区域；该第一处理模块通过一硬件CNN模块实现功能，其中该第一处理模块利用该硬件CNN模块采用具有第一图像尺寸的滑动窗口方法处理已检测候选图像区域，并在该已检测候选图像区域内生成第一组候选人脸窗口，其中该第一图像尺寸介于该硬件CNN模块的最小输入尺寸和最大输入尺寸之间。该人脸检测系统还包括第二处理模块，该第二处理模块通过该硬件CNN模块实现功能并且连接到该第一处理模块。该第二处理模块利用该硬件CNN模块采用第二图像尺寸处理该候选图像区域内的第一组子区域，其中该第一组子区域对应于该第一组候选人脸窗口，并且在该已检测候选图像区域内生成第二组候选人脸窗口，其中该第二图像尺寸介于该硬件CNN模块的最小和最大输入尺寸之间。该人脸检测系统还包括第三处理模块，该第三处理模块通过该硬件CNN模块实现功能并且连接到该第二处理模块。该第三处理模块利用该硬件CN本文档来自技高网...

【技术保护点】
一种人脸检测系统,所述人脸检测系统基于采用至少一个小规模硬件卷积神经网络模块来处理视频图像，其特征在于，所述系统包括：运动检测模块，用于检测视频图像内与移动物体对应的候选图像区域；第一处理模块，所述第一处理模块通过硬件CNN模块实现功能，其中所述第一处理模块利用所述硬件CNN模块，采用具有第一图像尺寸的滑动窗口方法处理已检测候选图像区域，并在所述已检测候选图像区域内生成第一组候选人脸窗口，其中所述第一图像尺寸介于所述硬件CNN模块的最小输入尺寸和最大输入尺寸之间；第二处理模块，所述第二处理模块通过所述硬件CNN模块实现功能并且连接到所述第一处理模块，其中所述第二处理模块利用所述硬件CNN模块，并采用第二图像尺寸处理所述候选图像区域内的第一组子区域，其中所述第一组子区域对应于所述第一组候选人脸窗口，并在所述已检测候选图像区域内生成第二组候选人脸窗口，其中所述第二图像尺寸介于所述硬件CNN模块的最小和最大输入尺寸之间；以及第三处理模块，所述第三处理模块通过所述硬件CNN模块实现功能并且连接到所述第二处理模块，其中所述第三处理模块利用所述硬件CNN模块，采用第三图像尺寸处理所述候选图像区域内的第二组子区域，其中所述第二组子区域对应于所述第二组候选人脸窗口，并在所述已检测候选图像区域内生成第三组候选人脸窗口，其中所述第三图像尺寸大于所述硬件CNN模块的最大输入尺寸。...

【技术特征摘要】
2016.11.30 US 62/428,497;2017.07.21 US 15/657,1091.一种人脸检测系统,所述人脸检测系统基于采用至少一个小规模硬件卷积神经网络模块来处理视频图像，其特征在于，所述系统包括：运动检测模块，用于检测视频图像内与移动物体对应的候选图像区域；第一处理模块，所述第一处理模块通过硬件CNN模块实现功能，其中所述第一处理模块利用所述硬件CNN模块，采用具有第一图像尺寸的滑动窗口方法处理已检测候选图像区域，并在所述已检测候选图像区域内生成第一组候选人脸窗口，其中所述第一图像尺寸介于所述硬件CNN模块的最小输入尺寸和最大输入尺寸之间；第二处理模块，所述第二处理模块通过所述硬件CNN模块实现功能并且连接到所述第一处理模块，其中所述第二处理模块利用所述硬件CNN模块，并采用第二图像尺寸处理所述候选图像区域内的第一组子区域，其中所述第一组子区域对应于所述第一组候选人脸窗口，并在所述已检测候选图像区域内生成第二组候选人脸窗口，其中所述第二图像尺寸介于所述硬件CNN模块的最小和最大输入尺寸之间；以及第三处理模块，所述第三处理模块通过所述硬件CNN模块实现功能并且连接到所述第二处理模块，其中所述第三处理模块利用所述硬件CNN模块，采用第三图像尺寸处理所述候选图像区域内的第二组子区域，其中所述第二组子区域对应于所述第二组候选人脸窗口，并在所述已检测候选图像区域内生成第三组候选人脸窗口，其中所述第三图像尺寸大于所述硬件CNN模块的最大输入尺寸。2.根据权利要求1所述的人脸检测系统，其特征在于，基于所述硬件CNN模块的最小输入尺寸确定所述第一图像尺寸。3.根据权利要求1所述的人脸检测系统，其特征在于，所述第一图像尺寸基本等于所述硬件CNN模块的最小输入尺寸。4.根据权利要求1所述的人脸检测系统，其特征在于，所述运动检测模块用于利用硬件芯片组或片上系统的背景消除模块，检测所述候选图像区域。5.根据权利要求1所述的人脸检测系统，其特征在于，还包括位于所述运动检测模块和所述第一处理模块之间的金字塔生成模块，所述金字塔生成模块用于生成所述已检测候选图像区域的金字塔式的多分辨率表示。6.根据权利要求5所述的人脸检测系统，其特征在于，所述第一处理模块利用所述第一图像尺寸处理所述已检测候选图像区域的方式为：针对所述已检测候选图像区域的多分辨率表示中的每个图像，采用具有第一图像尺寸的滑动窗口为所述图像生成一组图像块；从每组图像块中生成第一组候选人脸窗口，其中所述每组图像块对应于所述已检测候选图像区域的每个多分辨率表示的所述滑动窗口的位置。7.根据权利要求1所述的人脸检测系统，其特征在于，第一组候选人脸窗口中的每一个窗口与置信度指数和一组边界框坐标关联，所述一组边界框坐标定义了所述候选人脸窗口在所述已检测候选图像区域内的位置。8.根据权利要求1所述的人脸检测系统，其特征在于，所述第二处理模块具有第二复杂度；所述第一处理模块具有第一复杂度；所述第二复杂度高于所述第一复杂度。9.根据权利要求1所述的人脸检测系统，其特征在于，所述第二图像尺寸大于所述第一图像尺寸。10.根据权利要求1所述的人脸检测系统，其特征在于，所述第二处理模块采用第二图像尺寸，处理所述候选图像区域内对应于所述第一组候选人脸窗口的第一组子区域的方式为：将所述候选图像区域内对应于所述第一组候选人脸窗口的第一组子区域中的每个子区域的尺寸重新设定为具有所述第二图像尺寸的第二图像块；从具有第二图像尺寸的第二组图像块中生成第二组候选人脸窗口。11.根据权利要求1所述的人脸检测系统，其特征在于，所述第三处理模块具有第三复杂度，所述第三复杂度高于所述第一和第二处理模块的第一复杂度和第二复杂度。12.根据权利要求1所述的人脸检测系统，其特征在于，所述第三处理模块用于将所述已检测候选图像区域内对应于第二组候选人脸窗口的第二组子区域中的每个子区域的尺寸重新设定为具有第三图像尺寸的第三图像块。13.根据权利要求12所述的人脸检测系统，其特征在于，所述第三处理模块通过处理重新设定尺寸的、具有第三图像尺寸的第三组图像块，处理所述第二组候选人脸窗口。14.根据权利要求13所述的人脸检测系统，其特征在于，所述第三处理模块处理每个重新设定尺寸的、具有第三...

【专利技术属性】
技术研发人员：王星，梅迪·塞伊菲，陈明华，吴谦伟，梁杰，
申请(专利权)人：奥瞳系统科技有限公司，
类型：发明
国别省市：加拿大,CA