公开了一种嵌入式视觉系统内的实时人脸检测、人脸跟踪和人脸姿态选择子系统的一些实例。一方面，公开了使用该子系统进行近似重复人脸图像的识别过程。该过程包括了如下步骤：当确定被跟踪人脸已经消失，接收与该被跟踪人脸相关的已确定最佳姿态人脸图像；从最佳姿态人脸图像中提取图像特征；计算出已提取图像特征和特征缓冲器内的一组存储图像特征中的每个图像特征之间的一组相似度值。其中，该组存储图像特征是从一组先前传送的最佳姿态人脸图像中提取出来的；确定这组相似度值否有数值高于预先设定的阈值；假若没有数值高于预先设定的阈值，则将此最佳人脸图像传送到服务器并将提取出的图像特征存储至特征缓冲器。
【技术实现步骤摘要】
用于有限资源嵌入式视觉系统的增强型人脸检测和人脸跟踪方法和系统
本申请一般涉及机器学习和人工智能领域。具体而言，涉及在有限资源嵌入式视觉系统中捕捉的数字图像中实现实时人脸检测、人脸跟踪及重复人脸检测的系统、装置和技术。
技术介绍
深度学习(DL)是机器学习和人工神经网络的一个基于一组算法的分支，该算法通过使用具有很多个处理层的人工神经网络来试图建模数据中的高层次抽象。典型的DL结构可包括许多层的神经元和数百万个参数。可以在配备有GPU的高速计算机上用海量数据训练这些参数，并由在深层网络也能适用的新的训练算法来指导，诸如修正线性单元(ReLU)、漏失(或丢弃)、数据集增强，以及随机梯度下降(SGD)。在现有的DL结构之中，卷积神经网络(CNN)是最流行的结构之一。虽然CNN背后的思想在20多年前就被发现了，但是，CNN的真正的能力只是在深度学习理论的近期发展之后才被认识到。到目前为止，CNN已经在许多人工智能和机器学习领域，诸如人脸识别、图像分类、图像字幕生成、可视问答以及自动驾驶汽车中取得了巨大成功。人脸检测(检测和定位每张人脸在图像中的位置)通常是很多人脸识别应用的第一步。当代人脸检测系统通常包括两个主要模块：人脸检测模块以及人脸跟踪模块。人脸检测模块通常利用DL结构(比如CNN)在数字图像中检测人脸。一旦人脸检测模块在视频的图像帧检测到一张新的人脸(即一个新人)，人脸跟踪模块就会在该视频的每个后续图像帧中去跟踪该新人，从而寻找/重新识别该新人。对于一些低复杂度的嵌入式系统装置来说，人脸跟踪模块的功能可以基于如卡尔曼滤波器与匈牙利算法等简单的跟踪技术而得以实现。在许多人脸检测装置中，由于每一个人的头/脸有着不同的朝向，即在不同图像中具有不同的姿态，因此有必要执行人脸姿态评估。此外，为了避免重复发送和存储同一个人的人脸图像，需要跟踪每一张人脸的姿态变化从而只发送对应于“最佳姿态”的那张人脸图像，例如每张检测人脸的最接近于正视图的人脸(具有最小的旋转角度)。可以采用多种技术估计一个人的头/脸的姿态。其中一项技术首先估计一些人脸关键点的位置，比如眼睛、鼻子、嘴巴，然后再基于这一些人脸关键点的位置来估计人脸的姿态。另外一项技术采用三个欧拉角(俯仰角、偏航角以及翻转角)来展现头部姿态，通过这三个角度来直接估计人脸/头的姿态。因此，当被人脸跟踪模块丢失该被跟踪的人/脸的时候，则对应的被跟踪的人脸就会消失。然后，传送并存储具有最佳姿态的人脸图像，以备将来使用。通过采用基于CNN的DL结构，可以联合执行人脸检测和人脸姿态评估。很多人脸检测技术可以容易地检测近距离的正向人脸。然而，在无约束情形下，实现稳健并快速的人脸检测依然是非常困难的。这是因为，这些情形通常与人脸的大量变化相关，这些变化包括姿态变化、遮挡、夸张的表情以及极端的光照变化。可以处理这些无约束情形下的有效的基于CNN的人脸检测技术包括：(1)在“用于人脸检测的卷积神经网络级联”(AConvolutionalNeuralNetworkCascadeforFaceDetection)(李等人,IEEE计算机视觉和模式识别会议学报(Proc.IEEEConf.onComputerVisionandPatternRecognition)，2015年6月1日)中描述的级联卷积神经网络(CNN)结构(下文称之为“级联CNN”或者“级联CNN结构”)；以及(2)在“利用多任务级联卷积网络的联合人脸检测和对齐”(JointFaceDetectionandAlignmentUsingMultitaskCascadedConvolutionalNetworks)(张等人；IEEE信号处理学报(IEEESignalProcessingLetters)，2016年10月第10期第23卷第1499-1503页)中描述的多任务级联CNN结构(下文称之为“MTCNN”或者“MTCNN架构”)。然而，由于MTCNN结构的高度复杂性以及嵌入式系统通常计算资源受限的问题，在嵌入式系统中实现基于MTCNN的人脸检测获得满意的实时检测结果依然存在诸多挑战。此外，嵌入式系统使用的简单人脸跟踪技术经常会导致许多近似重复人脸被跟踪并传送，由此导致浪费计算资源和网络带宽的问题。
技术实现思路
本申请描述的多个实施例提供了嵌入式视觉系统内的实时人脸检测、人脸跟踪和人脸姿态选择子系统的多个示例。一方面，本申请公开了识别近似重复人脸图像以及在该系统内有选择地传送最佳姿态人脸图像到服务器的过程。该过程包括了以下步骤：当确定被跟踪人脸已经消失时确定该被跟踪人脸的最佳姿态人脸图像；从最佳姿态人脸图像中提取图像特征；计算提取图像特征与特征缓冲器内的一组存储图像特征中的每个存储图像特征之间的一组相似度值，其中该组存储图像特征是从之前传送的一组最佳姿态人脸图像中提取出来的；确定这该相似度值中是否有相似度值高于预先设定的阈值；假若没有相似度值高于该预先设定的阈值，则将该最佳人脸图像传送到服务器并将提取出的图像特征存储至该特征缓冲器。在一些实施例中，当该被跟踪人脸在预先确定的一定数量的图像帧中被物体遮挡，则判定该被跟踪人脸已经消失。在一些实施例中，该图像特征由以下的一项或几项组成：方向梯度直方图(HoG)特征、Harr型特征、尺度不变特征转换(SIFT)、基于深度学习的人脸特征。在一些实施例中，该组存储图像特征和提取出来的图像特征属于同一类型。在一些实施例中，计算提取图像特征与特征缓冲器内的一组存储图像特征中的一个存储图像特征之间的相似度值的方式为：计算该提取图像特征和该存储图像特征之间的的余弦相似度。在一些实施例中，如果图像特征是基于深度学习(DL)的人脸特征，则提取图像特征与该组存储图像特征之间的比较可用来确定该被跟踪人脸是否为同一个人已存储人脸但与该已存储人脸具有不同的姿态的重复人脸。在一些实施例中，如果计算出的任一相似度值高于预先设定的阈值，则阻止将该最佳姿态人脸图像传送至服务器。另一方面，公开了一种对使用摄像头捕捉的灰度输入图像进行实时人脸检测的方法。该方法包括以下步骤：接收人脸图像训练数据集；将该人脸图像训练数据集中的彩色图像转化成灰度训练图像；采用转化后的灰度图像训练卷积神经网络(CNN)人脸检测模块；从摄像头中接收灰度输入图像；采用由转化后的灰度图像训练的CNN人脸检测模块对接收到的灰度输入图像执行人脸检测操作。在一些实施例中，人脸图像训练数据集是主要由彩色图像所组成的大规模公共训练数据集。在一些实施例中，灰度输入图像是在单色光或者灰度照明条件下捕捉的。在一些实施例中，灰度照明条件包括LED灯光照明。在一些实施例中，摄像头只捕捉灰度图像。在一些实施例中，CNN人脸检测模块包括多任务级联CNN(MTCNN)。在另外一方面，公开了一种识别近似重复人脸图像并有选择地传送最佳姿态人脸图像到服务器的嵌入式系统。该嵌入式系统包括：处理器；与该处理器连接的存储器。该存储器存储指令，当处理器执行该指令时，该系统执行如下：当确定被跟踪人脸已经消失时确定该被跟踪人脸的最佳姿态人脸图像；从最佳姿态人脸图像中提取图像特征；计算提取图像特征与特征缓冲器内的一组存储图像特征中的每个存储图像特征之间的一组相似度值，其中该组存储本文档来自技高网...
【技术保护点】
1.一种对使用摄像头捕捉的灰度输入图像进行实时人脸检测的计算机执行方法，其特征在于，所述方法包括：接收人脸图像训练数据集；将所述人脸图像训练数据集中的彩色图像转化成灰度训练图像；采用转化后的灰度图像训练卷积神经网络人脸检测模块；从摄像头中接收灰度输入图像；采用由转化后的灰度图像训练的卷积神经网络人脸检测模块对接收到的灰度输入图像执行人脸检测操作。
【技术特征摘要】
2017.10.20 US 15/789,957;2017.10.28 US 15/796,798;1.一种对使用摄像头捕捉的灰度输入图像进行实时人脸检测的计算机执行方法，其特征在于，所述方法包括：接收人脸图像训练数据集；将所述人脸图像训练数据集中的彩色图像转化成灰度训练图像；采用转化后的灰度图像训练卷积神经网络人脸检测模块；从摄像头中接收灰度输入图像；采用由转化后的灰度图像训练的卷积神经网络人脸检测模块对接收到的灰度输入图像执行人脸检测操作。2.根据权利要求1所述的计算机执行方法，其特征在于，人脸图像训练数据集是由彩色图像所组成的大规模公共训练数据集。3.根据权利要求1所述的计算机执行方法，其特征在于，灰度输入图像是在单色光或者灰度照明条件下捕捉的。4.根据权利要求3所述的计算机执行方法，其特征在于，所述灰度照明条件包括LED灯光照明。5.根据权利要求1所述的计算机执行方法，其特征在于，所述摄像头只捕捉灰度图像。6.根据权利要求1所述的计算机执行方法，其特征在于，卷积神经网络人脸检测模块包括多任务级联卷积神经网络。7.一种识别近似重复人脸图像以及有选择地传送最佳姿态人脸图像到服务器的计算机执行方法，其特征在于，所述方法包括：当确定被跟踪人脸已经消失时确定所述被跟踪人脸的最佳姿态人脸图像；从最佳姿态人脸图像中提取图像特征；计算提取图像特征与特征缓冲器内的一组存储图像特征中的每个存储图像特征之间的一组相似度值，其中所述组存储图像特征是从之前传送的一组最佳姿态人脸图像中提取出来的；确定这所述相似度值中是否有相似度值高于预先设定的阈值；假若没有相似度值高于所述预先设定的阈值，则将所述最佳人脸图像传送到服务器并将提取出的图像特征存储至所述特征缓冲器。8.根据权利要求7所述的计算机执行方法，其特征在于，当所述被跟踪人脸在预先确定的一定数量的图像帧中被物体遮挡，则判定所述被跟踪人脸已经消失。9.根据权利要求7所述的计算机执行方法，其特征在于，所述图像特征由以下的一项或几项组成：方向梯度直方图特征、Harr型特征、尺度不变特征转换、基于深度学习的人脸特征。10.根据权利要求7所述的计算机执行方法，其特征在于，所述组存储图像特征和提取出来的图像特征属于同一类型。11.根据权利要求7所述的计算机执行方法，其特征在于，计算提取图像特征与特征缓冲器内的一组存储图像特征中的一个存储图像特征之间的相...
【专利技术属性】
技术研发人员：吴谦伟，王星，高宇，马锐，卢晔，
申请(专利权)人：奥瞳系统科技有限公司，
类型：发明
国别省市：加拿大,CA
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。