一种基于3D卷积神经网络的人脸动态识别方法及系统技术方案

本发明专利技术提供一种基于3D卷积神经网络的人脸动态识别方法及系统，包括从视频流中提取图像帧，跟踪人脸目标，获取人脸目标对应的人脸序列；对人脸序列进行预处理，以获取满足预定标准的人脸序列；将预处理后的人脸序列输入3D卷积神经网络进行训练，更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络；将预处理后的人脸序列输入训练好的3D卷积神经网络，提取人脸序列的人脸特征；将人脸特征与目标库的特征模板进行比对，返回目标库中与当前人脸特征相匹配的人脸识别信息。本发明专利技术的基于3D卷积神经网络的人脸动态识别方法及系统，从视频中提取人脸序列输入3D卷积神经网络，来学习视频中的人脸特征，提高了视频人脸识别的精度。

【技术实现步骤摘要】
一种基于3D卷积神经网络的人脸动态识别方法及系统
本专利技术涉及一种人脸识别方法及系统，特别是涉及一种基于3D卷积神经网络的人脸动态识别方法及系统。
技术介绍
目前，视频监控设备已经被广泛使用，遍布于城市的公共场所。通过识别监控视频中的人员身份来寻找、跟踪目标也成为一种有效提高工作效率的方式。由于监控设备可能分布在各种场景中，受光线、角度、设备分辨率等因素的影响，难以采集到高质量的人脸图像来进行身份验证。由于目标人脸往往在视频的多帧图像中出现，因此充分利用视频中同一人的多张人脸图像来提高识别精度成为一条可行的途径。现有的人脸识别技术主要包括以下两种：一、利用传统的人工定义的特征，如SIFT、HOG、Gabor特征等。然而，上述方法存在明显的缺点。首先，人工特征的设计往往是针对具体的分类任务，在一些任务中有效的人工特征在其它任务中不一定有效；其次，即使针对具体的任务，也难以设计出合适的特征来描述事物，尤其是在外界因素变化的影响下。二、采用深度学习的方法，从大量的训练数据中学习特征，如采用卷积神经网络。采用卷积神经网络学习特征的方式，解决了特征难以设计的问题。但是，通过深度学习的方法进行动态人脸识别时，主要是通过对视频数据逐帧提取人脸，挑选优质人脸图像，将筛选出来的人脸照片进行矫正与对齐，然后跟目标库的照片进行逐张比对。这种方法实际上是将静态人脸识别技术应用于动态的场景，人脸逐张比对丢失了人脸序列内部各人脸图像之间的相关信息。在实际应用中，由于监控目标不需要进行姿态、表情的配合，而且通常是在运行中，采集到的人脸往往有偏角、运动模糊等；另外，由于监控设备可能安装在各种环境下，光线条件往往不是很好。在这些情况下，从人脸序列中选择合适的人脸照片进行比对本来就比较困难，将从各个比对结果合并得到最终的结果也比较困难。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于3D卷积神经网络的人脸动态识别方法及系统，从视频中提取人脸序列输入3D卷积神经网络，来学习视频中的人脸特征，从而提高了视频人脸识别的精度。为实现上述目的及其他相关目的，本专利技术提供一种基于3D卷积神经网络的人脸动态识别方法，包括以下步骤：从视频流中提取图像帧，跟踪人脸目标，获取人脸目标对应的人脸序列；对人脸序列进行预处理，以获取满足预定标准的人脸序列；将预处理后的人脸序列输入3D卷积神经网络进行训练，更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络；将预处理后的人脸序列输入训练好的3D卷积神经网络，提取人脸序列的人脸特征；将人脸特征与目标库的特征模板进行比对，返回目标库中与当前人脸特征相匹配的人脸识别信息。于本专利技术一实施例中，从视频流中提取的图像帧为视频流的关键帧。于本专利技术一实施例中，所述预处理包括人脸序列的筛选、图像的均衡化、图像的归一化、人脸矫正、图像缩放中的一种或组合；所述预定标准包括尺寸、人脸角度、图片亮度、清晰度中的一种或组合。于本专利技术一实施例中，将预处理后的人脸序列输入3D卷积神经网络进行训练，更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络包括以下步骤：按照帧序获取若干张预处理后的人脸序列图像；以m张图像为一组，当m≤n时，按帧序分别选择图像Fk～Fk+m-1作为一组，共n-m+1组，其中，k＝0,1,2,...,n-m；当m＞n时，选择所有的n张照片作为一组；读取各组图像中每个图像的像素，为每组图像依帧序堆叠构建大小为w×h×m的三维像素矩阵；其中，w为图像的宽像素，h为图像的高像素；当m＞n时，依次重复堆叠n张图像直到填满m维的矩阵；计算所获取的所有w×h×m三维像素矩阵在各个坐标位置上的像素均值；将w×h×m三维像素矩阵各个坐标位置上的像素减去像素均值后输入3D卷积神经网络，更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络。于本专利技术一实施例中，更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络包括以下步骤：a)随机选取一个减去像素均值后的w×h×m三维像素矩阵，提取m个灰度图、x和y方向的梯度图和x和y方向时间间隔为1的光流图，生成w×h×c0的数据块D0，其中c0＝m×3+(m-1)×2；b)采用n1个k1×k1×m1的卷积核，在数据块D0的m1个相邻通道上进行3D卷积，生成n1组w1×h1×c1的数据块D11,D12,...,D1n1，其中w1、h1分别表示卷积后的特征图的宽和高，c1＝(m-m1+1)×3+(m-m1)×2，n1、k1、m1为自定义参数；c)采用k2×k2的核分别对D11,D12,...,D1n1进行2D池化，对每一个通道进行下采样，生成n1组w2×h2×c1的数据块D21,D22,...,D2n1，其中w2、h2分别为池化后的特征图的宽和高，k2为自定义参数；d)采用n3个k3×k3×m3的卷积核，分别在D21,D22,...,D2n1的m3个相邻通道上进行3D卷积，生成n1×n3组w3×h3×c3的数据块D31,D32,...,D3(n1xn3)，其中w3、h3分别表示卷积后的特征图的宽和高，c3＝(m-m1-m3+2)×3+(m-m1-m3+1)×2，n3、k3、m3为自定义参数；e)采用k4×k4的核分别对D31,D32,...,D3(n1xn3)进行2D池化，对每一个通道进行下采样，生成n1×n3组w4×h4×c3的数据块D41,D42,...,D4(n1xn3)，其中w4、h4分别为池化后的特征图的宽和高；f)采用w4×h4的卷积核分别在D41,D42,...,D4(n1xn3)的各个通道上进行卷积，生成一个长度为n1×n3×c3的向量V6；g)将向量V6输入一个包含n7个隐层单元的全连接层，输出一个长度为n7的向量V7，n7为自定义参数；h)将全连接层的输出结果采用softmax损失函数计算当前3D卷积神经网络的损失，并将损失进行梯度的反向传播；i)更新a)-g)各层的权值；j)重复迭代步骤a)-i)直至3D卷积神经网络收敛，以得到训练好的3D卷积神经网络。同时，本专利技术还提供一种基于3D卷积神经网络的人脸动态识别系统，包括人脸跟踪模块、人脸序列预处理模块、3D卷积神经网络训练模块、人脸特征提取模块和人脸比对模块；所述人脸跟踪模块用于从视频流中提取图像帧，跟踪人脸目标，获取人脸目标对应的人脸序列；所述人脸序列预处理模块用于对人脸序列进行预处理，以获取满足预定标准的人脸序列；所述3D卷积神经网络训练模块用于将预处理后的人脸序列输入3D卷积神经网络进行训练，更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络；所述人脸特征提取模块用于将预处理后的人脸序列输入训练好的3D卷积神经网络，提取人脸序列的人脸特征；所述人脸比对模块用于将人脸特征与目标库的特征模板进行比对，返回目标库中与当前人脸特征相匹配的人脸识别信息。于本专利技术一实施例中，所述人脸跟踪模块中，从视频流中提取的图像帧为视频流的关键帧。于本专利技术一实施例中，所述人脸序列预处理模块中，所述预处理包括人脸序列的筛选、图像的均衡化、图像的归一化、人脸矫正、图像缩放中的一种或组合；所述预定标准包括尺寸、人脸角度、图片亮度、清晰度中的一种或组合。于本专利技术一实施例中，所述3D卷本文档来自技高网...

【技术保护点】
一种基于3D卷积神经网络的人脸动态识别方法，其特征在于：包括以下步骤：从视频流中提取图像帧，跟踪人脸目标，获取人脸目标对应的人脸序列；对人脸序列进行预处理，以获取满足预定标准的人脸序列；将预处理后的人脸序列输入3D卷积神经网络进行训练，更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络；将预处理后的人脸序列输入训练好的3D卷积神经网络，提取人脸序列的人脸特征；将人脸特征与目标库的特征模板进行比对，返回目标库中与当前人脸特征相匹配的人脸识别信息。

【技术特征摘要】
1.一种基于3D卷积神经网络的人脸动态识别方法，其特征在于：包括以下步骤：从视频流中提取图像帧，跟踪人脸目标，获取人脸目标对应的人脸序列；对人脸序列进行预处理，以获取满足预定标准的人脸序列；将预处理后的人脸序列输入3D卷积神经网络进行训练，更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络；将预处理后的人脸序列输入训练好的3D卷积神经网络，提取人脸序列的人脸特征；将人脸特征与目标库的特征模板进行比对，返回目标库中与当前人脸特征相匹配的人脸识别信息。2.根据权利要求1所述的基于3D卷积神经网络的人脸动态识别方法，其特征在于：从视频流中提取的图像帧为视频流的关键帧。3.根据权利要求1所述的基于3D卷积神经网络的人脸动态识别方法，其特征在于：所述预处理包括人脸序列的筛选、图像的均衡化、图像的归一化、人脸矫正、图像缩放中的一种或组合；所述预定标准包括尺寸、人脸角度、图片亮度、清晰度中的一种或组合。4.根据权利要求1所述的基于3D卷积神经网络的人脸动态识别方法，其特征在于：将预处理后的人脸序列输入3D卷积神经网络进行训练，更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络包括以下步骤：按照帧序获取若干张预处理后的人脸序列图像；以m张图像为一组，当m≤n时，按帧序分别选择图像Fk～Fk+m-1作为一组，共n-m+1组，其中，k＝0,1,2,...,n-m；当m＞n时，选择所有的n张照片作为一组；读取各组图像中每个图像的像素，为每组图像依帧序堆叠构建大小为w×h×m的三维像素矩阵；其中，w为图像的宽像素，h为图像的高像素；当m＞n时，依次重复堆叠n张图像直到填满m维的矩阵；计算所获取的所有w×h×m三维像素矩阵在各个坐标位置上的像素均值；将w×h×m三维像素矩阵各个坐标位置上的像素减去像素均值后输入3D卷积神经网络，更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络。5.根据权利要求4所述的基于3D卷积神经网络的人脸动态识别方法，其特征在于：更新3D卷积神经网络各层的权值，以得到训练好的3D卷积神经网络包括以下步骤：a)随机选取一个减去像素均值后的w×h×m三维像素矩阵，提取m个灰度图、x和y方向的梯度图和x和y方向时间间隔为1的光流图，生成w×h×c0的数据块D0，其中c0＝m×3+(m-1)×2；b)采用n1个k1×k1×m1的卷积核，在数据块D0的m1个相邻通道上进行3D卷积，生成n1组w1×h1×c1的数据块D11,D12,...,D1n1，其中w1、h1分别表示卷积后的特征图的宽和高，c1＝(m-m1+1)×3+(m-m1)×2，n1、k1、m1为自定义参数；c)采用k2×k2的核分别对D11,D12,...,D1n1进行2D池化，对每一个通道进行下采样，生成n1组w2×h2×c1的数据块D21,D22,...,D2n1，其中w2、h2分别为池化后的特征图的宽和高，k2为自定义参数；d)采用n3个k3×k3×m3的卷积核，分别在D21,D22,...,D2n1的m3个相邻通道上进行3D卷积，生成n1×n3组w3×h3×c3的数据块D31,D32,...,D3(n1xn3)，其中w3、h3分别表示卷积后的特征图的宽和高，c3＝(m-m1-m3+2)×3+(m-m1-m3+1)×2，n3、k3、m3为自定义参数；e)采用k4×k4的核分别对D31,D32,...,D3(n1xn3)进行2D池化，对每一个通道进行下采样，生成n1×n3组w4×h4×c3的数据块D41,D42,...,D4(n1xn3)，其中w4、h4分别为池化后的特征图的宽和高；f)采用w4×h4的卷积核分别在D41,D42,...,D4(n1xn3)的各个通道上进行卷积，生成一个长度为n1×n3×c3的向量V6；g)将向量V6输入一个包含n7个隐层单元的全连接层，输出一个长度为n7的向量V7，n7为自定义参数；h)将全连接层的输出结果采用softmax损失函数计算当前3D卷积神经网络的损失，并将损失进行梯度的反向传播；i)更新a)-g)各层的权值；j)重复迭代步骤a)-i)直至3D卷积神经网络收敛，以得到训练好的3D卷积神经网络。6.一种基于3D卷积神经网络的人脸动态识别系统，其特征在于：包括人脸跟踪模块、人脸序列预处理模块、3D卷积神经网络训练模块、人脸特征提取模块和人脸...

【专利技术属性】
技术研发人员：巫立峰，赵文忠，
申请(专利权)人：上海银晨智能识别科技有限公司，
类型：发明
国别省市：上海,31