【技术实现步骤摘要】
本申请属于图像处理及模式识别，更具体的是涉及一种面向低质量深度人脸图像的鲁棒性特征学习方法。
技术介绍
1、早期深度人脸图像识别研究中，研究人员主要依赖高质量的深度人脸数据。高质量深度人脸数据的获取相对困难，这给研究带来了限制。直到kinect v2和realsense等低成本三维扫描仪的出现，获取的低质量深度人脸数据质量相较于低成本三维扫描仪kinectv1有了相对提升，从而推动了相关研究的进展。lock3dface数据集的公开发布使得研究人员开始专注于利用这些低质量人脸数据来提高识别准确率。
2、近年来，许多研究采用深度学习方法来提高低质量深度人脸图像识别的准确性，取得了较好的成果。例如，有研究者提出一种轻量高效的深度方法，并设计一套数据处理流程，有效提高识别准确率。然而，该方法中的卷积神经网络设计未考虑低质量深度人脸数据中噪声的影响；另外，有研究者建立一个包含高质量和低质量深度人脸数据的rgb-d数据库并利用高质量数据指导低质量数据的方法进行模型训练，在该数据集上取得较好成果。然而，由于缺乏同时涵盖高质量和低质量数据的数据集，无法验证所提方法的泛化能力；有研究者提出了一种联合软阈值去噪和视频数据融合的方法，用于低质量深度人脸图像识别，该方法因处理多帧视频数据较为耗时而导致实时性能下降。此外，该方法中提出了一种联合渐变损失函数，验证了其对提升低质量深度人脸识别准确率的有效性。然而，该方法在处理非平稳噪声方面的效果尚待进一步优化；还有研究者提出了一种point cnn，在低质量三维人脸图像识别方面取得较高识别准确率
3、目前用于提高低质量深度人脸图像识别准确率的方法主要采用单一数据训练卷积神经网络，存在过拟合风险高和对抗性攻击敏感等问题。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本申请提出了一种面向低质量深度人脸图像的鲁棒性特征学习方法，有效增强从单张深度数据中提取鲁棒性特征的能力，从而提高人脸图像中存在的包括表情、遮挡、姿态等任意情况下的深度人脸图像识别准确率，以及提出了一种针对构建的对比图像对的对比损失函数，降低损失函数的计算复杂度并有效提高了模型训练的效率，提高了方法的实时性能。
3、(二)技术方案
4、为实现上述目的，本申请提供如下技术方案：
5、1.一种面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于，其包括：
6、一、将低质量深度人脸图像构建为对比图像对，每个对比图像对有相应的身份标签。
7、二、针对构建对比图像对开展预训练，预训练目标为：针对同一身份的图像，最大化样本之间的相似度；针对不同身份的图像，最小化各自样本之间的相似度，以提高识别准确率。
8、三、将对比图像对及相应身份标签输入到图像编码器中进行特征提取。
9、四、特征提取过程中，引入continuous normalizing flow模块进行特征去噪。
10、五、特征去噪后，使用一种面向图像对的对比损失函数，通过最小化图像对相似度分数分布与真实标签匹配分布之间的kl散度。
11、六、将待测试的人脸图像输入到训练好的网络模型并加载训练阶段保存的模型参数，对待测试的人脸图像进行识别。
12、2.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤一中构建对比图像对的步骤包括：首先，定义对比图像对中的中性基准图像为能够稳定提取人脸特征且较好地反映面部特征和身份信息的图像，多样性变化图像是指缺乏关键部分或由于受到姿态、表情、遮挡、光照等因素的影响导致部分信息表现不够准确的图像。之后，将同一身份标签的中性基准图像与多样性变化图像构建成图像对。
13、3.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤二、三中的两个图像编码器由两个相同的五层的卷积神经网络模型组成，网络模型之间共享参数。图像编码器分别提取中性基准图像特征和多样性变化图像特征。步骤二中提取到的图像特征经两两组合后进行线性投射处理，以获得相同维度的特征并进行l2归一化。模型根据生成的图像-图像特征组合预测出n个可能的图像-图像对之间的相似度。
14、4.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤三中图像编码器提取图像特征后，利用具有可学习参数均值μi和方差的高斯分布近似真实后验分布q(z|xi)，称该后验分布为高斯后验分布，记作p(z|xi)，z～p(z|xi).z表示带噪声的潜在特征，xi代表观察到的三维人脸。为使训练过程可微并从高斯后验分布p(z|xi)获得最大可能样本，使用重参数化技巧，计算公式为ε∈n(0,i)。
15、5.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤四中的continuous normalizing flow模块，通过参数化cnf将高斯分布转换为灵活的分布表示形式，如p(z′|xi)。获得灵活后验分布后，从中选择最大可能样本z′，其表示干净特征，降低带噪声特征对人脸识别效果的负面影响。
16、6.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤五中的对比图像对损失函数(cipl)，计算对比图像对的灵活后验分布之间的对比损失。对比损失函数将n个图像-图像对的相似度分布嵌入到kl散度中，以关联对比图像对的特征表示。对于n个图像-图像对，在每个中性基准图像的全局表示fiv的基础上，构造一组图像-图像表示对式中，表示多样性变化图像的全局表示，yi,j是数据预处理阶段为每个身份分配的真实匹配标签。
17、7.根据权利要求6所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：定义sim(x,y)＝xty/||x||||y||表示对x和y进行l2归一化后的余弦相似度，使用softmax函数计算图像-图像对的概率，计算公式如下：
18、
19、式中，k表示多样性变化图像的全局表示的数量，τ为温度系数，匹配概率qi,j为在一个小批次图像对中，fiv和之间的余弦相似度得分与fiv和之间的余弦相似度得分之和的比例。
20、8.根据权利要求6所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：图像对比损失函数中，从中性基准图像到多样性变化图像的对比损失计算公式如下：
21、
22、式中，δ代表一个小的数值，用于避免分母为零，表示真实匹配概率。
23、从多样性变化图像到中性基准图像的对比损失ld2n通过交换和中的fiv和得到。图像-图像对的整体对比损失函数计算公式为：lcipl＝ln2d+ld2n
24、9.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤五中，模型训练时，利用对比本文档来自技高网...
【技术保护点】
1.一种面型低质量深度人脸图像的鲁棒性特征学习方法，其特征在于，其包括：
2.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤一中构建对比图像对的步骤包括：首先，定义对比图像对中的中性基准图像为能够稳定提取人脸特征且较好地反映面部特征和身份信息的图像，多样性变化图像是指缺乏关键部分或由于受到姿态、表情、遮挡、光照等因素的影响导致部分信息表现不够准确的图像。之后，将同一身份标签的中性基准图像与多样性变化图像构建成图像对。
3.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤二、三中的两个图像编码器由两个相同的五层的卷积神经网络模型组成，网络模型之间共享参数。图像编码器分别提取中性基准图像特征和多样性变化图像特征。步骤二中提取到的图像特征经两两组合后进行线性投射处理，以获得相同维度的特征并进行L2归一化。模型根据生成的图像-图像特征组合预测出N个可能的图像-图像对之间的相似度。
4.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤三中图像编码
5.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤四中的Continuous Normalizing Flow模块，通过参数化CNF将高斯分布转换为灵活的分布表示形式，如p(z′|xi)。获得灵活后验分布后，从中选择最大可能样本z′，其表示干净特征，降低带噪声特征对人脸识别效果的负面影响。
6.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤五中的对比图像对损失函数(CIPL)，计算对比图像对的灵活后验分布之间的对比损失。对比损失函数将N个图像-图像对的相似度分布嵌入到KL散度中，以关联对比图像对的特征表示。对于N个图像-图像对，在每个中性基准图像的全局表示fiv的基础上，构造一组图像-图像表示对式中，表示多样性变化图像的全局表示，yi,j是数据预处理阶段为每个身份分配的真实匹配标签。
7.根据权利要求6所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：定义sim(x,y)＝xTy/||x||||y||表示对x和y进行i2归一化后的余弦相似度，使用Softmax函数计算图像-图像对的概率，计算公式如下：
8.根据权利要求6所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：图像对比损失函数中，从中性基准图像到多样性变化图像的对比损失计算公式如下：
9.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤五中，模型训练时，利用对比损失函数的梯度信息持续更新模型参数，以更好拟合训练数据。调用对比损失函数时，仅需传入三个参数，表示形式如下：
...【技术特征摘要】
1.一种面型低质量深度人脸图像的鲁棒性特征学习方法，其特征在于，其包括：
2.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤一中构建对比图像对的步骤包括：首先，定义对比图像对中的中性基准图像为能够稳定提取人脸特征且较好地反映面部特征和身份信息的图像，多样性变化图像是指缺乏关键部分或由于受到姿态、表情、遮挡、光照等因素的影响导致部分信息表现不够准确的图像。之后，将同一身份标签的中性基准图像与多样性变化图像构建成图像对。
3.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤二、三中的两个图像编码器由两个相同的五层的卷积神经网络模型组成，网络模型之间共享参数。图像编码器分别提取中性基准图像特征和多样性变化图像特征。步骤二中提取到的图像特征经两两组合后进行线性投射处理，以获得相同维度的特征并进行l2归一化。模型根据生成的图像-图像特征组合预测出n个可能的图像-图像对之间的相似度。
4.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学习方法，其特征在于：所述步骤三中图像编码器提取图像特征后，利用具有可学习参数均值μi和方差的高斯分布近似真实后验分布q(z|xi)，称该后验分布为高斯后验分布，记作p(z|xi)，z～p(z|xi).z表示带噪声的潜在特征，xi代表观察到的三维人脸。为使训练过程可微并从高斯后验分布p(z|xi)获得最大可能样本，使用重参数化技巧，计算公式为
5.根据权利要求1所述的面向低质量深度人脸图像的鲁棒性特征学...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。