生物面部对齐模型训练方法、生物面部对齐方法和装置制造方法及图纸

一种生物面部对齐模型训练方法、生物面部对齐方法和装置，该生物面部对齐方法包括：获取第一3D点云，其中，第一3D点云为单一的非正面生物面部3D点云；利用3D图卷积网络，对第一3D点云进行转正处理，以获得第二3D点云；对第二3D点云进行对称补齐处理，以获得第三3D点云；利用3D图卷积生成对抗网络，对第三3D点云进行补洞处理，以获得第四3D点云，其中第四3D点云为无破洞正面生物面部的3D点云。本申请的生物面部对齐方法能够获得和大角度生物面部侧脸3D点云特相似的无破洞生物面部正面3D点云，且无破洞生物面部正面3D点云无形变，以提高对无破洞正脸图像3D点云后续应用的识别准确性。确性。确性。

【技术实现步骤摘要】
生物面部对齐模型训练方法、生物面部对齐方法和装置


[0001]本申请涉及生物特征检测
，并且更具体地，涉及一种生物面部对齐模型训练方法、生物面部对齐方法和装置。

技术介绍

[0002]目前，生物面部图像可以被应用于很多领域，尤其是对人脸推向的应用，利用人脸图像产生的商业价值的应用有很多，例如，人脸识别(face recognition)、表情识别以及情绪识别等。其中，人脸识别是基于人的脸部特征信息进行身份识别的一种生物检测识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的图像预处理、图像特征提取以及匹配与识别等一系列相关技术，通常也叫做人像识别或面部识别。随着计算机和网络技术的飞速发展，人脸识别技术已广泛地应用于智能门禁、移动终端、公共安全、娱乐、军事等诸多行业及领域。
[0003]人脸识别、表情识别以及情绪识别大多需要使用正脸图像来进行后续应用，而人脸存在多姿态的特性，例如，待识别的人脸图像为非正脸图像，如果直接使用非正脸的人脸图像进行识别会对识别结果造成一定的影响。
[0004]因此，如何根据非正脸图像获得正脸图像，以提高后续生物面部识别的准确性，是一个亟待解决的问题。

技术实现思路

[0005]本申请实施例提供了一种生物面部对齐模型训练方法、生物面部对齐方法和装置，可以根据非正脸图像获得正脸图像，以提高后续生物面部识别的准确性。
[0006]第一方面，提供一种生物面部对齐的方法，包括：获取第一3D点云，其中，第一3D点云为单一的非正面生物面部3D点云；利用3D图卷积网络，对第一3D点云进行转正处理，以获得第二3D点云；对第二3D点云进行对称补齐处理，以获得第三3D点云；利用3D图卷积生成对抗网络，对第三3D点云进行补洞处理，以获得第四3D点云，其中第四3D点云为无破洞正面生物面部的3D点云。
[0007]本申请的技术方案中，通过对大角度生物面部3D点云转正，并根据转正后的3D点云，初步对称补齐得到有些许破洞的生物面部正面3D点云。将经过初步补齐的正脸的3D点云作为对比点云，使得生成的无破洞正脸图像3D点云和对比点云特征相似，以提高对无破洞正脸3D点云后续应用的识别准确性。
[0008]在一种可能的实施方式中，利用3D图卷积网络，对第一3D点云进行转正处理，以获得第二3D点云，包括：利用3D图卷积网络，对第一3D点云进行处理，以获得第一旋转参数，第一旋转参数用于对第一3D点云进行转正处理。
[0009]本申请的技术方案中，通过训练好的3D图卷积网络，可以获得需要转正的人脸3D点云对应的旋转参数，根据此旋转参数对第一3D点云的位置信息进行旋转，由于此旋转变换为刚性变换，相比于仿射变换，转正后的第二3D点云无形变，从而提高了转正后的面部3D
点云的真实可靠性。
[0010]在一种可能的实施方式中，对第一3D点云进行转正处理，以获得第二3D点云，包括：通过第一旋转参数，对第一3D点云的位置信息进行转正处理；第二3D点云包括转正后的第一3D点云的位置信息。
[0011]在一种可能的实施方式中，该方法还包括，第一3D点云的颜色信息保持不变，第二3D点云包括转正后的第一3D点云的位置信息和位置信息对应的第一3D点云的颜色信息。
[0012]在一种可能的实施方式中，对第二3D点云进行对称补齐，以获得第三3D点云，包括：提取第二3D点云的部分点云；对第二3D点云的部分点云进行对称处理，以获得第三3D点云。
[0013]本申请的技术方案中，对转正后的生物面部3D点云，通过对称补齐的方式，获得有些许破洞的生物面部3D点云，保证了对称补齐后的3点云的整体完整性协调性或者真实性，进而保证后续获得的无破洞生物面部3D点云和非正面生物面部3D点云的相似度。相比于通过先验知识，根据可见区域推测不可见区域来获得完整的正面生物面部图像，也就是根据非正面生物面部图像推测出完整正面生物面部，本申请的技术方案更加准确。
[0014]在一种可能的实施方式中，利用3D图卷积生成对抗网络，对第三3D点云进行补洞处理，以获得第四3D点云，包括：获取目标隐藏数据；根据目标隐藏数据生成目标合成3D点云；判断目标合成3D点云和第三3D点云是否相似，以获得第四3D点云。
[0015]本申请的技术方案中，通过对比目标合成3D点云和初步补齐后的3D点云之间的相似度，来确定无破洞生物面部3D点云，可以保证输出的3D点云和非正面生物面部3D点云之间的相似度，进而提高后续应用的识别准确性。
[0016]在一种可能的实施方式中，根据目标隐藏数据生成目标合成3D点云，包括：将目标隐藏数据作为3D图卷积生成网络的输入，输出目标合成3D点云，3D图卷积生成对抗网络包括3D图卷积生成网络；其中，利用3D图卷积生成网络的图卷积层，对目标隐藏数据提取特征。
[0017]在一种可能的实施方式中，判断目标合成3D点云和第三3D点云是否相似，以获得第四3D点云，包括：通过判断目标合成3D点云和第三3D点云之间的损失函数对应的损失函数值是否小于等于损失函数对应的相似阈值，判断目标合成3D点云和第三3D点云是否相似。
[0018]在一种可能的实施方式中，该损失函数包括以下至少一种：目标合成3D点云和第三3D点云之间的距离绝对误差；目标合成3D点云和第三3D点云在同一生物面部识别模型的各层之间的相似度误差；目标合成3D点云和第三3D点云在点集神经网络的层特征之间的相似度误差；目标合成3D点云和第三3D点云在生物面部关键点位之间的误差。
[0019]本申请的技术方案中，通过上述四种损失函数从目标合成3D点云和第三3D点云之间的整体分布情况、轮廓外形以及人脸关键位置这几个角度来判断这两种点云之间的相似度，可以多方面有效保证作为输出的第四3D点云和作为输入的第三3D点云之间的相似度，使得第四3D点云更加真实。
[0020]在一种可能的实施方式中，判断目标合成3D点云和第三3D点云是否相似，包括：损失函数对应的损失值大于相似阈值，目标合成3D点云和第三3D点云不相似，则更新目标隐藏数据；或者，损失函数对应的损失值小于或等于相似阈值，目标合成3D点云和第三3D点云
相似，则目标合成3D点云为第四3D点云，输出第四3D点云。
[0021]在一种可能的实施方式中，更新目标隐藏数据包括：根据梯度下降法，更新目标隐藏数据。
[0022]本申请的技术方案中，目标隐藏数据可以表达隐藏维度、控制数据隐含关系，通过目标隐藏数据生成的目标合成3D点云可以反映生物面部的属性，通过对目标隐藏数据的迭代更新，使得根据更新后的目标隐藏数据生成的目标合成3D点云和有破洞的生物面部3D点云比较相似，以便于提高后续生物面部识别应用的准确性。
[0023]第二方面，提供一种生物面部对齐模型的训练方法，该方法包括：获取第一训练数据，其中，第一训练数据包括多个生物面部3D点云的位置信息和每个生物面部3D点云对应的旋转参数；利用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生物面部对齐的方法，其特征在于，包括：获取第一3D点云，其中，所述第一3D点云为单一的非正面生物面部3D点云；利用3D图卷积网络，对所述第一3D点云进行转正处理，以获得第二3D点云；对所述第二3D点云进行对称补齐处理，以获得第三3D点云；利用3D图卷积生成对抗网络，对所述第三3D点云进行补洞处理，以获得第四3D点云，其中所述第四3D点云为无破洞正面生物面部的3D点云。2.根据权利要求1所述的方法，其特征在于，所述利用3D图卷积网络，对所述第一3D点云进行转正处理，以获得第二3D点云，包括：利用所述3D图卷积网络，对所述第一3D点云进行处理，以获得第一旋转参数，所述第一旋转参数用于对第一3D点云进行转正处理。3.根据权利要求2所述的方法，其特征在于，对所述第一3D点云进行转正处理，以获得第二3D点云，包括：通过所述第一旋转参数，对所述第一3D点云的位置信息进行转正处理；所述第二3D点云包括转正后的所述第一3D点云的位置信息。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：所述第一3D点云的颜色信息保持不变，所述第二3D点云包括转正后的所述第一3D点云的位置信息和所述位置信息对应的所述第一3D点云的颜色信息。5.根据权利要求3或4任一项所述的方法，其特征在于，所述对所述第二3D点云进行对称补齐，以获得第三3D点云，包括：提取所述第二3D点云的部分点云；对所述第二3D点云的部分点云进行对称处理，以获得所述第三3D点云。6.根据权利要求1至5任一项所述的方法，其特征在于，所述利用3D图卷积生成对抗网络，对所述第三3D点云进行补洞处理，以获得第四3D点云，包括：获取目标隐藏数据；根据所述目标隐藏数据生成目标合成3D点云；判断所述目标合成3D点云和所述第三3D点云是否相似，以获得所述第四3D点云。7.根据权利要求6所述的方法，其特征在于，所述根据所述目标隐藏数据生成目标合成3D点云，包括：将所述目标隐藏数据作为3D图卷积生成网络的输入，输出所述目标合成3D点云，所述3D图卷积生成对抗网络包括所述3D图卷积生成网络；其中，利用3D图卷积生成网络的图卷积层，对所述目标隐藏数据提取特征。8.根据权利要求6或7任一项所述的方法，其特征在于，判断所述目标合成3D点云和所述第三3D点云是否相似，以获得所述第四3D点云，包括：通过判断所述目标合成3D点云和所述第三3D点云之间的损失函数对应的损失函数值是否小于等于所述损失函数对应的相似阈值，判断所述目标合成3D点云和所述第三3D点云是否相似。9.根据权利要求8所述的方法，其特征在于，所述损失函数包括以下至少一种：所述目标合成3D点云和所述第三3D点云之间的距离绝对误差；所述目标合成3D点云和所述第三3D点云在同一生物面部识别模型的各层之间的相似
度误差；所述目标合成3D点云和所述第三3D点云在点集神经网络的层特征之间的相似度误差；所述目标合成3D点云和所述第三3D点云在生物面部关键点位之间的误差。10.根据权利要求9所述的方法，其特征在于，所述判断所述目标合成3D点云和所述第三3D点云是否相似，包括：所述损失函数对应的损失值大于所述相似阈值，所述目标合成3D点云和所述第三3D点云不相似，则更新所述目标隐藏数据；或者，所述损失函数对应的损失值小于或等于所述相似阈值，所述目标合成3D点云和所述第三3D点云相似，则所述目标合成3D点云为所述第四3D点云，输出所述第四3D点云。11.根据权利要求10所述的方法，其特征在于，所述更新所述目标隐藏数据包括：根据梯度下降法，更新所述目标隐藏数据。12.一种生物面部对齐模型的训练方法，其特征在于，包括：获取第一训练数据，其中，所述第一训练数据包括多个生物面部3D点云的位置信息和每个所述生物面部3D点云对应的旋转参数；利用3D图卷积网络，对所述第一训练数据训练，以获得第一生物面部对齐模型，所述第一生物面部对齐模型的输出为第一旋转参数，所述第一旋转参数用于对非正面生物面部3D点云进行转正处理。13.根据权利要求12所述的方法，其特征在于，所述利用3D图卷积网络，对所述第一训练数据训练，以获得第一生物面部对齐模型，包括：通过所述3D图卷积网络对应的3D图卷积层提取所述第一训练数据的特征。14.根据权利要求12或13所述的方法，其特征在于，所述第一训练数据为归一化后的所述多个生物面部3D点云位置信息和每个所述生物面部3D点云对应的旋转参数。15.一种生物面部对齐模型的训练方法，其特征在于，包括：获取第二训练数据，所述第二训练数据包括多组生物面部特征向量和真实生物面部3D点云；根据3D图卷积生成对抗网络，对所述第二训练数据进行训练，以获得第二生物面部对齐模型，所述3D图卷积生成对抗网络包括3D图卷积生成网络和3D图卷积判断网络，所述第二生物面部对齐模型中的3D图卷积生成网络模型用于生成目标合成3D点云。16.根据权利要求15所述的方法，其特征在于，所述根据3D图卷积生成对抗网络，对所述第二训练数据进行训练，包括：将所述多组生物面部特征向量输入所述3D图卷积生成网络，以获得待校验3D点云；将所述真实生物面部3D点云和所述待校验3D点云输入所述3D图卷积判断网络，以分别获得第一概率和第二概率，所述第一概率为所述待校验3D点云为真的概率，所述第二概率为所述真实生物面部3D点云为真的概率，所述第一概率和所述第二概率用于获得训练所述3D图卷积判断网络的损失函数；所述第一概率用于获得训练所述3D图卷积生成网络的损失函数。17.根据权利要求16所述的方法，其特征在于，所述将所述多组生物面部特征向量输入所述3D图卷积生成网络，以获得待校验3D点云包括：通过所述3D图卷积生成网络对应的3D图卷积层提取所述多组生物面部特征向量的特
征，以获得所述待校验3D点云；所述将所述真实生物面部3D点云和所述待校验3D点云输入所述3D图卷积判断网络，以分别获得第一概率和第二概率，包括：通过所述3D图卷积判断网络对应的3D图卷积层提取所述真实生物面部3D点云和所述待校验3D点云的特征，以获得所述第一概率和所述第二概率。18.一种生物面部对齐的装置，其特征在于，所述装置包括获取单元、处理单元，所述处理单元包括生物面部转正模块、生物面部对称模块和生物面部补洞模块：所述获取单元，用于获取第一3D点云，其中，所述第一3D点云为单一的非正面生物面部3D点云；所述生物面部转正模块，利用3D图卷积网络，对所述第一3D点云进行转正处理，以获得第二3D点云；所述生物面部对称模块，用于对所述第二3D点云进行对称补齐处理，以获得第三3D点云；所述生物面部补洞模块，利用3D图卷积生成对抗网络，对所述第三3D点云进行补洞处理，以获得第四3D点云，其中所述第四3D点云为无破洞正面生物面部的3D点云。19.根据权利要求18所述的装置，其特征在于，所述生物面部转正模块，利用3D图卷积网络，对所述第一3D点云进行转正处理，以获得第二3D点云，包括：所述生物面部转正模块，利用所述3D图卷积网络，对所述第一3D点云进行...

【专利技术属性】
技术研发人员：涂弘德，张为义，罗士杰，
申请(专利权)人：福建库克智能科技有限公司，
类型：发明
国别省市：