人脸比对的方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种人脸比对的方法、装置、计算机设备及存储介质，其中，方法包括：利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据第一比对模型搭建孪生网络；将正样本和负样本分别输入到孪生网络中，得到同一样本中用户彩色图像和用户红外图像的特征向量；计算该两个图像的特征向量之间的余弦相似距离和KL散度，将该余弦相似距离代入预设对比损失函数得到对比损失值，并根据对比损失值和KL散度训练孪生网络，待样本数据迭代后得到第二比对模型；将目标彩色图像和目标红外图像输入第二比对模型，根据相似度计算输出人脸比对结果，从而解决了人脸比对中彩色图像和红外图像之间存在识别差异的问题。

Method, device, computer equipment and storage medium of face comparison

【技术实现步骤摘要】
人脸比对的方法、装置、计算机设备及存储介质
本申请涉及人脸识别
，特别是涉及一种人脸比对的方法、装置、计算机设备及存储介质。
技术介绍
随着信息技术和计算机技术的发展，人脸识别已成为现今的热门研究方向，广泛应用于门禁和拍照等场景中。人脸比对为人脸识别的一个分支领域，其主要思想是将获取到的用户图像与已注册的底图进行对比，如果用户图像与底图较为相似，则将该底图作为比对的结果。在相关技术中，一般使用彩色图像或者红外图像去进行人脸比对，但是这是这两种比对图像方式是在图像在同一类型的基础上的结果。而当现实场景变成了彩色图像和红外图像进行比对的时候，会出现识别效果变差的问题，这在一定程度上限制了人脸比对的使用场景。针对相关技术中，人脸比对中彩色图像和红外图像之间存在识别差异的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中，人脸比对中彩色图像和红外图像之间存在识别差异的问题，本专利技术提供了一种人脸比对的方法、装置、计算机设备及存储介质，以至少解决上述问题。根据本专利技术的一个方面，提供了一种人脸比对的方法，所述方法包括：利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据所述第一比对模型搭建孪生网络；根据用户彩色图像、用户红外图像生成正样本和负样本；将所述正样本和所述负样本分别输入到所述孪生网络中，得到所述用户彩色图像的第一特征向量，并得到同一样本中的所述用户红外图像的第二特征向量；计算所述第一特征向量和所述第二特征向量之间的余弦相似距离和Kullback-Leibler散度(简称为KL散度)，将所述余弦相似距离代入预设对比损失函数得到对比损失值，并根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型；将目标彩色图像和目标红外图像输入所述第二比对模型，并进行相似度计算；根据所述相似度计算输出人脸比对的结果。在其中一个实施例中，所述根据用户彩色图像、用户红外图像生成正样本和负样本包括：根据同一人之间的一对所述用户彩色图像和所述用户红外图像生成所述正样本，并根据不同人之间的一对所述用户彩色图像和所述用户红外图像生成所述负样本。在其中一个实施例中，所述根据用户彩色图像、用户红外图像生成正样本和负样本包括：对所述用户彩色图像进行第一关键点提取，根据所述第一关键点得到第一仿射矩阵，根据所述第一仿射矩阵得到对齐彩色图像，并将所述对齐彩色图像裁减为预设图像尺寸的裁减彩色图像；对所述用户红外图像进行第二关键点提取，根据所述第二关键点得到第二仿射矩阵，根据所述第二仿射矩阵得到对齐红外图像，并将所述对齐红外图像裁减为所述预设图像尺寸的裁减红外图像；根据同一人之间的所述裁减彩色图像和所述裁减红外图像生成所述正样本，并根据不同人之间的所述裁减彩色图像和所述裁减红外图像生成所述负样本。在其中一个实施例中，所述将所述正样本和所述负样本分别输入到所述孪生网络中包括：对所述正样本进行归一化处理，得到归一化正样本；并将所述负样本进行归一化处理，得到归一化负样本；将所述归一化正样本和所述归一化负样本分别输入到所述孪生网络中。在其中一个实施例中，所述根据所述第一比对模型搭建孪生网络包括：将所述第一比对模型作为基干网络，固定所述基干网络中卷积单元的参数，并放开所述基干网络中全连接层的参数；根据所述基干网络搭建所述孪生网络。在其中一个实施例中，所述根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型包括：根据所述对比损失值和所述KL散度调整更新所述孪生网络中全连接层的参数；设置学习率和衰减方式，待输入所述孪生网络中的样本数据迭代后得到第二比对模型。根据本专利技术的另一个方面，提供了一种人脸比对的装置，所述装置包括：搭建模块，用于利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据所述第一比对模型搭建孪生网络；特征模块，用于根据用户彩色图像、用户红外图像生成正样本和负样本；所述特征模块将所述正样本和所述负样本分别输入到所述孪生网络中，得到所述用户彩色图像的第一特征向量，并得到同一样本中的所述用户红外图像的第二特征向量；获取模块，用于计算所述第一特征向量和所述第二特征向量之间的余弦相似距离和KL散度，将所述余弦相似距离代入预设对比损失函数得到对比损失值，并根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型；；比对模块，用于将目标彩色图像和目标红外图像输入所述第二比对模型，并进行相似度计算；所述比对模块根据所述相似度计算输出人脸比对的结果。在其中一个实施例中，所述搭建模块还用于将所述第一比对模型作为基干网络，固定所述基干网络中卷积单元的参数，并放开所述基干网络中全连接层的参数；所述搭建模块根据所述基干网络搭建所述孪生网络。根据本专利技术的另一个方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤。根据本专利技术的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述方法的步骤。通过本专利技术，采用一种人脸比对的方法、装置、计算机设备及存储介质，利用深度神经网络训练出基于预设彩色图像的第一比对模型，并根据该第一比对模型搭建孪生网络；根据用户彩色图像、用户红外图像生成正样本和负样本；将该正样本和该负样本分别输入到所述孪生网络中，得到该用户彩色图像的第一特征向量，并得到同一样本中的该用户红外图像的第二特征向量；计算该第一特征向量和该第二特征向量之间的余弦相似距离和KL散度，将该余弦相似距离代入预设对比损失函数得到对比损失值，并根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型；将目标彩色图像和目标红外图像输入该第二比对模型，根据该相似度计算输出人脸比对的结果，从而解决了人脸比对中彩色图像和红外图像之间存在识别差异的问题。附图说明图1为根据本专利技术实施例中一种人脸比对应用场景的示意图；图2为根据本专利技术实施例的一种人脸比对的方法的流程图一；图3为根据本专利技术实施例的一种人脸比对的方法的流程图二；图4为根据本专利技术实施例的一种人脸比对的方法的流程图三；图5为根据本专利技术实施例的一种人脸比对的方法的流程图四；图6为根据本专利技术实施例的一种人脸比对的方法的流程图五；图7为根据本专利技术实施例的一种人脸比对的方法的流程图六；图8为根据本专利技术实施例的一种人脸比对的装置的结构框图一；图9为根据本专利技术实施例的一种人脸比对的装置的结构框图二；图10为根据本专利技术实施例的一种计算机设备内部的结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行本文档来自技高网...

【技术保护点】
1.一种人脸比对的方法，其特征在于，所述方法包括：/n利用深度神经网络训练出基于预设彩色图像的第一比对模型；并根据所述第一比对模型搭建孪生网络；/n根据用户彩色图像、用户红外图像生成正样本和负样本；将所述正样本和所述负样本分别输入到所述孪生网络中，得到所述用户彩色图像的第一特征向量，并得到同一样本中的所述用户红外图像的第二特征向量；/n计算所述第一特征向量和所述第二特征向量之间的余弦相似距离和KL散度，将所述余弦相似距离代入预设对比损失函数得到对比损失值，并根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型；/n将目标彩色图像和目标红外图像输入所述第二比对模型，并进行相似度计算；根据所述相似度计算输出人脸比对的结果。/n

【技术特征摘要】
1.一种人脸比对的方法，其特征在于，所述方法包括：
利用深度神经网络训练出基于预设彩色图像的第一比对模型；并根据所述第一比对模型搭建孪生网络；
根据用户彩色图像、用户红外图像生成正样本和负样本；将所述正样本和所述负样本分别输入到所述孪生网络中，得到所述用户彩色图像的第一特征向量，并得到同一样本中的所述用户红外图像的第二特征向量；
计算所述第一特征向量和所述第二特征向量之间的余弦相似距离和KL散度，将所述余弦相似距离代入预设对比损失函数得到对比损失值，并根据所述对比损失值和所述KL散度训练所述孪生网络，待样本数据迭代后得到第二比对模型；
将目标彩色图像和目标红外图像输入所述第二比对模型，并进行相似度计算；根据所述相似度计算输出人脸比对的结果。


2.根据权利要求1所述的方法，其特征在于，所述根据用户彩色图像、用户红外图像生成正样本和负样本包括：
根据同一人之间的一对所述用户彩色图像和所述用户红外图像生成所述正样本，并根据不同人之间的一对所述用户彩色图像和所述用户红外图像生成所述负样本。


3.根据权利要求1或2所述的方法，其特征在于，所述根据用户彩色图像、用户红外图像生成正样本和负样本包括：
对所述用户彩色图像进行第一关键点提取，根据所述第一关键点得到第一仿射矩阵，根据所述第一仿射矩阵得到对齐彩色图像，并将所述对齐彩色图像裁减为预设图像尺寸的裁减彩色图像；
对所述用户红外图像进行第二关键点提取，根据所述第二关键点得到第二仿射矩阵，根据所述第二仿射矩阵得到对齐红外图像，并将所述对齐红外图像裁减为所述预设图像尺寸的裁减红外图像；
根据同一人之间的所述裁减彩色图像和所述裁减红外图像生成所述正样本，并根据不同人之间的所述裁减彩色图像和所述裁减红外图像生成所述负样本。


4.根据权利要求1所述的方法，其特征在于，所述将所述正样本和所述负样本分别输入到所述孪生网络中包括：
对所述正样本进行归一化处理，得到归一化正样本；并将所述负样本进行归一化处理，得到归一化负样本；
将所述归一化正样本和所述归一化负样本分别输入到所述孪生网络中。


5.根据权...

【专利技术属性】
技术研发人员：方利红，戴兆辉，侯方超，
申请(专利权)人：杭州艾芯智能科技有限公司，
类型：发明
国别省市：浙江;33