基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术涉及一种基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质，该方法包括：基于人脸认证请求，获取证件照片和人物的场景照片；对场景照片和证件照片分别进行人脸检测、关键点定位和图像预处理，得到场景照片对应的场景人脸图像，以及证件照片对应的证件人脸图像；将场景人脸图像和证件人脸图像输入到预先训练好的用于人脸认证的卷积神经网络模型，并获取卷积神经网络模型输出的场景人脸图像对应的第一特征向量，以及证件人脸图像对应的第二特征向量；计算第一特征向量和第二特征向量的余弦距离；比较余弦距离和预设阈值，并根据比较结果确定人脸认证结果。该方法提高了人脸认证的可靠性。

【技术实现步骤摘要】
基于TripletLoss的人脸认证方法、装置、计算机设备和存储介质
本专利技术涉及图像处理
，特别是涉及一种基于TripletLoss的人脸认证方法、装置、计算机设备和存储介质。
技术介绍
人脸认证，是指对比现场采集的人物场景照片以及身份信息中的证件照片，判断是否为同一个人。人脸认证的关键技术为人脸识别。随着深度学习技术的兴起，人脸识别的相关问题不断突破传统的技术瓶颈，性能水平得到较大的提升。在运用深度学习解决人脸识别问题的研究工作中，主要有两派主流的方法：基于分类学习的方法和基于度量学习的方法。其中，基于分类学习的方法主要是在深度卷积网络提取特征之后计算样本的分类损失函数(比如softmaxloss、centerloss及相关变体)来对网络进行优化，网络最后一层是用于分类的全连接层，其输出节点的数量往往要与训练数据集的总类别数保持一致，该类方法适用于训练样本较多，尤其是同一类别的训练样本比较丰富的情况，网络可以得到较好的训练效果和泛化能力。但当类别数达到数十万或更高数量级时，网络最后的分类层(全连接层)参数量会呈线性增长而相当庞大，导致网络难以训练。另一类方法是基于度量学习的方法，该方法以元组的方式组织训练样本(比如二元组pair或者三元组triplet)，在深度卷积网络之后无需通过分类层，而是直接基于卷积特征向量计算样本间的度量损失(比如contrastiveloss、tripletloss等)来对网络进行优化，该方法不需要训练分类层，因此网络参数量不受类别数增长的影响，对训练数据集的类别数无限定，只需要根据相应策略选取同类或异类样本构造合适的元组即可。相比分类学习方法，度量学习方法更适用于训练数据广度较大但深度不足(样本类别数多，但同类样本少)的情况，通过样本之间的不同组合，可以构造相当丰富的元组数据用于训练，同时度量学习方式更加关注元组内部关系，对于1:1人脸验证这类判断是与不是的问题有其先天的优势。在实际应用中，许多的机构都要求实名制登记，例如，银行开户，手机号码登记、金融账号开户等等。实名制登记要求用户携带身份证到指定的地点，由工作人员验证本人与身份证的照片对应后，方可开户成功。而随着互联网技术地发展，越来越多的机构推出了便民服务，不再强制要求客户到指定网点。用户的地理位置不受限制，上传身份证，并利用移动终端的图像采集装置采集现场的人物场景照片，由系统进行人脸认证，并在人脸认证通过后，即可开户成功。而传统地基于度量的学习方法，使用欧式距离来度量样本之间的相似度，而欧氏距离衡量的是空间各点的绝对距离，跟各个点所在的位置坐标直接相关，这并不符合人脸特征空间的分布属性，导致人脸识别的可靠性较低。
技术实现思路
基于此，有必要针对传统的人脸认证方法可靠性低的问题，提供一种基于TripletLoss的人脸认证方法、装置、计算机设备和存储介质。一种基于TripletLoss的人脸认证方法，包括：基于人脸认证请求，获取证件照片和人物的场景照片；对所述场景照片和所述证件照片分别进行人脸检测、关键点定位和图像预处理，得到所述场景照片对应的场景人脸图像，以及所述证件照片对应的证件人脸图像；将所述场景人脸图像和证件人脸图像输入到预先训练好的用于人脸认证的卷积神经网络模型，并获取所述卷积神经网络模型输出的所述场景人脸图像对应的第一特征向量，以及所述证件人脸图像对应的第二特征向量；其中，所述卷积神经网络模型基于三元组损失函数的监督训练得到；计算所述第一特征向量和所述第二特征向量的余弦距离；比较所述余弦距离和预设阈值，并根据比较结果确定人脸认证结果。在一个实施例中，所述方法还包括：获取带标记的训练样本，所述训练样本包括标记了属于每个标记对象的一张证件人脸图像和至少一张场景人脸图像；根据所述训练样本训练卷积神经网络模块，通过OHEM产生各训练样本对应的三元组元素；所述三元组元素包括参考样本、正样本和负样本；根据各训练样本的三元组元素，基于三元组损失函数的监督，训练所述卷积神经网络模型；该三元组损失函数，以余弦距离作为度量方式，通过随机梯度下降算法来优化模型参数；将验证集数据输入所述卷积神经网络模型，达到训练结束条件时，得到训练好的用于人脸认证的卷积神经网络模型。在另一个实施例中，根据所述训练样本训练卷积神经网络模型，通过OHEM产生各训练样本对应的三元组元素的步骤，包括：随机选择一个图像作为参考样本，选择属于同一标签对象、与参考样本类别不同的图像作为正样本；根据OHEM策略，利用当前训练的卷积神经网络模型提取特征之间的余弦距离，对于每一个参考样本，从其它不属于所述标签对象的图像中，选择距离最小、与所述参考样本属于不同类别的图像，作为该参考样本的负样本。在另一个实施例中，所述三元组损失函数包括对同类样本的余弦距离的限定，以及对异类样本的余弦距离的限定。在另一个实施例中，所述三元组损失函数为：其中，cos(·)表示余弦距离，其计算方式为N是三元组数量，表示参考样本的特征向量，表示同类正样本的特征向量，表示异类负样本的特征向量，[·]+的含义如下：α1为类间间隔参数，α2为类内间隔参数。在另一个实施例中，所述方法还包括：利用基于海量开源人脸数据训练好的基础模型参数进行初始化，在特征输出层后添加归一化层及三元组损失函数层，得到待训练的卷积神经网络模型。一种基于TripletLoss的人脸认证装置，包括：图像获取模块、图像预处理模块、特征获取模块、计算模块和认证模块；所述图像获取模块，用于基于人脸认证请求，获取证件照片和人物的场景照片；所述图像预处理模块，用于对所述场景照片和所述证件照片分别进行人脸检测、关键点定位和图像预处理，得到所述场景照片对应的场景人脸图像，以及所述证件照片对应的证件人脸图像；所述特征获取模块，用于将所述场景人脸图像和证件人脸图像输入到预先训练好的用于人脸认证的卷积神经网络模型，并获取所述卷积神经网络模型输出的所述场景人脸图像对应的第一特征向量，以及所述证件人脸图像对应的第二特征向量；其中，所述卷积神经网络模型基于三元组损失函数的监督训练得到；所述计算模块，用于计算所述第一特征向量和所述第二特征向量的余弦距离；所述认证模块，用于比较所述余弦距离和预设阈值，并根据比较结果确定人脸认证结果。在另一个实施例中，所述装置还包括：样本获取模块、三元组获取模块、训练模块和验证模块；所述样本获取模块，用于获取带标记的训练样本，所述训练样本包括标记了属于每个标记对象的一张证件人脸图像和至少一张场景人脸图像；所述三元组获取模块，用于根据所述训练样本训练卷积神经网络模型，通过OHEM产生各训练样本对应的三元组元素；所述三元组元素包括参考样本、正样本和负样本；所述训练模块，用于根据各训练样本的三元组元素，基三元组损失函数的监督，训练所述卷积神经网络模型；该三元组损失函数，以余弦距离作为度量方式，通过随机梯度下降算法来优化模型参数；所述验证模块，用于将验证集数据输入所述卷积神经网络模型，达到训练结束条件时，得到训练好的用于人脸认证的卷积神经网络模型。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于TripletLoss的人脸认证方法的步骤。本文档来自技高网...

【技术保护点】
一种基于Triplet Loss的人脸认证方法，包括：基于人脸认证请求，获取证件照片和人物的场景照片；对所述场景照片和所述证件照片分别进行人脸检测、关键点定位和图像预处理，得到所述场景照片对应的场景人脸图像，以及所述证件照片对应的证件人脸图像；将所述场景人脸图像和证件人脸图像输入到预先训练好的用于人脸认证的卷积神经网络模型，并获取所述卷积神经网络模型输出的所述场景人脸图像对应的第一特征向量，以及所述证件人脸图像对应的第二特征向量；其中，所述卷积神经网络模型基于三元组损失函数的监督训练得到；计算所述第一特征向量和所述第二特征向量的余弦距离；比较所述余弦距离和预设阈值，并根据比较结果确定人脸认证结果。

【技术特征摘要】
1.一种基于TripletLoss的人脸认证方法，包括：基于人脸认证请求，获取证件照片和人物的场景照片；对所述场景照片和所述证件照片分别进行人脸检测、关键点定位和图像预处理，得到所述场景照片对应的场景人脸图像，以及所述证件照片对应的证件人脸图像；将所述场景人脸图像和证件人脸图像输入到预先训练好的用于人脸认证的卷积神经网络模型，并获取所述卷积神经网络模型输出的所述场景人脸图像对应的第一特征向量，以及所述证件人脸图像对应的第二特征向量；其中，所述卷积神经网络模型基于三元组损失函数的监督训练得到；计算所述第一特征向量和所述第二特征向量的余弦距离；比较所述余弦距离和预设阈值，并根据比较结果确定人脸认证结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取带标记的训练样本，所述训练样本包括标记了属于每个标记对象的一张证件人脸图像和至少一张场景人脸图像；根据所述训练样本训练卷积神经网络模型，通过OHEM产生各训练样本对应的三元组元素；所述三元组元素包括参考样本、正样本和负样本；根据各训练样本的三元组元素，基于三元组损失函数的监督，训练所述卷积神经网络模型；该三元组损失函数，以余弦距离作为度量方式，通过随机梯度下降算法来优化模型参数；将验证集数据输入所述卷积神经网络模型，达到训练结束条件时，得到训练好的用于人脸认证的卷积神经网络模型。3.根据权利要求2所述的方法，其特征在于，根据所述训练样本训练卷积神经网络模型，通过OHEM产生各训练样本对应的三元组元素的步骤，包括：随机选择一个图像作为参考样本，选择属于同一标签对象、与参考样本类别不同的图像作为正样本；根据OHEM策略，利用当前训练的卷积神经网络模型提取特征之间的余弦距离，对于每一个参考样本，从其它不属于同一标签对象的图像中，选择距离最小、与所述参考样本属于不同类别的图像，作为该参考样本的负样本。4.根据权利要求2所述的方法，其特征在于，所述三元组损失函数包括对同类样本的余弦距离的限定，以及对异类样本的余弦距离的限定。5.根据权利要求4所述的方法，其特征在于，所述三元组损失函数为：其中，cos(·)表示余弦距离，其计算方式为N是三元组数...

【专利技术属性】
技术研发人员：许丹丹，梁添才，章烈剽，龚文川，
申请(专利权)人：广州广电运通金融电子股份有限公司，
类型：发明
国别省市：广东,44