本申请公开了一种人脸特征提取模型训练的方法、装置和系统，属于机器学习技术领域。所述方法包括：获取样本人脸图像对、对应的人脸对比结果数据和所述人脸对比结果数据对应的人脸比对过程中比对人员的视线热度图；基于所述样本人脸图像对和所述视线热度图，对人脸特征提取模型中的注意力网络进行训练；基于所述样本人脸图像对和对应的人脸对比结果数据，对所述人脸特征提取模型进行训练。本申请通过对注意力网络进行单独监督训练，使得人脸特征提取模型的训练效果更好。取模型的训练效果更好。取模型的训练效果更好。
【技术实现步骤摘要】
人脸特征提取模型训练的方法、装置和系统
[0001]本申请涉及机器学习
，特别涉及一种人脸特征提取模型训练的方法、装置和系统。
技术介绍
[0002]目前，人脸比对技术在安防、交通等领域应用较为广泛。常用的人脸比对技术是采用人脸特征提取模型，将拍摄的待比对人脸图像进行特征提取，并与数据库中的参考人脸图像特征数据进行比对，即可得到比对结果。而人脸特征提取模型在使用之前，需要使用大量样本进行训练。
[0003]人脸特征提取模型的训练通常使用大量的样本人脸图像和两两样本人脸图像之间的比对结果数据，对人脸特征提取模型进行训练
[0004]在实现本申请的过程中，专利技术人发现现有技术至少存在以下问题：
[0005]人脸特征提取模型中包括有注意力网络，仅仅使用对和对应的人脸比对结果数据和两两样本人脸图像之间的比对结果数据对全局进行训练调整，对于注意力网络训练效果较差。
技术实现思路
[0006]本申请实施例提供了一种人脸特征提取模型训练的方法、装置和系统，能够解决相关技术中对人脸特征提取模型中的注意力网络训练效果较差的问题。
[0007]所述技术方案如下：
[0008]第一方面，提供了一种人脸特征提取模型训练的方法，所述方法包括：
[0009]获取样本人脸图像对、对应的人脸对比结果数据和所述人脸对比结果数据对应的人脸比对过程中比对人员的视线热度图；
[0010]基于所述样本人脸图像对和所述视线热度图，对人脸特征提取模型中的注意力网络进行训练；
[0011]基于所述样本人脸图像对和对应的人脸对比结果数据，对所述人脸特征提取模型进行训练。
[0012]在一种可能的实现方式中，
[0013]所述获取样本人脸图像对、对应的人脸对比结果数据和所述人脸对比结果数据对应的人脸比对过程中比对人员的视线热度图，包括：
[0014]在比对人员对人脸图像对进行人脸比对的过程中，获取所述比对人员的人脸行为视频；
[0015]获取所述比对人员对人脸图像对的人脸对比结果数据；
[0016]基于所述人脸行为视频和视线估计模型，确定所述比对人员在对所述人脸图像对进行人脸比对过程中的视线热度图；
[0017]如果所述视线热度图满足预设熵条件，则将所述人脸图像对作为样本人脸图像
对。
[0018]在一种可能的实现方式中，
[0019]所述基于所述人脸行为视频和视线估计模型，确定所述比对人员在对所述人脸图像对进行人脸比对过程中的视线热度图，包括：
[0020]对于所述人脸行为视频中的每帧图像，获取所述图像中的左眼图像、右眼图像和脸部图像；
[0021]将所述左眼图像、所述右眼图像和所述脸部图像，输入到所述视线估计模型，得到所述图像对应的视线方向信息；
[0022]基于所述人脸行为视频中的每帧图像对应的视线方向信息，生成所述比对人员在对所述人脸图像对进行人脸比对过程中的视线热度图。
[0023]在一种可能的实现方式中，所述如果所述视线热度图满足预设熵条件，则将所述人脸图像对作为样本人脸图像对，包括：
[0024]计算所述视线热度图的熵；
[0025]如果所述视线热度图的熵小于预设阈值，则将所述人脸图像对作为样本人脸图像对。
[0026]在一种可能的实现方式中，所述在比对人员对人脸图像对进行人脸比对的过程中，获取所述比对人员的人脸行为视频之前，所述方法还包括：
[0027]获取对应人脸特征数据满足预设相似度条件的两张人脸图像所组成的人脸图像对。
[0028]在一种可能的实现方式中，所述获取对应人脸特征数据满足预设相似度条件的两张人脸图像所组成的人脸图像对，包括：
[0029]获取监控设备拍摄的待比对人脸图像；
[0030]对所述待比对人脸图像进行人脸特征提取，得到所述待比对人脸图像的人脸特征数据；
[0031]如果在人脸特征数据库的参考人脸特征数据中，存在与所述待比对人脸图像的人脸特征数据满足预设相似度条件的目标参考人脸特征数据，则获取所述目标参考人脸特征数据对应的目标参考人脸图像，将所述待比对人脸图像和所述目标参考人脸图像作为人脸图像对。
[0032]第二方面，提供了一种人脸特征提取模型训练的装置，所述装置包括：
[0033]获取模块，用于获取样本人脸图像对、对应的人脸对比结果数据和所述人脸对比结果数据对应的人脸比对过程中比对人员的视线热度图；
[0034]训练模块，用于基于所述样本人脸图像对和所述视线热度图，对人脸特征提取模型中的注意力网络进行训练；基于所述样本人脸图像对和对应的人脸对比结果数据，对所述人脸特征提取模型进行训练。
[0035]在一种可能的实现方式中，所述获取模块，用于：
[0036]在比对人员对人脸图像对进行人脸比对的过程中，获取所述比对人员的人脸行为视频；
[0037]获取所述比对人员对人脸图像对的人脸对比结果数据；
[0038]基于所述人脸行为视频和视线估计模型，确定所述比对人员在对所述人脸图像对
进行人脸比对过程中的视线热度图；
[0039]如果所述视线热度图满足预设熵条件，则将所述人脸图像对作为样本人脸图像对。
[0040]在一种可能的实现方式中，所述获取模块，用于：
[0041]对于所述人脸行为视频中的每帧图像，获取所述图像中的左眼图像、右眼图像和脸部图像；
[0042]将所述左眼图像、所述右眼图像和所述脸部图像，输入到所述视线估计模型，得到所述图像对应的视线方向信息；
[0043]基于所述人脸行为视频中的每帧图像对应的视线方向信息，生成所述比对人员在对所述人脸图像对进行人脸比对过程中的视线热度图。
[0044]在一种可能的实现方式中，所述获取模块，用于：
[0045]计算所述视线热度图的熵；
[0046]如果所述视线热度图的熵小于预设阈值，则将所述视线热度图作为样本视线热度图，将所述人脸图像对作为样本人脸图像对。
[0047]在一种可能的实现方式中，所述装置还包括比对模块，用于:
[0048]获取对应人脸特征数据满足预设相似度条件的两张人脸图像所组成的人脸图像对。
[0049]在一种可能的实现方式中，所述比对模块，用于：
[0050]获取监控设备拍摄的待比对人脸图像；
[0051]对所述待比对人脸图像进行人脸特征提取，得到所述待比对人脸图像的人脸特征数据；
[0052]如果在人脸特征数据库的参考人脸特征数据中，存在与所述待比对人脸图像的人脸特征数据满足预设相似度条件的目标参考人脸特征数据，则获取所述目标参考人脸特征数据对应的目标参考人脸图像，将所述待比对人脸图像和所述目标参考人脸图像作为人脸图像对。
[0053]第三方面，提供了一种人脸比对模型训练的系统，所述系统包括管理设备和训练设备，其中：
[0054]所述管理设备，用于获取样本人脸本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸特征提取模型训练的方法，其特征在于，所述方法包括：获取样本人脸图像对、对应的人脸对比结果数据和所述人脸对比结果数据对应的人脸比对过程中比对人员的视线热度图；基于所述样本人脸图像对和所述视线热度图，对人脸特征提取模型中的注意力网络进行训练；基于所述样本人脸图像对和对应的人脸对比结果数据，对所述人脸特征提取模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述获取样本人脸图像对、对应的人脸对比结果数据和所述人脸对比结果数据对应的人脸比对过程中比对人员的视线热度图，包括：在比对人员对人脸图像对进行人脸比对的过程中，获取所述比对人员的人脸行为视频；获取所述比对人员对人脸图像对的人脸对比结果数据；基于所述人脸行为视频和视线估计模型，确定所述比对人员在对所述人脸图像对进行人脸比对过程中的视线热度图；如果所述视线热度图满足预设熵条件，则将所述人脸图像对作为样本人脸图像对。3.根据权利要求2所述的方法，其特征在于，所述基于所述人脸行为视频和视线估计模型，确定所述比对人员在对所述人脸图像对进行人脸比对过程中的视线热度图，包括：对于所述人脸行为视频中的每帧图像，获取所述图像中的左眼图像、右眼图像和脸部图像；将所述左眼图像、所述右眼图像和所述脸部图像，输入到所述视线估计模型，得到所述图像对应的视线方向信息；基于所述人脸行为视频中的每帧图像对应的视线方向信息，生成所述比对人员在对所述人脸图像对进行人脸比对过程中的视线热度图。4.根据权利要求2所述的方法，其特征在于，所述如果所述视线热度图满足预设熵条件，则将所述人脸图像对作为样本人脸图像对，包括：计算所述视线热度图的熵；如果所述视线热度图的熵小于预设阈值，则将所述人脸图像对作为样本人脸图像对。5.根据权利要求2-4中任一项所述的方法，其特征在于，所述在比对人员对人脸图像对进行人脸比对的过程中，获取所述比对人员的人脸行为视频之前，所述方法还包括：获取对应的人脸特征数据满足预设相似度条件的两张人脸图像所组成的人脸图像对。6.根据权利要求5中所述的方法，其特征在于，所述获取对应人脸特征数据满足预设相似度条件的两张人脸图像所组成的人脸图像对，包括：获取监控设备拍摄的待比对人脸图像；对所述待比对人脸图像进行人脸特征提取，得到所述待比对人脸图像的人脸...
【专利技术属性】
技术研发人员：杨彭举，王春茂，浦世亮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。