分数调制方法、人脸识别方法、装置及介质制造方法及图纸

技术编号:27512716 阅读:17 留言:0更新日期:2021-03-02 18:43
本发明专利技术涉及人脸识别技术领域,具体涉及分数调制方法、人脸识别方法以及相应的装置。旨在解决目前阈值设置不便、不同领域的识别模型应用到其他领域不能达到预期效果的问题。为此,本发明专利技术的分数调制方法,通过少量的训练数据构建分数调制模型,对不同领域的人脸图像的比对分数进行调制,使调制后的分数处于相同的分布,对不同领域人脸特征比对结果进行分数补偿,不同领域人脸特征的比对使用补偿后的分数可以保持分数分布的一致,便于使用过程中阈值的设置且能在不同领域的人脸图像中达到预期且稳定的误警率和通过率指标,提升了人脸识别技术在实际场景中应用的性能和用户体验。技术在实际场景中应用的性能和用户体验。技术在实际场景中应用的性能和用户体验。

【技术实现步骤摘要】
分数调制方法、人脸识别方法、装置及介质


[0001]本专利技术涉及人脸识别
,具体涉及一种分数调制方法、人脸识别方法、装置、介质以及终端设备。

技术介绍

[0002]人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术,通常也叫做人像识别、面部识别。人脸识别在现实生活中有很广的应用前景。如安保门禁系统、公安刑侦破案、摄像监视系统、网络应用、身份辨识、支付系统中均需用到人脸识别。
[0003]现有的人脸识别技术主要通过计算待识别人员的人脸图像与存储在数据库中的各个注册用户的人脸图像之间的匹配度来进行人脸识别。对于以比对分数表示的匹配度而言,分数越高表示匹配度就越高。如果表示匹配度的分数大于或等于某一阈值,则认为待识别人员与存储在数据库中的相应的用户是同一个人。
[0004]但现有的基于大量数据训练的人脸识别技术,往往存在偏见的问题。由于训练数据往往是有偏见的:1)人种集中,比如公开的大规模人脸数据集MS1M主要集中于欧美人;2)年龄集中,比如成年人;3)场景集中,比如网络高清图片等等。因此,这些数据训练出来的人脸特征模型也带有偏见。具体表现在以下两个方面:1)对非主要领域的人脸图像识别效果较差;2)不同领域的人脸图像的比对分数分布差异大。其中“领域”是指按照不同的人种、年龄、场景等进行划分的人脸识别的应用领域。由于人脸数据量大,采集、标注比较困难,很难从人脸特征模型的训练数据方面做到平衡以解决上述问题。
[0005]并且,对于不同领域的人脸图像的比对分数分布差异大的情形,如果在实际人脸识别中使用统一的阈值,则在该阈值下,不同领域的人脸比对结果将会表现出不同的陌生人误警率和注册人员通过率,任何单一的阈值都很难达到其预想的误警率和通过率指标,其表现往往为在一些领域上性能尚可,但在另一些领域上性能很差,极大的影响人脸识别技术的识别效果。同时,这也增加了用户设置阈值的难度,用户只能根据人的直观感受来不断调整阈值,用户体验差。

技术实现思路

[0006]本专利技术的目的是提供一种分数调制方法、人脸识别方法、装置、介质以及终端设备,以解决或部分地解决如何通过比对分数调制而设置比对阈值,以使得所述阈值设置更容易且满足不同领域的人脸识别的技术问题。
[0007]第一方面,本专利技术提供一种人脸识别中的分数调制方法,包括:获取每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数;在每个领域中选取多对人脸特征向量对应的相似度分数作为样本点,获取每个领域的每一样本点在所有领域中的相对目标比对分数,以及根据样本点对应的相似度分数和所述目标比对分数计算出各领域中每一样
本点对应的分数偏移量;由各领域对应的样本点以及各样本点对应的分数偏移量形成训练样本集合,以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出,训练分数调制模型M,以在人脸识别时通过训练好的所述分数调制模型M进行相似度分数调制。
[0008]其中,所述目标比对分数的获取过程包括:基于每个领域对应的相似度分数构成领域分布,以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布;针对每一领域,查找出各样本点对应在所述领域分布中的相对位置,以及基于所述相对位置查找出各样本点在所述目标分布中具有相同相对位置对应的目标比对分数。
[0009]其中,所述“基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布”,具体包括:合并所有不同领域的不同人脸特征向量;将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数,作为目标比对分数;根据所有的所述目标比对分数,统计其中正例样本的目标比对分数的分布作为正例样本的目标分布,以及,统计其中负例样本的目标比对分数的分布作为负例样本的目标分布;所述“每个领域对应的相似度分数构成领域分布”具体包括:根据每个领域对应的相似度分数,统计其中正例样本对应的相似度分数作为正例样本的领域分布,统计其中负例样本对应的相似度分数作为负例样本的领域分布;其中,每个领域中选取的所述样本点包括:从正例样本的领域分布中选取的正例样本、或者从负例样本的领域分布中选取的负例样本;其中,获取的每一样本点在所有领域中的相对目标比对分数包括:对于所述正例样本,从正例样本的目标分布中获取相对的目标比对分数;对于所述负例样本,从负例样本的目标分布中获取相对的目标比对分数;其中,一张人脸图像的人脸特征向量与其对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数,构成一个正例样本;一张人脸图像的人脸特征向量与任何一张非对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数,构成一个负例样本。
[0010]其中,以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出,训练分数调制模型M,具体包括:将训练样本集合中的每个训练样本中的人脸特征向量对作为模型输入,输入到待训练的分数调制模型M中,将每个训练样本中人脸特征向量对所对应的分数偏移量作为模型回归的目标标签,训练所述分数调制模型M;其中,所述分数调制模型M为单一的或组合的神经网络模型。
[0011]其中,所述人脸特征向量由存在领域偏见的人脸特征模型E对所采集的人脸图像进行提取得到;所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对;通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布;所述领域至少包括以下一种或多种:人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境。
[0012]其中,所述每对进行两两比对的人脸特征向量的相似度分数表示为:向量f
i
与f
j
比较的相似度分数S
i,j
;其中,i代表待识别的人脸图像的图片索引,i∈{1,...N},j代表注册目标人员数据库中人脸图像的图片索引,j∈{1,...N},并且,S
i,j,i=j
为正例样本,S
i,j,i≠j
为负例样本;所述正例样本的领域分布和目标分布,用集合{S
i,j,i=j
}表示;所述负例样本的领域分布和目标分布,用集合{S
i,j,i≠j
}表示;所述分数偏移量用ΔS
i,j
表示,其中,ΔS
i,j
=A-B,A是所述相似度分数,B是所述相应的目标比对分数;所述训练样本集用集合{〈f
i
,f
j

S
i,j
〉}表示。
[0013]第二方面,本专利技术提供另一种人脸识别中的分数调制方法,包括:获取基于每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数构成的领域分布、以及基于所有领域合并的不同人脸特征向量之间的相似度分数本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种人脸识别中的分数调制方法,其特征在于,包括:获取每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数;在每个领域中选取多对人脸特征向量对应的相似度分数作为样本点,获取每个领域的每一样本点在所有领域中的相对目标比对分数,以及根据样本点对应的相似度分数和所述目标比对分数计算出各领域中每一样本点对应的分数偏移量;由各领域对应的样本点以及各样本点对应的分数偏移量形成训练样本集合,以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出,训练分数调制模型M,以在人脸识别时通过训练好的所述分数调制模型M进行相似度分数调制。2.如权利要求1所述的方法,其特征在于,所述目标比对分数的获取过程包括:基于每个领域对应的相似度分数构成领域分布,以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布;针对每一领域,查找出各样本点对应在所述领域分布中的相对位置,以及基于所述相对位置查找出各样本点在所述目标分布中具有相同相对位置对应的目标比对分数。3.如权利要求2所述的方法,其特征在于,所述“基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布”,具体包括:合并所有不同领域的不同人脸特征向量;将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数,作为目标比对分数;根据所有的所述目标比对分数,统计其中正例样本的目标比对分数的分布作为正例样本的目标分布,以及,统计其中负例样本的目标比对分数的分布作为负例样本的目标分布;所述“每个领域对应的相似度分数构成领域分布”具体包括:根据每个领域对应的相似度分数,统计其中正例样本对应的相似度分数作为正例样本的领域分布,统计其中负例样本对应的相似度分数作为负例样本的领域分布;其中,每个领域中选取的所述样本点包括:从正例样本的领域分布中选取的正例样本、或者从负例样本的领域分布中选取的负例样本;其中,获取的每一样本点在所有领域中的相对目标比对分数包括:对于所述正例样本,从正例样本的目标分布中获取相对的目标比对分数;对于所述负例样本,从负例样本的目标分布中获取相对的目标比对分数;其中,一张人脸图像的人脸特征向量与其对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数,构成一个正例样本;一张人脸图像的人脸特征向量与任何一张非对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数,构成一个负例样本。4.如权利要求1所述的方法,其特征在于,以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出,训练分数调制模型M,具体包括:将训练样本集合中的每个训练样本中的人脸特征向量对作为模型输入,输入到待训练的分数调制模型M中,将每个训练样本中人脸特征向量对所对应的分数偏移量作为模型回
归的目标标签,训练所述分数调制模型M;其中,所述分数调制模型M为单一的或组合的神经网络模型。5.如权利要求1所述的方法,其特征在于,所述人脸特征向量由存在领域偏见的人脸特征模型E对所采集的人脸图像进行提取得到;所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对;通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布;所述领域至少包括以下一种或多种:人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境。6.如权利要求3至5任一项所述的方法,其特征在于,所述每对进行两两比对的人脸特征向量的相似度分数表示为:向量f
i
与f
j
比较的相似度分数S
i,j
;其中,i代表待识别的人脸图像的图片索引,i∈{1,...N},j代表注册目标人员数据库中人脸图像的图片索引,j∈{1,...N},并且,S
i,j,i=j
为正例样本,S
i,j,i≠j
为负例样本;所述正例样本的领域分布和目标分布,用集合{S
i,j,i=j
}表示;所述负例样本的领域分布和目标分布,用集合{S
i,j,i≠j
}表示;所述分数偏移量用ΔS
i,j
表示,其中,ΔS
i,j=
A-B,A是所述相似度分数,B是所述相应的目标比对分数;所述训练样本集用集合{〈f
i
,f
j
,ΔS
i,j
〉}表示。7.一种人脸识别中的分数调制方法,其特征在于,包括:获取基于每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数构成的领域分布、以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成的目标分布;基于所述目标分布和领域分布,为每个领域学习一个整体的分数偏移而得到对应所述每个领域的整体分数偏移量;根据多个不同领域的人脸特征向量及其人脸特征向量所属的领域,训练基于人脸特征向量的领域分类模型C;在人脸识别时通过加载训练好的所述领域分类模型C,确定进行两两比对的两个人脸特征向量各自所属的领域,以获得各自所属领域的所述分数偏移量;利用融合函数F将各自所属领域的所述分数偏移量融合为所述两个人脸特征向量的补偿分数偏移量,以便将所述补偿分数偏移量补偿到所述两个人脸特征向量的比对得到的原始相似度分数中而得到所述两个人脸特征向量对应的最终相似度分数;其中,所述进行两两比对的两个人脸特征向量分别为待识别的人脸图像的人脸特征向量和注册目标人员数据库中的人脸特征向量。8.如权利要求7所述的方法,其特征在于,所述“基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布”,具体包括:
合并所有不同领域的不同人脸特征向量;将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数,作为目标比对分数;统计所有目标比对分数构成对应所有领域的目标分布;所述“领域分布”的构成,具体包括:对每个领域中的相似度分数进行统计,构成所述领域对应的领域分布。9.如权利要求7或8任一项所述的方法,其特征在于,所述“基于所述目标分布和领域分布,为每个领域学习一个整体的分数偏移而得到对应所述每一个领域的整体分数偏移量”,具体包括:利用每个领域对应的所述领域分布的相似度分数的平均值与所述目标分布的目标比对分数的平均值计算对应每个领域的分数偏移而获得相应所述领域的分数偏移量。10.如权利要求9所述的方法,其特征在于,利用训练好的人脸特征模型E对所采集的人脸图像进行人脸特征向量提取,所述人脸特征模型E存在领域偏见;所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对;通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布;所述领域是至少包括以下一种或多种:人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境;所述每对比较的人脸特征向量的相似度分数表示为:向量f
i
与f
j
比较的相似度分数S
i,j
;其中,i代表待识别的人脸图像的图片索引,i∈{1,...N},j代表注册目标人员数据库中人脸图像的图片索引,j∈{1,...N},并且,所述相似度分数分布用集合{S
i,j
}表示;所述每一个领域的整体分数偏移量表示为ΔS
l
,l∈{1,...k},l为领域索引。11.一种基于分数调制的人脸识别方法,其特征在于,包括:在人脸识别初始化时,加载训练好的分数调制模型M或领域分类模型C;输入待识别的人脸图像作为检索图像并提取所述检索图像的人脸特征向量;提取注册的目标人员人脸图像的人脸特征向量;将检索图像的人脸特征向量与所有所述目标人员人脸图像的人脸特征向量进行两两比对得到原始相似度分数的集合;根据如权利要求1至6任一项所述的方法中的所述分数调制模型M或者根据如权利要求7至10任一项所述的方法中的所述领域分类模型C和融合函数F,获得所有进行两两比对的每对人脸特征向量的相应的补偿分数偏移量;利用所述补偿分数偏移量对所述原始相似度分数集合中的相应的原始相似度分数进行补偿,得到最终相似度分数的集合;对最终相似度分数的集合中的分数进行排序以及与阈值进行比较;从所述目标人员数据库中选择与检索图像相似度最高的目标人员人脸图像并返回对应的目标人员的身份信息作为识别结果。
12.如权利要求11所述的方法,其特征在于,对最终相似度分数的集合中的分数进行排序以及与阈值进行比较,具体包括:将最终相似度分数的集合中的分数最大值与一预先设置的阈值进行比较;当所述最大值大于或等于所述阈值时,判定所述检索图像对应的待识别人员与所述最大值对应的注册目标人员数据库中的所述目标人员相匹配;利用所述补偿分数偏移量对所述原始相似度分数集合中的相应的原始相似度分数进行补偿,具体包括:在每个所述原始相似度分数上加上相应的所述补偿分数偏移量。13.一种计算机可读存储介质,所述存储介质中存储有多条程序代码,其特征在于,所述程序代码适用于由处理器加载并运行以执行权利要求1至10中任一项所述的人脸识别中的分数调制方法;或者,所述程序代码适于由所述处理器加载并运行以执行权利要求11至12中任一项所述的基于分数调制的人脸识别方法。14.一种控制装置,包括处理器和存储器,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码...

【专利技术属性】
技术研发人员:周亚飞蹇易
申请(专利权)人:北京云从科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1