一种姿态鲁棒的人脸识别方法和装置以及设备制造方法及图纸

本发明专利技术公开了一种姿态鲁棒的人脸识别方法和装置以及设备

【技术实现步骤摘要】
一种姿态鲁棒的人脸识别方法和装置以及设备


[0001]本专利技术涉及人脸识别
，尤其涉及一种姿态鲁棒的人脸识别方法和装置以及设备
。

技术介绍

[0002]进入深度学习时代以来，度量学习特别是人脸识别取得了巨大的进步
。
这一进步来自于多个方面
。
其一，深度学习摆脱了过去传统机器学习方法中人工设计特征的局限性，充分利用了深度神经网络强大的学习和表征能力，并且能够利用有监督梯度下降方法，自动学习人脸的特征向量
。
其二，学术界在该领域的研究取得了诸多的进展，业界针对人脸识别提出了许多具有针对性的方案
。
业界提出了基于样本对损失函数有
Contrastive Loss、Triplet Loss
，以及后来针对其二者不足学者们又提出了
Cross
‑
batch Memory Loss、Lifted Structure Loss
等等
。
基于
softmax
函数的方案随着
sphere loss
的提出取得了爆发式的进步，随之一系列改进的方案被提出，例如
CosFace,ArcFace
，
Circle Loss
等卓越的工作，这些学术方案使得人脸识别算法大规模应用成为可能
。
其三，人脸识别领域大规模的数据集被提出如：
VGG Face
，
MS
‑
Celeb
‑
1M、
格林深瞳
360k
以及清华大学发布了全球最大的人脸数据集包含了
260M
的样本
。
大规模的数据集使得训练超级强大的模型成为可能
。
[0003]目前人脸识别一般都采用深度模型来预测人脸的特征向量，然后用特征向量通过
cosine
距离或者二范距离来确定人脸之间的距离，基于距离函数对于人脸识别下游任务的判定
。
对于人脸验证的任务，只需要提取需要对比的人脸的特征，然后判定二者的距离是否小于阈值即可
。
而对于人脸检索任务，则会预先录入不同的人脸的特征在数据库中进行存储，然后在预测的时候将待验证的人脸与数据库在中最近的特征进行比对，再判定阈值是否合格
。
[0004]虽然目前人脸识别算法趋于成熟，但是对于人脸姿态变化较大的场景仍然精度欠佳
。
现阶段的人脸识别应用一般都会限定用户的姿态为正脸，并且提示用户将人脸置于提示位置中
。
这在一些需要人脸姿态的变化较大，例如相册中人脸进行识别和比对的场景中具有加大的局限性
。
本专利着眼于解决目前人脸识别在这个场景下的不足，并对人脸识别大姿态场景下的识别精度进行优化
。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提出一种姿态鲁棒的人脸识别方法和装置以及设备，能够解决人脸识别对于大姿态下精度低，以及同一个人脸不同姿态下识别率低的问题
。
[0006]根据本专利技术的一个方面，提供一种姿态鲁棒的人脸识别方法，包括：获取不同视频序列，并从每个视频序列中提取不同角度的人脸姿态数据；
[0007]对不同角度的人脸姿态数据进行分组，并基于分组建立三分组训练集；
[0008]构建多表征子空间向量人脸识别网络，并利用三分组训练集对其进行训练得到多表征子空间向量人脸识别模型；
[0009]利用多表征子空间向量人脸识别模型对不同角度的人脸进行识别
。
[0010]在上述技术方案中，为了提升算法对于人脸姿态的鲁棒性，本案首先从训练上进行改进
。
从多方面采集正侧脸的对应数据
。
从视频序列中获得同一个人脸
ID
不同的姿态数据
。
其次，针对本案姿态数据的特殊性，为了强化不同姿态的特征学习，提出
pose aware triplet loss(
三元组损失
)
的训练集构建方法
。
再次，常规的人脸特征的学习都将人脸特征表征为单独的向量，并在进行人脸对比的时候采用简单的
cosine
相似性
。
该方法很难对同一个人脸不同姿态进行表征，并且一个简单的
cosine
相似性很难刻画夸姿态的相似性
。
本案中将特征隐式地分为
n
个子空间，通过多个表征子空间向量，网络更容易对人脸的不同的姿态进行表征
。
最后再利用上述方案构建的模型来对不同角度的人脸进行识别
。
与常规的单特征向量方案不同，本案提出一种多姿态结合的特征表征方案，极大提升不同姿态下特征的适用性在不牺牲性能的前提下在计算特征相似性的时候应用
soft
‑
maxout
的方式，提升正侧脸识别的召回率
。
本案首先通过创新的人脸姿态数据的获取方法极大扩充了人脸识别训练数据集的样本丰富度，极大地
、
有针对性地提高了模型对于大姿态的鲁棒性
。
其次，突破性地提出多子空间的人脸特征向量的表示和学习方法，极大地提升了特征空间的表征能力
。
最后与多子空间的表征方法相匹配的，提出了
soft
‑
maxout
的相似度计算方法能够极大地提升了不同姿态人脸的匹配能力
。
[0011]在一些实施例中，不同角度的人脸姿态数据，包括：
[0012]以正脸数据作为参考角度，获取同一视频序列下，人脸从左侧转动至右侧的过程当中不同角度的侧脸数据
。
[0013]在上述技术方案中，本案从多方面采集正侧脸的对应数据
。
从视频序列中获得同一个人脸
ID
不同的姿态数据
。
视频数据由于其天然的时间连续性，在同一个序列中具备
ID
恒定先验
。
利用这一点可以获得同个人脸在不同的姿态下的画面
。
在同一个序列中，保证了人脸的
ID
不变，并且由于人脸的朝向时刻在运动，可以采集到同个人脸
ID
的不同样本
。
这样可以极大地丰富侧脸和正脸的对应数据
。
人脸姿态数据的获取方法极大扩充了人脸识别训练数据集的样本丰富度，极大地
、
有针对性地提高了模型对于大姿态的鲁棒性
。
[0014]在一些实施例中，所述人脸姿态数据包括：同一序列中的人脸数据，以及，从视频序列中随机提取的静态正脸数据
。
[0015]在上述技术方案中，可以最大程度地丰富正脸部位的数据量，提高后续模型训练的样本量，提高模型精度
。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种姿态鲁棒的人脸识别方法，其特征在于，包括：获取不同视频序列，并从每个视频序列中提取不同角度的人脸姿态数据；对不同角度的人脸姿态数据进行分组，并基于分组建立三分组训练集；构建多表征子空间向量人脸识别网络，并利用三分组训练集对其进行训练得到多表征子空间向量人脸识别模型；利用多表征子空间向量人脸识别模型对不同角度的人脸进行识别
。2.
如权利要求1所述的一种姿态鲁棒的人脸识别方法，其特征在于，不同角度的人脸姿态数据，包括：以正脸数据作为参考角度，获取同一视频序列下，人脸从左侧转动至右侧的过程当中不同角度的侧脸数据
。3.
如权利要求2所述的一种姿态鲁棒的人脸识别方法，其特征在于，所述人脸姿态数据包括：同一序列中的人脸数据，以及，从视频序列中随机提取的静态正脸数据
。4.
如权利要求2所述的一种姿态鲁棒的人脸识别方法，其特征在于，所述人脸姿态数据包括：基于静态正脸数据进行侧脸化的侧脸数据；具体的：将静态正脸数据中的正脸纹理与
3Dmesh
进行绑定；通过调整
3Dmesh
的姿态角度进行重新渲染获得不同角度的侧脸数据
。5.
如权利要求1所述的一种姿态鲁棒的人脸识别方法，其特征在于，对不同角度的人脸姿态数据进行分组，并基于分组建立三分组训练集，具体的：按照人脸角度划分为若干角度范围的组别；在若干组别内随机选取一组别作为
Anchor
组；选取与该
Anchor
组角度差异较大的若干组作为
Positive
组，或，选取与该
Anchor
组角度差异较大的若干组和角度差异较小的若干组中的部分样本提取出来作为
Positive
组；将其他人脸任意组别作为
Negative
组
。6.
如权利要求1所述的一种姿态鲁棒的人脸识别方法，其特征在于，构建多表征子空间向量人脸识别网络，具体的：选择任一人脸识别网络，并设定该人脸识别网络最后一个嵌入层输出
n
个表征向量
。7.
如权利要求1所述的一种姿态鲁棒的人脸识别方法，其特征在于，利用...

【专利技术属性】
技术研发人员：柯凌捷，施荣晓，林冠宇，
申请(专利权)人：厦门真景科技有限公司，
类型：发明
国别省市：