人脸增强识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人脸识别技术领域，公开了一种人脸增强识别方法、装置、设备及存储介质，该方法包括：获取视频中具有时序信息的多张原始人脸图像；依序对各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；根据时序信息，分别确定所述基础人脸图像与各原始人脸图像之间的光流特征；提取基础人脸图像的第一人脸特征，并分别对第一人脸特征与各光流特征进行特征融合，得到特征增强后的第二人脸特征；基于第二人脸特征，进行人脸识别。本发明专利技术还涉及区块链技术，所述原始人脸图像存储于区块链中。本发明专利技术实现了对辨识度低的人脸图像的特征增强与对辨识度低的人脸图像的识别能力。

Face enhancement recognition method, device, device and storage medium

【技术实现步骤摘要】
人脸增强识别方法、装置、设备及存储介质
本专利技术涉及人脸识别
，尤其涉及一种人脸增强识别方法、装置、设备及存储介质。
技术介绍
当今社会，随着人脸识别技术的高速发展，在不同的领域取得了不错的成绩，如门禁、支付、银行会员识别及智能安防等方面，人脸识别技术渐渐地从实验室融入到了我们的生活，为我们的生活带来了很多的便捷，而现在仍作为热门的研究方向与学科，科研人员还在对人脸识别作更深入、更细致的研发与创新。目前，在针对辨识度比较低的人脸图像进行识别时，比如图像模糊、人脸遮挡、戴眼镜、戴帽子口罩和大侧脸，现有的解决问题包括：在图像预处理阶段筛选出最佳人脸，对模糊人脸进行高分辨增强；通过训练损失函数以扩大类间间距与缩小类内间距；通过生成式对抗网络(GAN,GenerativeAdversarialNetworks)生成多姿态人脸训练数据；这些技术最终都提升人脸识别精度和模型泛化能力。然而，现有人脸识别技术集中在对静态人脸图像的处理与识别模型的增强上面进行改进，而在现实应用场景中，摄像机采集到的人脸图像本身辨识度较低，静态人脸图像经过处理或者提升模型的识别能力，都难以对辨识度低的人脸图像进行识别。
技术实现思路
本专利技术的主要目的在于解决现有人脸识别技术对辨识度低的人脸图像识别能力低的技术问题。本专利技术第一方面提供了一种人脸增强识别方法，所述人脸增强识别方法包括：获取视频中具有时序信息的多张原始人脸图像；依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；基于所述第二人脸特征，进行人脸识别。可选的，在本专利技术第一方面的第一种实现方式中，所述依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像包括：提取所述各原始人脸图像对应的特征向量；将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。可选的，在本专利技术第一方面的第二种实现方式中，所述根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征包括：根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。可选的，在本专利技术第一方面的第三种实现方式中，所述根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征包括：根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。可选的，在本专利技术第一方面的第四种实现方式中，所述根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域包括：根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；判断所述光流梯度特征距离是否小于预设特征距离阈值；若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤。可选的，在本专利技术第一方面的第五种实现方式中，所述分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征包括：分别计算所述各光流特征的注意力分布；根据所述注意力分布，分别计算所述各光流特征的加权平均得分；根据所述加权平均得分与预设的加权平均得分阈值，确定加权平均得分小于加权平均得分阈值的光流特征；将所述第一人脸特征与确定的所述加权平均得分小于所述加权平均得分阈值的光流特征进行特征融合，得到特征增强后的第二人脸特征。可选的，在本专利技术第一方面的第六种实现方式中，所述在依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像之后，还包括：根据所述质量评估结果，对所述各原始人脸图像进行排序，得到原始人脸图像排序结果；从所述原始人脸图像排序结果中，筛选出排前列的预设数量原始人脸图像。本专利技术第二方面提供了一种人脸增强识别装置，所述人脸增强识别装置包括：获取模块，用于获取视频中具有时序信息的多张原始人脸图像；质量评估模块，用于依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；特征匹配模块，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；特征融合模块，用于提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；人脸识别模块，用于基于所述第二人脸特征，进行人脸识别。可选的，在本专利技术第二方面的第一种实现方式中，所述质量评估模块包括：第一提取单元，用于提取所述各原始人脸图像对应的特征向量；质量评估单元，用于将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；筛选单元，用于根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。可选的，在本专利技术第二方面的第二种实现方式中，所述特征匹配模块包括：第一计算单元，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；模拟单元，用于根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；匹配单元，用于根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。可选的，在本专利技术第二方面的第三种实现方式中，所述匹配单元包括：第一提取子单元，用于根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；第二提取子单元，用于根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；定位子单本文档来自技高网...

【技术保护点】
1.一种人脸增强识别方法，其特征在于，所述人脸增强识别方法包括：/n获取视频中具有时序信息的多张原始人脸图像；/n依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；/n根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；/n提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；/n基于所述第二人脸特征，进行人脸识别。/n

【技术特征摘要】
1.一种人脸增强识别方法，其特征在于，所述人脸增强识别方法包括：
获取视频中具有时序信息的多张原始人脸图像；
依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
基于所述第二人脸特征，进行人脸识别。


2.根据权利要求1所述的人脸增强识别方法，其特征在于，所述依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像包括：
提取所述各原始人脸图像对应的特征向量；
将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。


3.根据权利要求1所述的人脸增强识别方法，其特征在于，所述根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征包括：
根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。


4.根据权利要求3所述的人脸增强识别方法，其特征在于，所述根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征包括：
根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。


5.根据权利要求4所述的人脸增强识别方法，其特征在于，所述根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域包括：
根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
判断所述光流梯度特征距...

【专利技术属性】
技术研发人员：张展望，毛润欣，周超勇，刘玉宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44