一种基于多类表征时空交互的人脸时空表征生成方法技术

本发明专利技术公开了一种基于多类表征时空交互的人脸时空表征生成方法，本发明专利技术通过同时学习人脸局部表征与人脸不同区域间的人脸关系表征，并为两种表征的时空动态交互建模，实现不同时刻同类表征之内和不同类表征之间的时空交互，最终得到更可靠的人脸时空表征。解决了目前人脸时空表征学习采用卷积神经网络提取人脸局部表征的方法，忽略了人脸不同区域之间的高层关系信息，导致生成的人脸时空表征的有效性较低的问题。效性较低的问题。效性较低的问题。

【技术实现步骤摘要】
一种基于多类表征时空交互的人脸时空表征生成方法


[0001]本专利技术涉及人脸时空表征学习领域，尤其涉及的是一种基于多类表征时空交互的人脸时空表征生成方法。

技术介绍

[0002]目前人脸时空表征学习普遍采用的是通过卷积神经网络提取人脸局部表征的方法，忽略了为人脸不同区域之间的高层关系信息建模，因此在一定程度上限制了所学习到的人脸时空表征的有效性。也有一少部分方法直接使用transformer为人脸图像建模，但是会丢失人脸的结构性信息，同时也没有充分学习到人脸的局部表征。
[0003]此外，目前的人脸表征学习主要从视频中的单帧图像入手，而忽视了面部视频的时序动态信息，而从图像序列中得到人脸的时空耦合表征更有利于活体身份识别和验证以及状态评估等任务。为了融合不同的表征描述序列，目前大多采用先融合每个时刻的两种表征，再为时序动态建模的早期融合模式的方法；或者先为每种表征的时序动态模式，再进行后期决策融合的方法。这些方法忽视了两种表征之间的动态交互关系，无法实现不同时刻相同表征之内以及不同表征之间的同时交互。
[0004]因此，现有技术还有待改进和发展。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于多类表征时空交互的人脸时空表征生成方法，旨在解决目前人脸时空表征学习采用卷积神经网络提取人脸局部表征的方法，忽略了人脸不同区域之间的高层关系信息，导致生成的人脸时空表征的有效性较低的问题。
[0006]本专利技术解决问题所采用的技术方案如下：第一方面，本专利技术实施例提供一种基于多类表征时空交互的人脸时空表征生成方法，其中，所述方法包括：获取待处理的视频数据，根据所述视频数据确定人脸图像序列，其中，所述人脸图像序列包括若干时刻分别对应的人脸图像；获取各所述人脸图像分别对应的人脸局部表征和人脸关系表征，其中，所述人脸局部表征为基于所述人脸图像的局部信息提取的表征，所述人脸关系表征为基于所述人脸图像不同区域之间的关联关系提取的表征；对各所述人脸局部表征和各所述人脸关系表征进行时空交互，得到所述视频数据对应的人脸时空表征，其中，所述时空交互为不同时刻同类表征之内和不同类表征之间在时间和空间上的交互。
[0007]在一种实施方式中，每一所述人脸图像对应的所述人脸局部表征的获取方法包括：将该人脸图像输入预训练卷积神经网络；
获取所述预训练卷积神经网络基于该人脸图像输出的所述人脸局部表征。
[0008]在一种实施方式中，每一所述人脸图像对应的所述人脸关系表征的获取方法包括：将该人脸图像输入空间图注意力网络，其中，所述空间图注意力网络的图注意力机制基于人脸区域关系图运行，所述人脸区域关系图用于反映每一所述人脸图像中各区域之间的关联关系；获取所述空间图注意力网络基于该人脸图像输出的所述人脸关系表征。
[0009]在一种实施方式中，所述人脸区域关系图的生成方法包括：将一张所述人脸图像平均划分为若干子区域；根据各所述子区域，确定所述人脸区域关系图，其中，所述人脸区域关系图包括若干节点和边，所述人脸区域关系图中的各节点与各所述子区域一一对应，所述人脸区域关系图中的边用于反映节点之间的关联关系。
[0010]在一种实施方式中，若所述人脸区域关系图中的两个节点为相邻关系和/或左右对称关系，则两个节点之间存在边。
[0011]在一种实施方式中，所述空间图注意力网络针对每一所述人脸图像的计算过程包括：通过所述空间图注意力网络的图注意力机制获取该人脸图像中各所述子区域两两之间的关系系数，对各所述关系系数进行归一化处理；根据归一化处理后的各所述关系系数聚合邻居信息，得到各所述子区域分别对应的关系表征；根据各所述关系表征进行平均处理，得到该人脸图像对应的所述人脸关系表征。
[0012]在一种实施方式中，所述对各所述人脸局部表征和各所述人脸关系表征进行时空交互，得到所述视频数据对应的人脸时空表征，包括：将各所述人脸局部表征和各所述人脸关系表征输入双流时空图注意力网络，其中，所述双流时空图注意力网络的图注意力机制基于双流人脸表征时空图运行，所述双流人脸表征时空图用于反映各所述人脸局部表征和各所述人脸关系表征之间的交互关系；获取所述双流时空图注意力网络基于各所述人脸局部表征和各所述人脸关系表征输出的所述人脸时空表征。
[0013]在一种实施方式中，所述双流人脸表征时空图包括若干局部节点、关系节点以及边，各所述局部节点与各所述人脸局部表征一一对应，各所述关系节点与各所述人脸关系表征一一对应，所述双流人脸表征时空图中的边用于反映同类节点之内和两类节点之间的交互关系。
[0014]在一种实施方式中，若所述双流人脸表征时空图中的两个节点分别对应的时刻的时间间隔小于预设阈值，则两个节点之间存在边。
[0015]在一种实施方式中，所述双流时空图注意力网络的计算过程为：通过所述双流时空图注意力网络的图注意力机制基于各所述人脸局部表征和各所述人脸关系表征生成高维嵌入表征，其中，所述高维嵌入表征包括各时刻分别对应的嵌入表征，每一时刻的所述嵌入表征基于该时刻的所述人脸局部表征和所述人脸关系表征拼接得到；
根据所述高维嵌入表征进行平均处理，得到所述人脸时空表征。
[0016]在一种实施方式中，所述方法还包括：获取预设的数据库，其中，所述数据库包括若干候选人脸时空表征，各所述候选人脸时空表征分别对应不同的身份信息；获取所述人脸时空表征分别与所述数据库中各所述候选人脸时空表征之间的余弦相似度；根据所述余弦相似度，确定所述视频数据对应的身份识别结果。
[0017]第二方面，本专利技术实施例还提供一种基于多类表征时空交互的人脸时空表征生成装置，其中，所述装置包括：数据获取模块，用于获取待处理的视频数据，根据所述视频数据确定人脸图像序列，其中，所述人脸图像序列包括若干时刻分别对应的人脸图像；表征提取模块，用于获取各所述人脸图像分别对应的人脸局部表征和人脸关系表征，其中，所述人脸局部表征为基于所述人脸图像的局部信息提取的表征，所述人脸关系表征为基于所述人脸图像不同区域之间的关联关系提取的表征；表征交互模块，用于对各所述人脸局部表征和各所述人脸关系表征进行时空交互，得到所述视频数据对应的人脸时空表征，其中，所述时空交互为不同时刻同类表征之内和不同类表征之间在时间和空间上的交互。
[0018]第三方面，本专利技术实施例还提供一种终端，其中，所述终端包括有存储器和一个以上处理器；所述存储器存储有一个以上的程序；所述程序包含用于执行如上述任一所述的基于多类表征时空交互的人脸时空表征生成方法的指令；所述处理器用于执行所述程序。
[0019]第四方面，本专利技术实施例还提供一种计算机可读存储介质，其上存储有多条指令，其中，所述指令适用于由处理器加载并执行，以实现上述任一所述的基于多类表征时空交互的人脸时空表征生成方法的步骤。
[0020]本专利技术的有益效果：本专利技术实施例通过同时学习人脸局部表征与人脸不同区域间的人脸关系表征，并为两种表征的时空动态交互建模，实现不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多类表征时空交互的人脸时空表征生成方法，其特征在于，所述方法包括：获取待处理的视频数据，根据所述视频数据确定人脸图像序列，其中，所述人脸图像序列包括若干时刻分别对应的人脸图像；获取各所述人脸图像分别对应的人脸局部表征和人脸关系表征，其中，所述人脸局部表征为基于所述人脸图像的局部信息提取的表征，所述人脸关系表征为基于所述人脸图像不同区域之间的关联关系提取的表征；对各所述人脸局部表征和各所述人脸关系表征进行时空交互，得到所述视频数据对应的人脸时空表征，其中，所述时空交互为不同时刻同类表征之内和不同类表征之间在时间和空间上的交互。2.根据权利要求1所述的基于多类表征时空交互的人脸时空表征生成方法，其特征在于，每一所述人脸图像对应的所述人脸局部表征的获取方法包括：将该人脸图像输入预训练卷积神经网络；获取所述预训练卷积神经网络基于该人脸图像输出的所述人脸局部表征。3.根据权利要求1所述的基于多类表征时空交互的人脸时空表征生成方法，其特征在于，每一所述人脸图像对应的所述人脸关系表征的获取方法包括：将该人脸图像输入空间图注意力网络，其中，所述空间图注意力网络的图注意力机制基于人脸区域关系图运行，所述人脸区域关系图用于反映每一所述人脸图像中各区域之间的关联关系；获取所述空间图注意力网络基于该人脸图像输出的所述人脸关系表征。4.根据权利要求3所述的基于多类表征时空交互的人脸时空表征生成方法，其特征在于，所述人脸区域关系图的生成方法包括：将一张所述人脸图像平均划分为若干子区域；根据各所述子区域，确定所述人脸区域关系图，其中，所述人脸区域关系图包括若干节点和边，所述人脸区域关系图中的各节点与各所述子区域一一对应，所述人脸区域关系图中的边用于反映节点之间的关联关系。5.根据权利要求4所述的基于多类表征时空交互的人脸时空表征生成方法，其特征在于，若所述人脸区域关系图中的两个节点为相邻关系和/或左右对称关系，则两个节点之间存在边。6.根据权利要求4所述的基于多类表征时空交互的人脸时空表征生成方法，其特征在于，所述空间图注意力网络针对每一所述人脸图像的计算过程包括：通过所述空间图注意力网络的图注意力机制获取该人脸图像中各所述子区域两两之间的关系系数，对各所述关系系数进行归一化处理；根据归一化处理后的各所述关系系数聚合邻居信息，得到各所述子区域分别对应的关系表征；根据各所述关系表征进行平均处理，得到该人脸图像对应的所述人脸关系表征。7.根据权利要求1所述的基于多类表征时空交互的人脸时空表征生成方法，其特征在于，所述对各所述人脸局部表征和各所述人脸关系表征进行时空交互，得到所述视频数据对应的人脸时空表征，包括：将各所述人脸局部表征和各所述人脸关系表征输入双流时空图注意力网络，其中，所
述双流时空图注意力网络的图注意力机制基于双流人脸表征时空图运行，所述双流人脸表征时空图用于反映各所述人脸局部表征和各所...

【专利技术属性】
技术研发人员：蒋冬梅，李岩，王耀威，蓝湘源，吕科，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：