本申请公开了一种人脸识别方法、装置及电子设备，涉及通信技术领域，以解决现有人脸识别效果较差的问题。该方法包括：分别对第一图像数据和第二图像数据进行特征提取，得到第一模态特征和第二模态特征；对第一模态特征和第二模态特征进行融合处理，得到第一融合特征；分别对第一模态特征和第二模态特征进行整合处理，得到第一模态整合特征和第二模态整合特征；对第一模态整合特征、第二模态整合特征和第一融合特征进行融合处理，得到第二融合特征；根据第二融合特征，确定人脸识别结果。本申请实施例通过对人脸不同模态的图像数据在特征层进行两阶段融合，能够实现对多模态图像数据更深层次的融合，进而提高人脸识别效果。进而提高人脸识别效果。进而提高人脸识别效果。
【技术实现步骤摘要】
一种人脸识别方法、装置及电子设备
[0001]本申请涉及图像处理
，尤其涉及一种人脸识别方法、装置及电子设备。
技术介绍
[0002]现有三维人脸识别方法分为基于高质量三维扫描数据的人脸识别方法和基于低质量深度图像数据的人脸识别方法，其中后者通常使用深度学习和模态融合的方式实现，且融合方式为使用多模态图像数据作为网络的输入，在输入层进行融合，具体为将多模态图像数据在通道维度上拼接在一起。但由于网络较低层次的特征往往包含比较多的噪声，导致有可能会在后续的单分支网络中将两种模态的噪声也进行了融合，放大了各自模态噪声的干扰。
[0003]为此，现有技术中还提出了在特征层进行融合的方式，具体为将在输入层提取的多模态特征通过一个全连接层进行模态间特征的融合。该方式虽然有可能会丢失部分输入的信息，但过滤了各自模态的噪声，然而，这种简单的一阶段的融合方式不能充分的利用和挖掘模态间互补的信息，进而影响人脸识别效果。
技术实现思路
[0004]本申请实施例提供一种人脸识别方法、装置及电子设备，以解决现有人脸识别方法不能充分的利用和挖掘模态间互补的信息，进而影响人脸识别效果的问题。
[0005]第一方面，本申请实施例提供了一种人脸识别方法，包括：
[0006]分别对第一图像数据和第二图像数据进行特征提取，得到第一模态特征和第二模态特征，其中，所述第一图像数据和所述第二图像数据分别为人脸不同模态的图像数据；
[0007]对所述第一模态特征和所述第二模态特征进行融合处理，得到第一融合特征；
[0008]分别对所述第一模态特征不同尺度的特征和所述第二模态特征不同尺度的特征进行整合处理，得到第一模态整合特征和第二模态整合特征；
[0009]对所述第一模态整合特征、所述第二模态整合特征和所述第一融合特征进行融合处理，得到第二融合特征；
[0010]根据所述第二融合特征，确定人脸识别结果。
[0011]可选地，所述对所述第一模态特征和所述第二模态特征进行融合处理，得到第一融合特征，包括：
[0012]对所述第一模态特征和所述第二模态特征进行拼接，得到双模态特征；
[0013]采用N个卷积分支分别对所述双模态特征中不同通道的特征进行卷积处理，得到N个卷积结果，其中，所述N个卷积分支中的每个卷积分支的结构相同，N为大于1的正整数；
[0014]对所述N个卷积结果进行整合处理，得到所述第一融合特征。
[0015]可选地，所述N个卷积分支包括第一卷积块和N组第二卷积块，所述第一卷积块和所述第二卷积块的卷积核大小不同；
[0016]所述采用N个卷积分支分别对所述双模态特征中不同通道的特征进行卷积处理，
得到N个卷积结果，包括：
[0017]通过所述第一卷积块对所述双模态特征进行卷积处理，输出第一卷积特征；
[0018]分别通过所述N组第二卷积块对所述第一卷积特征进行分组卷积处理，输出所述N个卷积结果。
[0019]可选地，所述分别对第一图像数据和第二图像数据进行特征提取，得到第一模态特征和第二模态特征，包括：
[0020]利用单模态特征提取网络分别对所述第一图像数据和所述第二图像数据进行特征提取，得到所述第一模态特征和所述第二模态特征；
[0021]其中，所述单模态特征提取网络包括M个卷积块、M个池化层和多尺度特征融合模块，所述M个池化层的参数设置不同，用于将所述M个卷积块输出的特征处理成相同的尺寸，M为大于1的正整数；
[0022]所述M个卷积块中的第一个卷积块用于对输入的图像数据进行卷积处理，所述M个池化层中的第一个池化层用于对所述M个卷积层分别输出的特征进行池化处理，所述M个卷积块中的第i个卷积块用于对所述M个卷积块中的第i
‑
1个卷积块输出的特征经过池化后的特征进行卷积处理，所述M个池化层中的第j个池化层用于对所述M个卷积块中的第j
‑
1个卷积块输出的特征进行池化处理，所述多尺度特征融合模块用于对目标卷积特征和所述M个池化层中的第二个池化层至第M个池化层输出的特征进行融合处理，其中，所述目标卷积特征为所述第一个池化层对所述M个池化层中的第M个卷积块输出的特征进行池化后的特征，i和j均为大于1且小于或等于M的整数。
[0023]可选地，所述分别对所述第一模态特征不同尺度的特征和所述第二模态特征不同尺度的特征进行整合处理之后，所述对所述第一模态整合特征、所述第二模态整合特征和所述第一融合特征进行融合处理之前，所述方法还包括：
[0024]利用空间注意力矢量化(Spatial Attention Vectorization，SAV)模块分别将所述第一模态整合特征、所述第二模态整合特征和所述第一融合特征转换成特征向量，得到第一模态整合特征向量、第二模态整合特征向量和第一融合特征向量，其中，所述SAV模块用于对输入特征中每个通道的特征进行加权处理，并对加权处理后的特征进行展平处理，得到所述输入特征对应的特征向量；
[0025]所述对所述第一模态整合特征、所述第二模态整合特征和所述第一融合特征进行融合处理，得到第二融合特征，包括：
[0026]对所述第一模态整合特征向量、所述第二模态整合特征向量和所述第一融合特征向量进行融合处理，得到第二融合特征向量；
[0027]所述根据所述第二融合特征，确定人脸识别结果，包括：
[0028]根据所述第二融合特征向量，确定人脸识别结果。
[0029]可选地，所述SAV模块包括K组卷积层和展平层，K等于输入特征的通道数；
[0030]所述K组卷积层用于对输入特征中每个通道的特征进行卷积处理，所述展平层用于对所述K组卷积层输出的特征进行展平处理，得到所述输入特征对应的特征向量。
[0031]可选地，所述分别对所述第一模态特征不同尺度的特征和所述第二模态特征不同尺度的特征进行整合处理，得到第一模态整合特征和第二模态整合特征，包括：
[0032]利用单模态特征整合模块分别对所述第一模态特征不同尺度的特征和所述第二
模态特征不同尺度的特征进行整合处理，得到所述第一模态整合特征和所述第二模态整合特征，其中，所述单模态特征整合模块包括第三卷积块。
[0033]第二方面，本申请实施例还提供一种人脸识别装置，包括：
[0034]特征提取模块，用于分别对第一图像数据和第二图像数据进行特征提取，得到第一模态特征和第二模态特征，其中，所述第一图像数据和所述第二图像数据分别为人脸不同模态的图像数据；
[0035]第一特征融合模块，用于对所述第一模态特征和所述第二模态特征进行融合处理，得到第一融合特征；
[0036]整合模块，用于分别对所述第一模态特征不同尺度的特征和所述第二模态特征不同尺度的特征进行整合处理，得到第一模态整合特征和第二模态整合特征；
[0037]第二特征融合模块，用于对所述第一模态整合特征、所述第二模态整合特征和所述第一融合特征本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸识别方法，其特征在于，包括：分别对第一图像数据和第二图像数据进行特征提取，得到第一模态特征和第二模态特征，其中，所述第一图像数据和所述第二图像数据分别为人脸不同模态的图像数据；对所述第一模态特征和所述第二模态特征进行融合处理，得到第一融合特征；分别对所述第一模态特征不同尺度的特征和所述第二模态特征不同尺度的特征进行整合处理，得到第一模态整合特征和第二模态整合特征；对所述第一模态整合特征、所述第二模态整合特征和所述第一融合特征进行融合处理，得到第二融合特征；根据所述第二融合特征，确定人脸识别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述第一模态特征和所述第二模态特征进行融合处理，得到第一融合特征，包括：对所述第一模态特征和所述第二模态特征进行拼接，得到双模态特征；采用N个卷积分支分别对所述双模态特征中不同通道的特征进行卷积处理，得到N个卷积结果，其中，所述N个卷积分支中的每个卷积分支的结构相同，N为大于1的正整数；对所述N个卷积结果进行整合处理，得到所述第一融合特征。3.根据权利要求2所述的方法，其特征在于，所述N个卷积分支包括第一卷积块和N组第二卷积块，所述第一卷积块和所述第二卷积块的卷积核大小不同；所述采用N个卷积分支分别对所述双模态特征中不同通道的特征进行卷积处理，得到N个卷积结果，包括：通过所述第一卷积块对所述双模态特征进行卷积处理，输出第一卷积特征；分别通过所述N组第二卷积块对所述第一卷积特征进行分组卷积处理，输出所述N个卷积结果。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述分别对第一图像数据和第二图像数据进行特征提取，得到第一模态特征和第二模态特征，包括：利用单模态特征提取网络分别对所述第一图像数据和所述第二图像数据进行特征提取，得到所述第一模态特征和所述第二模态特征；其中，所述单模态特征提取网络包括M个卷积块、M个池化层和多尺度特征融合模块，所述M个池化层的参数设置不同，用于将所述M个卷积块输出的特征处理成相同的尺寸，M为大于1的正整数；所述M个卷积块中的第一个卷积块用于对输入的图像数据进行卷积处理，所述M个池化层中的第一个池化层用于对所述M个卷积层分别输出的特征进行池化处理，所述M个卷积块中的第i个卷积块用于对所述M个卷积块中的第i
‑
1个卷积块输出的特征经过池化后的特征进行卷积处理，所述M个池化层中的第j个池化层用于对所述M个卷积块中的第j
‑
1个卷积块输出的特征进行池化处理，所述多尺度特征融合模块用于对目标卷积特征和所述M个池化层中的第二个池化层至第M个池化层输出的特征进行融合处理，其中，所述目标卷积特征为所述第一个池化层对所述M个池化层中的第M个卷积块输出的特征进行池化后的特征，i和j均为大于1且小于或等于M的整数。5.根据权利要求1至3中任一项所述的方法，其特征...
【专利技术属性】
技术研发人员：王珂，陈茜，黄文辉，邓超，冯俊兰，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。