基于掩码属性建模的Transformer人脸属性识别方法及系统技术方案

技术编号:43385015 阅读:59 留言:0更新日期:2024-11-19 18:00
本发明专利技术涉及一种基于掩码属性建模的Transformer人脸属性识别方法及系统,该方法包括以下步骤:1)获取人脸属性识别数据集和人脸属性标签组合;2)构建基于掩码属性建模的人脸属性识别网络模型,其包含动态关系感知编码模块、Transformer编码器、语言编码器、语言解码器多个组件,协同执行FAR任务和MFAM任务;语言编码器获取来自语言模态的人脸属性关系编码;动态关系感知编码模块将语言和视觉模态的信息融合,得到多模态融合特征;Transformer编码器挖掘多模态融合特征之间的长距离依赖,得到注意力感知多模态特征;语言解码器进行MFAM任务;3)将训练好的人脸属性识别网络模型用于人脸属性识别任务。该方法及系统有利于获得更加稳定、鲁棒、准确的人脸属性识别结果。

【技术实现步骤摘要】

本专利技术属于计算机视觉,具体涉及一种基于掩码属性建模的transformer人脸属性识别方法及系统。


技术介绍

1、人脸属性识别旨在预测给定人脸图像中的各种属性,其应用范围十分广阔,包括人脸验证、人脸识别、图像生成和图像检索。但由于视觉图像易受光照变化、对比度低、噪声、可视性差等因素的影响,人脸属性识别一直是一项具有挑战性的任务。现有的人脸属性识别方法一般采用卷积神经网络(cnn)学习人脸图像的深度特征,并通过让模型学习与人脸属性相关的特征或者加入人脸属性之间的关系来提高人脸属性识别的精度。

2、目前主流的人脸属性识别方法可分为两类:基于辅助任务的人脸属性识别方法和基于多任务的人脸属性识别方法。对于基于辅助任务的人脸属性识别方法而言,旨在通过多个与人脸相关的辅助任务,来帮助主干网络学习到有效的人脸属性特征,进而更好地进行人脸属性识别。ni zhuang等人(ni zhuang,yanyan,si chen,andhanziwang.2018.multi-task learning ofcascaded cnn for facial attri本文档来自技高网...

【技术保护点】

1.一种基于掩码属性建模的Transformer人脸属性识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于掩码属性建模的Transformer人脸属性识别方法,其特征在于,步骤1)中,从包括CelebA和LFWA的公开数据集获取人脸属性识别数据集,所述人脸属性标签组合包括40种人脸属性标签。

3.根据权利要求1所述的基于掩码属性建模的Transformer人脸属性识别方法,其特征在于,步骤2)中,所述人脸属性识别网络模型的实现方法为:

4.根据权利要求3所述的基于掩码属性建模的Transformer人脸属性识别方法,其特征在于,步骤A)...

【技术特征摘要】

1.一种基于掩码属性建模的transformer人脸属性识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于掩码属性建模的transformer人脸属性识别方法,其特征在于,步骤1)中,从包括celeba和lfwa的公开数据集获取人脸属性识别数据集,所述人脸属性标签组合包括40种人脸属性标签。

3.根据权利要求1所述的基于掩码属性建模的transformer人脸属性识别方法,其特征在于,步骤2)中,所述人脸属性识别网络模型的实现方法为:

4.根据权利要求3所述的基于掩码属性建模的transformer人脸属性识别方法,其特征在于,步骤a)中,所述语言编码器为经过维基百科语料库字典预训练的bert模型,所述语言编码器对人脸属性标签组合中的人脸属性标签进行编码,得到人脸属性关系编码。

5.根据权利要求3所述的基于掩码属性建模的transformer人脸属性识别方法,其特征在于,步骤b)中,先将大小为224*224的原始图像分割为大小适配transformer编码器输入的图像块,再将图像块经过线性层并加上分类头和位置编码后得到人脸图像特征。

6.根据权利要求3所述的基于掩码属性建模的transformer人脸属性识别方法,其特征在于,步骤c)中,所述动态关系感知编码模块的具体实现方法为:

7.根据权利要求3所述的基于掩码属性建模的transformer人脸属性识别方法,其特征在于,步骤d)中,将人脸属性掩码建模作为辅助任务;人脸属性掩码建模的具体...

【专利技术属性】
技术研发人员:陈思雷鸣轩王大寒朱顺痣苏燕飞吴嘉骅
申请(专利权)人:厦门理工学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1