【技术实现步骤摘要】
本专利技术涉及图像处理，具体地说是受遮挡面部的重建式表情识别方法及系统。
技术介绍
1、面部表情识别技术在计算机视觉领域中得到了广泛应用，它可以用于识别人们的情绪状态，为人机交互提供更好的用户体验。面部表情识别在许多领域具有重要的应用，包括情感分析、人机交互、虚拟现实等。然而，面部表情识别技术在实际应用中面临着一些挑战，其中之一就是受到遮挡的面部的识别问题。在现实场景中，人们的面部可能被口罩、头发、墨镜等遮挡物遮挡，这会导致面部表情的信息不完整或无法获取。这种遮挡问题不仅会影响人们对情绪状态的判断，还会对诸如安防监控、医学诊断等领域的应用造成影响。尤其在当前世界范围内的公共卫生事件中，人们佩戴口罩的情况更加普遍，使得传统的面部表情识别方法在实际应用中面临更严峻的挑战。传统的面部表情识别方法通常依赖于面部特征的分析，如眼睛、嘴巴等区域的形状和运动。然而，当面部受到遮挡时，这些关键特征可能无法被准确地提取，从而导致识别的准确性下降。
2、如何对受遮挡的面部进行表情识别、提高识别的准确性和鲁棒性，是需要解决的技术问题。
技术实现思路
1、本专利技术的技术任务是针对以上不足，提供受遮挡面部的重建式表情识别方法及系统，来解决如何对受遮挡的面部进行表情识别、提高识别的准确性和鲁棒性的技术问题。
2、第一方面，本专利技术一种受遮挡面部的重建式表情识别方法，包括如下步骤：
3、遮挡区域识别：对于具有遮挡部分的面部图像，将面部图像分割为多个图像块，每个图像块作为一
4、图像重建：基于非遮挡补丁以及受遮挡补丁的掩码，通过基于vit模型和u-net网络模型构建的图像重建模型进行图像重建，得到重建后的图像；
5、表情识别：对于重建后的图像，通过基于vit模型和cnn网络模型构建的面部表情识别模型进行面部表情识别，得到图像中面部的表情类别。
6、作为优选，所述遮挡区域识别模型包括基于vit模型构建的特征提取器和基于svvd模型构建的补丁分类模型，所述特征提取器用于以补丁为输入、输出补丁的特性向量，所述补丁分类模型用于以补丁的特性向量为输入，分析补丁是否为遮挡区域，预测输出补丁的类别；
7、遮挡区域识别包括如下步骤：对于每个补丁，以补丁为输入，通过特征提取器对补丁进行特征提取，得到补丁的特征向量，并补丁的特征向量为输入，通过训练后补丁分类模型对补丁进行分类识别，得到补丁的类别。
8、作为优选，所述图像重建模型包括基于vit模型构建的特征提取器和基于u-net网络模型构建的图像生成模型，所述特征提取器用于以补丁为输入，对补丁特征提取和编码，得到重建后补丁，图像生成模型用于基于重建后补丁对图像进行重建，生成重建后的图像；
9、图像重建包括如下步骤：
10、对遮挡补丁进行掩码处理，通过白色图像块替换遮挡补丁，得到遮挡补丁的掩码；
11、以非遮挡补丁以及受遮挡补丁的掩码为输入，通过特征分类器对补丁进行特征提取和编码，得到重建后补丁；
12、对于受遮挡重建后补丁，从非遮挡重建后补丁中选取相似度最大的补丁作为相似补丁，并选取与其左右对称的重建后补丁作为对称补丁；
13、以所有重建后补丁、每个受遮挡重建后补丁对应的相似补丁和对称补丁为输入，基于图像生成模型进行图像重建，生成重建后的图像。
14、作为优选，所述面部表情识别模型包括基于vit模型构建的特征提取器和基于cnn网络模型构建的表情识别模型，所述特征提取器用于以面部图像为输入、输出与表情相关的特征向量，所述表情识别模型引入有注意力机制，用于与表情相关的特征向量为输入，对图像中面部表情进行识别，预测输出图像中面部的表情类别；
15、表情识别包括如下步骤：
16、以重建后的图像为输入，通过特征提取器从图像中提取与表情相关的特征，得到特征向量；
17、以特征向量为输入，通过训练后的表情识别模型对图像中面部表情进行识别，预测输出图像中面部表情的类别。
18、第二方面，本专利技术一种受遮挡面部的重建式表情识别系统，用于通过如第一方面任一项所述的一种受遮挡面部的重建式表情识别方法进行表情识别，所述系统包括：
19、遮挡区域识别模块，所述遮挡区域识别模块用于执行如下：对于具有遮挡部分的面部图像，将面部图像分割为多个图像块，每个图像块作为一个补丁，通过基于vit模型和svvd模型构建的遮挡区域识别模型判断补丁是否为受遮挡区域，得到补丁的类别，补丁的类别为受遮挡和非遮挡；
20、图像重建模块，所述图像重建模块用于执行如下：基于非遮挡补丁以及受遮挡补丁的掩码，通过基于vit模型和u-net网络模型构建的图像重建模型进行图像重建，得到重建后的图像；
21、表情识别模块，所述表情识别模块用于执行如下：对于重建后的图像，通过基于vit模型和cnn网络模型构建的面部表情识别模型进行面部表情识别，得到图像中面部的表情类别。
22、作为优选，所述遮挡区域识别模型包括基于vit模型构建的特征提取器和基于svvd模型构建的补丁分类模型，所述特征提取器用于以补丁为输入、输出补丁的特性向量，所述补丁分类模型用于以补丁的特性向量为输入，分析补丁是否为遮挡区域，预测输出补丁的类别；
23、遮挡区域识别模块用于执行如下：对于每个补丁，以补丁为输入，通过特征提取器对补丁进行特征提取，得到补丁的特征向量，并补丁的特征向量为输入，通过训练后补丁分类模型对补丁进行分类识别，得到补丁的类别。
24、作为优选，所述图像重建模型包括基于vit模型构建的特征提取器和基于u-net网络模型构建的图像生成模型，所述特征提取器用于以补丁为输入，对补丁特征提取和编码，得到重建后补丁，图像生成模型用于基于重建后补丁对图像进行重建，生成重建后的图像；
25、所述图像重建模块用于执行如下：
26、对遮挡补丁进行掩码处理，通过白色图像块替换遮挡补丁，得到遮挡补丁的掩码；
27、以非遮挡补丁以及受遮挡补丁的掩码为输入，通过特征分类器对补丁进行特征提取和编码，得到重建后补丁；
28、对于受遮挡重建后补丁，从非遮挡重建后补丁中选取相似度最大的补丁作为相似补丁，并选取与其左右对称的重建后补丁作为对称补丁；
29、以所有重建后补丁、每个受遮挡重建后补丁对应的相似补丁和对称补丁为输入，基于图像生成模型进行图像重建，生成重建后的图像。
30、作为优选，所述面部表情识别模型包括基于vit模型构建的特征提取器和基于cnn网络模型构建的表情识别模型，所述特征提取器用于以面部图像为输入、输出与表情相关的特征向量，所述表情识别模型引入有注意力机制，用于与表情相关的特征向量为输入，对图像中面部表情进行识别，预测输出图像中面部的表情本文档来自技高网...
【技术保护点】
1.一种受遮挡面部的重建式表情识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的受遮挡面部的重建式表情识别方法，其特征在于，所述遮挡区域识别模型包括基于ViT模型构建的特征提取器和基于SVVD模型构建的补丁分类模型，所述特征提取器用于以补丁为输入、输出补丁的特性向量，所述补丁分类模型用于以补丁的特性向量为输入，分析补丁是否为遮挡区域，预测输出补丁的类别；
3.根据权利要求1所述的受遮挡面部的重建式表情识别方法，其特征在于，所述所述图像重建模型包括基于ViT模型构建的特征提取器和基于U-net网络模型构建的图像生成模型，所述特征提取器用于以补丁为输入，对补丁特征提取和编码，得到重建后补丁，图像生成模型用于基于重建后补丁对图像进行重建，生成重建后的图像；；
4.根据权利要求1所述的受遮挡面部的重建式表情识别方法，其特征在于，所述面部表情识别模型包括基于ViT模型构建的特征提取器和基于CNN网络模型构建的表情识别模型，所述特征提取器用于以面部图像为输入、输出与表情相关的特征向量，所述表情识别模型引入有注意力机制，用于与表情相关的特征向量为
5.一种受遮挡面部的重建式表情识别系统，其特征在于，用于通过如权利要求1-4任一项所述的一种受遮挡面部的重建式表情识别方法进行表情识别，所述系统包括：
6.根据权利要求5所述的受遮挡面部的重建式表情识别系统，其特征在于，所述遮挡区域识别模型包括基于ViT模型构建的特征提取器和基于SVVD模型构建的补丁分类模型，所述特征提取器用于以补丁为输入、输出补丁的特性向量，所述补丁分类模型用于以补丁的特性向量为输入，分析补丁是否为遮挡区域，预测输出补丁的类别；
7.根据权利要求5所述的受遮挡面部的重建式表情识别系统，其特征在于，所述图像重建模型包括基于ViT模型构建的特征提取器和基于U-net网络模型构建的图像生成模型，所述特征提取器用于以补丁为输入，对补丁特征提取和编码，得到重建后补丁，图像生成模型用于基于重建后补丁对图像进行重建，生成重建后的图像；
8.根据权利要求5所述的受遮挡面部的重建式表情识别系统，其特征在于，所述面部表情识别模型包括基于ViT模型构建的特征提取器和基于CNN网络模型构建的表情识别模型，所述特征提取器用于以面部图像为输入、输出与表情相关的特征向量，所述表情识别模型引入有注意力机制，用于与表情相关的特征向量为输入，对图像中面部表情进行识别，预测输出图像中面部的表情类别；
...【技术特征摘要】
1.一种受遮挡面部的重建式表情识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的受遮挡面部的重建式表情识别方法，其特征在于，所述遮挡区域识别模型包括基于vit模型构建的特征提取器和基于svvd模型构建的补丁分类模型，所述特征提取器用于以补丁为输入、输出补丁的特性向量，所述补丁分类模型用于以补丁的特性向量为输入，分析补丁是否为遮挡区域，预测输出补丁的类别；
3.根据权利要求1所述的受遮挡面部的重建式表情识别方法，其特征在于，所述所述图像重建模型包括基于vit模型构建的特征提取器和基于u-net网络模型构建的图像生成模型，所述特征提取器用于以补丁为输入，对补丁特征提取和编码，得到重建后补丁，图像生成模型用于基于重建后补丁对图像进行重建，生成重建后的图像；；
4.根据权利要求1所述的受遮挡面部的重建式表情识别方法，其特征在于，所述面部表情识别模型包括基于vit模型构建的特征提取器和基于cnn网络模型构建的表情识别模型，所述特征提取器用于以面部图像为输入、输出与表情相关的特征向量，所述表情识别模型引入有注意力机制，用于与表情相关的特征向量为输入，对图像中面部表情进行识别，预测输出图像中面部的表情类别；
5.一种受遮挡面部的重建式表情识...
【专利技术属性】
技术研发人员：张磊，陈其宾，姜凯，马源，李锐，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。