【技术实现步骤摘要】
本专利技术涉及计算机视觉、图像处理以及面部识别等，具体涉及一种基于rppg信号及三维法向量辅助的人脸情绪感知识别方法。
技术介绍
1、表情识别是一种通过计算机视觉和机器学习技术来识别和理解人类表情的任务。它旨在从人脸图像或视频中自动识别和分类人脸表情，例如喜悦、悲伤、愤怒、惊讶等。表情识别在许多领域具有重要的应用，包括人机交互、情感计算、心理研究、社交媒体分析等。
2、目前现有的视频表情识别的方法层出不穷，当下常用的框架有vgg-face、resnet、tsn（temporal segment networks）、3d-cnn（convolutional 3d）、densenet等，这些框架提供了强大的特征提取和表征能力，为视频表情识别任务提供了有力的支持，本专利技术在这些现有的基础框架下采用了多模态的人脸表情识别的方法来达到提高识别视频中人脸表情的准确率。
3、尽管现有的人脸表情识别在许多方面都取得了显著的进展，但单一的人脸表情识别框架很难达到多方位的人脸表情识别，人类的表情具有丰富的多样性，表情的外观和动态特...
【技术保护点】
1.基于rPPG信号及三维法向量辅助的人脸情绪感知识别方法，其特征在于：包括：
2.根据权利要求1所述的基于rPPG信号及三维法向量辅助的人脸情绪感知识别方法，其特征在于，所述利用Mediapipe模块对人脸视频帧进行人脸三维法向量的提取，具体包括：
3.根据权利要求1所述的基于rPPG信号及三维法向量辅助的人脸情绪感知识别方法，其特征在于：所述将三维人脸法向量信息进行二维映射，具体包括：
4.根据权利要求1所述的基于rPPG信号及三维法向量辅助的人脸情绪感知识别方法，其特征在于：所述rPPG特征提取子网络包括依次连接的输入层inp...
【技术特征摘要】
1.基于rppg信号及三维法向量辅助的人脸情绪感知识别方法，其特征在于：包括：
2.根据权利要求1所述的基于rppg信号及三维法向量辅助的人脸情绪感知识别方法，其特征在于，所述利用mediapipe模块对人脸视频帧进行人脸三维法向量的提取，具体包括：
3.根据权利要求1所述的基于rppg信号及三维法向量辅助的人脸情绪感知识别方法，其特征在于：所述将三维人脸法向量信息进行二维映射，具体包括：
4.根据权利要求1所述的基于rppg信号及三维法向量辅助的人脸情绪感知识别方法，其特征在于：所述rppg特征提取子网络包括依次连接的输入层input、第一卷积层c1、第一归一化层bn1、第一池化层s1、第二卷积层c2、第二归一化层bn2和第二池化层s2；所述第一卷积层c1和第二卷积层c2均用于使用3×1的卷积滤波器对输入信号进行特征提取，产生特征图；所述第一池化...
【专利技术属性】
技术研发人员：涂晓光，刘宇昂，赵梦洁，牛知艺，张艳艳，刘建华，杨明，殷举航，朱新宇，王宇，
申请(专利权)人：中国民用航空飞行学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。