【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种多视角人脸特征与音频特征融合的情绪识别方法、系统、终端及计算机可读存储介质。
技术介绍
1、随着科技的发展，情感识别系统逐渐走入人们的视野，情绪识别系统使用计算机视觉和机器学习技术来分析多个视角的图像，并从中提取有关情感的信息，广泛应用于现实世界的许多场景中，例如服务机器人、医疗诊断、驾驶辅助系统等，在医疗监测领域可以实现对病患人员的异常状态监测，在智能驾驶领域可以实时感知和预测驾驶员的疲劳程度，保证驾驶汽车的安全性和稳定性。
2、目前的情绪识别系统中对于情感识别的方法分为两大类，分别是基于单视角特征的方法和基于多视角特征融合的方法。其中，基于单视角特征的方法仅依赖单一视角对人脸信息的捕获，在面对存在被遮挡的复杂场景时无法全面地理解场景中的情绪复杂性，并且通常依赖复杂的机器学习模型，结果的可解释性较差。而基于多视角特征融合的方法，通过多个摄像头能够同时获取多个角度的人脸信息，弥补单一视角下被遮挡的人脸信息，但摄像头之间的角度、位置等数据的差异使得每个视角下的人脸图像无法进行有效的特征融合...
【技术保护点】
1.一种多视角人脸特征与音频特征融合的情绪识别方法，其特征在于，所述多视角人脸特征与音频特征融合的情绪识别方法包括：
2.根据权利要求1所述的多视角人脸特征与音频特征融合的情绪识别方法，其特征在于，所述获取用于捕获目标对象在不同视角的人脸图像的所有相机之间的位置关系，具体包括：
3.根据权利要求2所述的多视角人脸特征与音频特征融合的情绪识别方法，其特征在于，所述根据所述位置关系对所有所述相机进行校准，具体包括：
4.根据权利要求1所述的多视角人脸特征与音频特征融合的情绪识别方法，其特征在于，所述接收所有所述相机发送的所述目标对象在不...
【技术特征摘要】
1.一种多视角人脸特征与音频特征融合的情绪识别方法，其特征在于，所述多视角人脸特征与音频特征融合的情绪识别方法包括：
2.根据权利要求1所述的多视角人脸特征与音频特征融合的情绪识别方法，其特征在于，所述获取用于捕获目标对象在不同视角的人脸图像的所有相机之间的位置关系，具体包括：
3.根据权利要求2所述的多视角人脸特征与音频特征融合的情绪识别方法，其特征在于，所述根据所述位置关系对所有所述相机进行校准，具体包括：
4.根据权利要求1所述的多视角人脸特征与音频特征融合的情绪识别方法，其特征在于，所述接收所有所述相机发送的所述目标对象在不同视角的人脸图像，并对所有所述人脸图像进行特征提取和融合，得到最终视觉特征，具体包括：
5.根据权利要求1所述的多视角人脸特征与音频特征融合的情绪识别方法，其特征在于，所述接收所述目标对象发出的音频信号，并根据所述音频信号得到音频特征，将所述最终视觉特征和所述音频特征进行融合得到最终融合特征，具体包括：
6.根据权利要求5所述的多视角人脸特征与音频特征融合的情绪识别方法，其特征在于，所述根据...
【专利技术属性】
技术研发人员：任卫红，高宇，刘洪海，姜渭博，许兴隆，罗金国，董潜，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。