基于生理与非生理多模态数据融合的情感感知智能眼镜制造技术

本发明专利技术提供了一种基于生理与非生理多模态数据融合的情感感知智能眼镜，包括镜架、摄像模块、音频采集模块、供电模块、数据处理装置、脑电检测装置；脑电检测装置包括插口和若干与插口相连的电极；镜架上设有用于插接插口的脑电采集接口；数据处理装置执行多模态数据情感感知方法，包括如下步骤：接收佩戴者多模态信号；多模态信号包括脑电信号、音频数据、脸部图片和脸部视频；分别进行情感特征提取；将各个情感特征进行融合，通过分类得到复合情感识别结果。该智能眼镜支持对生理和非生理多模态情感数据进行情感特征提取，融合，具备多模态情感数据相互支持、相互补充的能力，提高情感状态评估准确率，可有效、便捷地评估用户的日常精神状态。

【技术实现步骤摘要】

本专利技术涉及情感识别，更具体地说，涉及一种基于生理与非生理多模态数据融合的情感感知智能眼镜。

技术介绍

1、情感健康问题使人们在情感方面存在不良体验和困扰，长期处于焦虑、抑郁、恐惧、内疚、愤怒情绪下会导致抑郁症、焦虑症、睡眠障碍等生理和心理上的不适。随着城市化和现代生活方式的普及以及物联网和5g技术的发展，智能情感计算领域是人工智能领域一个快速发展的分支，涉及到自然语言处理、计算机视觉等多个技术方向，可有效识别人们的情感状态，为情感健康问题的诊断提供有价值的数据来源。

2、可穿戴设备逐渐成为一种新型流行的科技产品，其便捷性、实时性和可扩展性等特点广受用户欢迎。若将智能情感计算和可穿戴设备两种技术融合起来，则可在日常生活中进行情感数据获取和处理，有效评估用户的日常精神状态。

3、但现有的情感计算类可穿戴设备，往往只能采集表情等非生理数据进行情感感知，非生理数据受到主观因素干扰较大；若能加入脑电等生理数据，生理数据受主观因素较小，可从身体反应的角度来揭示人类的情感状态，有效提高情感感知的准确度。

4、针对不同场景，包括情感本文档来自技高网...

【技术保护点】

1.一种基于生理与非生理多模态数据融合的情感感知智能眼镜，其特征在于：包括镜架，设置在镜架的摄像模块、音频采集模块、供电模块和数据处理装置，以及可拆装地与镜架连接的脑电检测装置；

2.根据权利要求1所述的基于生理与非生理多模态数据融合的情感感知智能眼镜，其特征在于：还包括：

3.根据权利要求1所述的基于生理与非生理多模态数据融合的情感感知智能眼镜，其特征在于：所述步骤S2，对脑电信号进行情感特征提取，是指：接收脑电检测装置发送的脑电信号和脑电检测装置ID；对脑电检测装置ID进行识别，以获取导联模式信息；通过模型选择器根据导联模式信息选择相应的动态图卷积网络；将脑电...

【技术特征摘要】

1.一种基于生理与非生理多模态数据融合的情感感知智能眼镜，其特征在于：包括镜架，设置在镜架的摄像模块、音频采集模块、供电模块和数据处理装置，以及可拆装地与镜架连接的脑电检测装置；

2.根据权利要求1所述的基于生理与非生理多模态数据融合的情感感知智能眼镜，其特征在于：还包括：

3.根据权利要求1所述的基于生理与非生理多模态数据融合的情感感知智能眼镜，其特征在于：所述步骤s2，对脑电信号进行情感特征提取，是指：接收脑电检测装置发送的脑电信号和脑电检测装置id；对脑电检测装置id进行识别，以获取导联模式信息；通过模型选择器根据导联模式信息选择相应的动态图卷积网络；将脑电信号输入到对应的动态图卷积网络提取情感特征。

4.根据权利要求1所述的基于生理与非生理多模态数据融合的情感感知智能眼镜，其特征在于：所述步骤s2，对音频数据进行情感特征提取，是指：对音频数据进行滤波、平滑、分帧操作；提取梅尔倒谱系数特征；利用梅尔倒谱系数特征并载入为特征向量形式，输入到基于注意力机制的bilstm神经网络中进行情感特征提取。

5.根据权利要求1所述的基于生理与非生理多模态数据融合的情感感知智能眼镜，其特征在于：所述摄像模块为四个，分别用于分别采集佩戴者四个视角的图片和视频；所述四个视角是指：左眼、右眼、左下脸部、右下脸部；

6.根据权利要求5所述的基于生理与非生理多模态数据融合的情感感知智能眼镜，其特征在于：所述局部融合情感识别网络为四个，分别...

【专利技术属性】
技术研发人员：张通，吴梦琪，王锦炫，陈俊龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：