【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种基于多模态体表信息融合的抑郁情绪识别方法、系统、终端及计算机可读存储介质。
技术介绍
1、抑郁症是一种以心情抑郁为主要特点的情感障碍，是现代社会中最为常见的精神障碍之一。因此，研究出高效客观的抑郁症早期筛查技术，能够很好的预防抑郁症病情的加剧，也能够很好的防止因抑郁症造成的自残行为。
2、在现有技术中，抑郁症的筛查技术多是基于问卷与访谈，此类检测方式过于复杂且不够客观。同时，抑郁患者存在消极治疗的情况(尤其不愿配合治疗的患者或者儿童)，例如，问卷填写时候隐瞒自己的真实状况。为解决此问题，部分研究尝试进行表情检测、说话检测来实现抑郁检测，即通过视频、语音、文本来识别抑郁情绪。但是，现有基于人脸表情、文本、或者语音的抑郁识别，多采用单一模态，有信息不完全的缺点。部分专利采用基于多种信息的抑郁识别，其只采用了2-3个模态，依旧会丢失部分与抑郁情绪相关的关键信息。同时，已有多模态数据融合模型存在一些不足，简单的进行了信息拼接，或者在决策环节使用简单的投票机制，这使得识别结果不够准确，降低抑郁症识别正确率。
技术实现思路
1、有鉴于此，本申请提供了一种基于多模态体表信息融合的抑郁情绪识别方法、系统、终端及计算机可读存储介质，以解决现有技术中通过人脸表情、文本、或者语音进行抑郁识别带来的模态单一，识别结果不够准确，降低抑郁症识别正确率的问题。
2、本申请提出一种基于多模态体表信息融合的抑郁情绪识别方法，所述基于多模态体表信息融合的抑郁情绪
3、获取与抑郁情绪相关的多模态体表信息的感知数据；
4、将所述感知数据输入到多模态融合模型，对所述感知数据进行多模态信息融合计算，得到融合后的多模态数据；
5、将所述多模态数据输入到识别网络模型，对所述多模态数据进行分类，得到抑郁情绪的识别结果。
6、可选地，所述多模态体表感知数据包括：舌部的静态图片与动态视频数据、步态与眼部的视频数据、脉搏波的时间序列信号数据、语音信息的时间序列信号数据和气味浓度的波形数据中的一个或者多个；
7、所述舌部的静态图片与动态视频数据由舌象仪感知舌部得到；
8、所述步态与眼部的视频数据由摄像头记录步态与眼部的动态变化得到；
9、所述脉搏波的时间序列信号数据由多通道脉诊仪记录腕部的脉搏波得到；
10、所述语音信息的时间序列信号数据由麦克风记录语音信息得到；
11、所述气味浓度的波形数据由电子鼻记录呼出气体的成分得到。
12、可选地，所述多模态融合模型包括多模态数据编码单元、跨模态学习单元、多尺度融合单元和模态转换单元；
13、所述将所述感知数据输入到多模态融合模型，对所述感知数据进行多模态信息融合计算，得到融合后的多模态数据，具体包括：
14、将所述感知数据中每一单模态的体表感知数据输入至所述多模态数据编码单元，得到编码后所述感知数据的体表感知数据集合；
15、将每个模态的所述体表感知数据集合输入至所述跨模态学习单元，得到所有模态的所述多模态体表感知数据的跨模态学习特征集；
16、将所述体表感知数据集合的每个因子输入至所述多尺度融合单元，得到第一融合特征；
17、将所述第一融合特征和所述跨模态学习特征集输入至所述模态转换单元，得到融合后的所述多模态数据。
18、可选地，所述将每个模态的所述体表感知数据集合输入至所述跨模态学习单元，得到所有模态的所述多模态体表感知数据的跨模态学习特征集，具体包括：
19、分别对第一模态和第二模态的所述体表感知数据集合进行卷积算法处理，得到第一特征图集和第二特征图集；
20、对所述第一特征图集和所述第二特征图集进行数值向量归一化处理，分别得到所述第一模态和所述第二模态的权重；
21、根据所述权重、所述第一特征图集和所述第二特征图集，得到所述第一模态的所述多模态体表感知数据的跨模态学习特征集；
22、依次对每个模态的所述体表感知数据集合进行处理，得到所有模态的所述多模态体表感知数据的跨模态学习特征集。
23、可选地，所述将所述体表感知数据集合的每个因子输入至所述多尺度融合单元，得到第一融合特征，具体包括：
24、将所述体表感知数据集合的每个因子进行拼接，得到各模态的拼接特征；
25、将所述拼接特征分别进行一维卷积和三维卷积算法处理，得到第一特征图和第二特征图；
26、将所述第一特征图和所述第二特征图进行非线性和融合处理，得到第一融合特征。
27、可选地，所述将所述第一融合特征和所述跨模态学习特征集输入至所述模态转换单元，得到融合后的所述多模态数据，具体包括：
28、将所述第一融合特征拆分为每个模态的多尺度变换后的特征向量，得到特征向量组；
29、根据所述特征向量组和所述跨模态学习特征集，使用损失函数进行约束，得到融合后的所述多模态数据。
30、可选地，所述将所述多模态数据输入到识别网络模型，对所述多模态数据进行分类，得到抑郁情绪的识别结果，具体包括：
31、将所述多模态数据切分为体表信息多模态向量，将所述体表信息多模态向量输入至一维卷积算法进行嵌入，得到体表信息嵌入多模态向量；
32、将所述体表信息嵌入多模态向量进行模态内多头注意力和全连接模块处理，得到全连接多模态向量；
33、将所述全连接多模态向量输出至抑郁症回归子网络算法进行分类，得到抑郁情绪的识别结果。
34、本申请还提出一种基于多模态体表信息融合的抑郁情绪识别系统，所述基于多模态体表信息融合的抑郁情绪识别系统包括：
35、数据感知模块，用于获取与抑郁情绪相关的多模态体表信息的感知数据；
36、多模态融合模块，用于将所述感知数据输入到多模态融合模型，对所述感知数据进行多模态信息融合计算，得到融合后的多模态数据；
37、情绪识别模块，用于将所述多模态数据输入到识别网络模型，对所述多模态数据进行分类，得到抑郁情绪的识别结果。
38、本申请还提出一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多模态体表信息融合的抑郁情绪识别程序，所述基于多模态体表信息融合的抑郁情绪识别程序被所述处理器执行时实现如所述的基于多模态体表信息融合的抑郁情绪识别方法的步骤。
39、本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有基于多模态体表信息融合的抑郁情绪识别程序，所述基于多模态体表信息融合的抑郁情绪识别程序被处理器执行时实现如所述的基于多模态体表信息融合的抑郁情绪识别方法的步骤。
40、本申请的有益效果是：区别于现有技术，本申请是一种基于多模态体表信息融合的客观化、高效抑郁情绪识别技术，通过获取抑郁情绪的多种模态体表信息的感知数本文档来自技高网...
【技术保护点】
1.一种基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，所述多模态体表感知数据包括：舌部的静态图片与动态视频数据、步态与眼部的视频数据、脉搏波的时间序列信号数据、语音信息的时间序列信号数据和气味浓度的波形数据中的一个或者多个；
3.根据权利要求1所述的基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，所述多模态融合模型包括多模态数据编码单元、跨模态学习单元、多尺度融合单元和模态转换单元；
4.根据权利要求3所述的基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，所述将每个模态的所述体表感知数据集合输入至所述跨模态学习单元，得到所有模态的所述多模态体表感知数据的跨模态学习特征集，具体包括：
5.根据权利要求3所述的基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，所述将所述体表感知数据集合的每个因子输入至所述多尺度融合单元，得到第一融合特征，具体包括：
6.根据权利要求5所述的基于多模态体表信息融合的抑郁情绪识别方法，其
7.根据权利要求3所述的基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，所述将所述多模态数据输入到识别网络模型，对所述多模态数据进行分类，得到抑郁情绪的识别结果，具体包括：
8.一种基于多模态体表信息融合的抑郁情绪识别系统，其特征在于，所述基于多模态体表信息融合的抑郁情绪识别系统包括：
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多模态体表信息融合的抑郁情绪识别程序，所述基于多模态体表信息融合的抑郁情绪识别程序被所述处理器执行时实现如权利要求1-7任一项所述的基于多模态体表信息融合的抑郁情绪识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于多模态体表信息融合的抑郁情绪识别程序，所述基于多模态体表信息融合的抑郁情绪识别程序被处理器执行时实现如权利要求1-7任一项所述的基于多模态体表信息融合的抑郁情绪识别方法的步骤。
...【技术特征摘要】
1.一种基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，所述多模态体表感知数据包括：舌部的静态图片与动态视频数据、步态与眼部的视频数据、脉搏波的时间序列信号数据、语音信息的时间序列信号数据和气味浓度的波形数据中的一个或者多个；
3.根据权利要求1所述的基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，所述多模态融合模型包括多模态数据编码单元、跨模态学习单元、多尺度融合单元和模态转换单元；
4.根据权利要求3所述的基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，所述将每个模态的所述体表感知数据集合输入至所述跨模态学习单元，得到所有模态的所述多模态体表感知数据的跨模态学习特征集，具体包括：
5.根据权利要求3所述的基于多模态体表信息融合的抑郁情绪识别方法，其特征在于，所述将所述体表感知数据集合的每个因子输入至所述多尺度融合单元，得到第一融合特征，具体包括：
6.根据权利要求5所述的基于多模态体表信息融合的抑郁情绪识别方法，其...
【专利技术属性】
技术研发人员：郭超勋，叶子晴，宁之涵，吴保元，张大鹏，
申请(专利权)人：香港中文大学深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。