用于心理压力检测的多模态融合方法及装置制造方法及图纸

本发明专利技术实施例提供一种用于心理压力检测的多模态融合方法及装置，本发明专利技术基于生理数据‑>文本、生理数据‑>图片、文本‑>生理数据、文本‑>图片、图片‑>生理数据、图片‑>文本的注意力强化特征矩阵，基于前馈全连接神经网络，获取文本、图片和生理数据的融合特征矩阵；接着基于文本、图片、生理数据的重要性权重值以及文本、图片和生理数据的融合特征矩阵，获取三种模态的融合表示矩阵；最后基于述三种模态的融合表示矩阵以及前馈全连接网络获取反映心理压力问题的压力分类向量。本发明专利技术通过融合文本图片数据与生理相关数据，不仅弥补了由文本和图片数据的主观性带来的不足，解决了生理相关数据的一些固有问题。

A Multimodal Fusion Method and Device for Psychological Stress Detection

【技术实现步骤摘要】
用于心理压力检测的多模态融合方法及装置
本专利技术涉及计算机
，尤其涉及一种用于心理压力检测的多模态融合方法及装置。
技术介绍
随着社会竞争压力的增大，青少年的心理压力问题逐渐成为一个越发严重的问题。过度的心理压力会导致很多生理和心理上的问题，这使得心理压力检测越来越重要。已有的聚焦于社交媒体上的心理压力检测工作只关注于文本和图片内容，然而文本和图片内容具有主观性，有时候无法表达出真实心理状态。已有的一些生理信号相关的工作证明了生理信号在检测心理压力时的有效性，比如心率变异性、心电图、电流皮肤反应，脑电图，血压和肌电图等。但是生理信号相关数据也存在一些固有的问题，比如在极度兴奋状态和极度压力状态的生理相关数据是非常相似的，因此，根据生理信号相关数据有时也无法完全表达出真实心理状态。根据上面描述可知，目前缺乏一种有效的心理压力检测方法和装置。
技术实现思路
针对现有技术中的问题，本专利技术实施例提供一种用于心理压力检测的多模态融合方法及装置。第一方面，本专利技术实施例提供了一种对两种模态数据进行特征交互融合的注意力权重对应方法，包括：基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。第二方面，本专利技术实施例提供了一种基于如第一方面所述的对两种模态数据进行特征交互融合的注意力权重对应方法的用于心理压力检测的多模态融合方法，包括：分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵；基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值；基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。第三方面，本专利技术实施例还提供了一种对两种模态数据进行特征交互融合的注意力权重对应装置，包括：第一获取模块，用于基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；第二获取模块，用于基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；第三获取模块，用于基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。第四方面，本专利技术实施例还提供了一种基于如第三方面所述的对两种模态数据进行特征交互融合的注意力权重对应装置的用于心理压力检测的多模态融合装置，包括：第四获取模块，用于分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵；第五获取模块，用于基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；第六获取模块，用于基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；第七获取模块，用于基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值；第八获取模块，用于基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；第九获取模块，用于基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；第十获取模块，用于基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。第五方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述对两种模态数据进行特征交互融合的注意力权重对应方法的步骤，和/或，如第二方面所述用于心理压力检测的多模态融合方法的步骤。第六方面，本专利技术实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述对两种模态数据进行特征交互融合的注意力权重对应方法的步骤，和/或，如第二方面所述用于心理压力检测的多模态融合方法的步骤。由上面技术方案可知，本专利技术实施例提供的对两种模态数据进行特征交互融合的注意力权重对应方法及装置，基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵，并基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵，最后基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵，本专利技术本文档来自技高网...

【技术保护点】
1.一种对两种模态数据进行特征交互融合的注意力权重对应方法，其特征在于，包括：基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。

【技术特征摘要】
1.一种对两种模态数据进行特征交互融合的注意力权重对应方法，其特征在于，包括：基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。2.根据权利要求1所述的对两种模态数据进行特征交互融合的注意力权重对应方法，其特征在于，所述基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵，具体包括：利用下面第一关系模型获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵：其中，表示关联关系矩阵，A表示其中一种模态数据的特征矩阵，B表示另一种模态数据的特征矩阵，表示实数空间，k表示该两种模态数据的维度，BT表示B的转秩矩阵，使用矩阵乘法将特征矩阵A与特征矩阵B的转秩矩阵相乘，得到包含特征矩阵A中每一个特征和特征矩阵B中每一个特征之间的关联关系矩阵3.根据权利要求2所述的对两种模态数据进行特征交互融合的注意力权重对应方法，其特征在于，所述基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵，具体包括：利用下面第二关系模型获取特征矩阵B对特征矩阵A的影响力权重矩阵：以及利用下面第三关系模型获取特征矩阵A对特征矩阵B的影响力权重矩阵：其中，AB→A表示特征矩阵B对特征矩阵A的影响力权重矩阵，BA→B表示特征矩阵A对特征矩阵B的影响力权重矩阵，softmax表示归一化指数函数，W1表示第一类训练参数中的第一预设训练参数，W2表示第一类训练参数中的第二预设训练参数，通过一个一层全连接网络，将关联关系矩阵映射回的向量空间，得到特征矩阵B对特征矩阵A的影响力权重矩阵AB→A和特征矩阵A对特征矩阵B的影响力权重矩阵BA→B。4.根据权利要求3所述的对两种模态数据进行特征交互融合的注意力权重对应方法，其特征在于，所述基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵，具体包括：利用下面第四关系模型获取注意力强化特征矩阵以及利用下面第五关系模型获取注意力强化特征矩阵其中，⊙表示点乘操作，使用点乘操作来将AB→A与A相乘，并获得残差连接后的注意力强化特征矩阵中包含有B的信息以及B对A产生的影响；使用点乘操作来将BA→B与B相乘，并获得残差连接后的注意力强化特征矩阵中包含有A的信息以及A对B产生的影响；其中，fAMM表示由特征矩阵A和特征矩阵B到注意力强化特征矩阵和注意力强化特征矩阵的处理过程，具体包括：利用所述第一关系模型至所述第五关系模型对特征矩阵A和特征矩阵B进行处理得到注意力强化特征矩阵和注意力强化特征矩阵的处理过程。5.一种基于如权利要求1～4任一项所述的对两种模态数据进行特征交互融合的注意力权重对应方法的用于心理压力检测的多模态融合方法，其特征在于，包括：分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵；基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值；基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。6.根据权利要求5所述的用于心理压力检测的多模态融合方法，其特征在于，所述分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵，具体包括：利用下面第六处理模型获取反映用户心理活动状态的文本特征矩阵：AttnT＝softmax(HW3+b1)其中，FT表示文本特征矩阵，H表示文本表示矩阵，表示经过权重分布重新调整的文本表示矩阵，AttnT表示文本表示矩阵H的贡献度分布权重向量，将文本表示X＝{x1,x2,···,xn}作为输入进入长短期记忆网络LSTM层，通过正向LSTM和反向LSTM分别得到两个LSTM的隐藏层输出和将对应位置的隐藏层输出相加，得到文本表示矩阵H；应用注意力机制得到文本表示矩阵H的贡献度分布权重向量AttnT：AttnT＝softmax(HW3+b1)，AttnT表示每一个单词的文本表示的贡献权重的分布，将AttnT与H相乘，并通过残差连接，得到了经过权重分布重新调整的文本表示矩阵通过一层全连接网络，将映射到k×1的向量空间，得到了文本特征矩阵FT：其中，W3表示第一类训练参数中的第三预设训练参数，W4表示第一类训练参数中的第四预设训练参数，b1表示第二类训练参数中的第一预设训练参数，b2表示第二类训练参数中的第二预设训练参数，ReLU表示激活函数；softmax表示归一化指数函数，文本表示xi表示词语含义的向量，n表示文本中包含的单词的数量；以及利用下面第七处理模型获取反映用户心理活动状态的图片特征矩阵：FV＝ReLU(W5C+b3)其中，FV表示图片特征矩阵，C表示图片特征，用一个全连接层将图片特征C的维度映射到n×1的向量空间，得到图片特征矩阵FV；其中，W5表示第一类训练参数中的第五预设训练参数，b3表示第二类训练参数中的第三预设训练参数；以及利用下面第八处理模型获取反映用户生理状态的生理数据相关特征矩阵：E＝ReLU(W7(ReLU(W6ES+b4)+b5))AttnE＝softmax(W8E+b6)其中，FE表示生理数据相关特征矩阵，ES表示生理相关数据特征矩阵，ES里面包含有多个预设的生理特征，E表示对ES进行两层全连接网络得到的生理相关数据表示矩阵E，AttnE表示生理相关数据表示矩阵E的贡献度分布权重向量，表示经过权重分布重新调整的文本表示矩阵对ES进行两层全连接网络得到的生理相关数据表示矩阵E：E＝ReLU(W7(ReLU(W6ES+b4)+b5))，应用注意力机制得到生理相关数据表示矩阵E的贡献度分布权重向量AttnE：AttnE＝softmax(W8E+b6)，将AttnE与E相乘，并通过残差连接，得到了经过权重分布重新调整的文本表示矩阵通过一层全连接网络，将映射到k×1的向量空间，得到了生理数据相关特征矩阵FE：其中，AttnE表示每一个生理特征表示的贡献权重的分布，W6表示第一类训练参数中的第六预设训练参数，W7表示第一类训练参数中的第七预设训练参数，W8表示第一类训练参数中的第八预设训练参数，W9表示第一类训练参数中的第九预设训练参数，b4表示第二类训练参数中的第四预设训练参数，b5表示第二类训练参数中的第五预设训练参数，b6表示第二类训练参数中的第六预设训练参数，b7表示第二类训练参数中的第七预设训练参数。7.根据权利要求6所述的用于心理压力检测的多模态融合方法，其特征在于，所述基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对...

【专利技术属性】
技术研发人员：冯铃，张慧君，曹檑，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11