基于复数胶囊网络融合的跨模态抑郁倾向识别模型的构建方法技术

本发明专利技术公开了一种基于复数胶囊网络融合的跨模态抑郁倾向识别模型的构建方法，涉及数据分析技术领域。本发明专利技术以语音和文本模态信息作为输入，建立公共语义空间，进行语义融合，利用语义融合后的融合特征训练复数胶囊网络，且本申请的复数胶囊网络采用三层结构，第一层为复数卷积层，第二层为复数胶囊层，第三层为复数路由层，最后聚类生产的高层胶囊，通过解码高层胶囊，得到模型预测结果。本发明专利技术能够及时、准确地检测抑郁倾向，防患于未然；且能有效提取并学习融合特征信息,为多模态语义对齐研究提供新方法。提供新方法。提供新方法。

【技术实现步骤摘要】
基于复数胶囊网络融合的跨模态抑郁倾向识别模型的构建方法


[0001]本专利技术涉及数据分析
，尤其涉及机器深度学习模型
，更具体地说涉及一种基于复数胶囊网络融合的跨模态抑郁倾向识别模型的构建方法。

技术介绍

[0002]抑郁症是全球易发且具有凸显危害性的精神障碍疾病，其轻则带来心理压力，重则导致患者产生轻生的想法。因此，抑郁症的防治要未雨绸缪，并且在社交媒体迅猛发展的时代，如何充分利用丰富的语音、图像以及文本资源，进行便捷且准确的抑郁倾向识别，是研究的主要目的。
[0003]在情感分析领域，已有的大部分研究都仅仅使用了文本信息来帮助监测抑郁症。如分析文本间的句法、单词用法、建立情感词典；当机器学习算法逐渐投入科研中时，又滋生了基于卷积神经网络、单/双向长短期记忆网络提取患者文特征，并加入注意力机制优化信息提取，最后进行情感分类的方法。
[0004]尽快基于文本的情感识别有所建树，但当模型在实际场景中应用时，患者说话时的图像、语音等等其他模态的信息也同样蕴含丰富情感。近年来，人们开始倾向于利用多模态数据进行抑郁症检测，包括基于层次化RNN变种网络整合图片、语音或文本特征；基于强化学习抽取相关的语音和文本信息帮助抑郁症检测。
[0005]总体来看，多模态技术应用于抑郁症检测仍属于研究阶段，现有技术存在的不足可主要总结如下：
[0006]1、抑郁患者语言具有冗余信息存在和特征序列长的特点。大部分基于注意力机制的融合特征提取方法会带来较大的计算量和不稳定的网络训练过程。因此，需要在小算力和细微层次上建模融合特征学习的方法。
[0007]2、多模态融合模型的泛化性能普遍较差，并且容易在小样本数据集上过拟合。如何提高模型的鲁棒性和泛化能力，是模型落地的不二法门。
[0008]3、不同模态的信息间存在语义鸿沟，如何有效融合不同模态的特征语义，会影响模型预测效果上限。
[0009]虽然多模态郁抑症模型研究问题重重，但在学术界中，将复数用于深度学习任务的场景也在逐年增长。其亮点在于，复数可以为模型架构带来出色的泛化性能。此外，自2016年胶囊网络的概念提出以后，其在情感分析任务中的研究逐渐深入。如何将复数用于胶囊网络架构的优化，并且利用胶囊网络对多模态数据进行融合建模，是目前亟需解决的难题。

技术实现思路

[0010]为了克服上述现有技术中存在的缺陷和不足，本专利技术提供了一种基于复数胶囊网络融合的跨模态抑郁倾向识别模型的构建方法，本专利技术的专利技术目的在于利用复数胶囊网络
对多模态数据进行融合建模，构建出一种能够快速且准确捕获被试者所提供的语音和文本信息，并能能够自适应地挖掘深度语音，并给出预测结果的模型。本专利技术以语音和文本模态信息作为输入，建立公共语义空间，进行语义融合，利用语义融合后的融合特征训练复数胶囊网络，且本申请的复数胶囊网络采用三层结构，第一层为复数卷积层，第二层为复数胶囊层，第三层为复数路由层，最后聚类生产的高层胶囊，通过解码高层胶囊，得到模型预测结果。本专利技术能够及时、准确地检测抑郁倾向，防患于未然；且能有效提取并学习融合特征信息,为多模态语义对齐研究提供新方法。
[0011]为了解决上述现有技术中存在的问题，本专利技术是通过下述技术方案实现的。
[0012]本专利技术提供了一种基于复数胶囊网络融合的跨模态抑郁倾向识别模型的构建方法，该方法包括以下步骤：
[0013]S1、对参与回答随机抑郁症相关问题的志愿者，记录其回答问题对应的语音音频数据和文本数据，分别构建语音音频训练样本集和文本数据样本集；
[0014]S2、从语音音频训练样本集中的每个语音音频样本中分别提取出语义特征向量；从文本数据样本集中的每个文本数据样本中分别提取出文本特征向量；
[0015]S3、将S2步骤中提取出的语义特征向量和文本特征向量，通过映射层建立公共语义空间，并投影到公共语义空间；在公共语义空间进行特征形态转换，将语音和文本在公共语义空间上的特征拼接后转换为双通道复数矩阵，作为融合特征；
[0016]S4、将S3步骤得到的融合特征作为输入，输入到复数胶囊网络模型中进行训练；所述复数胶囊网络包括三层结构，第一层为复数卷积层，其卷积核为W＝A+B*i的形式；在第一层中，对于融合特征进行复数卷积运算，然后利用复数
‑
ReLU激活函数，分别在实部和虚部上作噪声系数处理，得到去噪特征D；
[0017]第二层为复数胶囊层，利用256维输出通道的复数卷积网络提取去噪特征D，并进行Shape转换，得到复数胶囊单元并压缩；
[0018]第三层为复数路由层，将第二层压缩后的复数胶囊单位凭借路由机制，更新实复数阈值，最后聚类生成高层胶囊。
[0019]S5、对复数胶囊网络输出的高层胶囊进行解码，得到预测结果。
[0020]进一步优选的，S3步骤中，对于语义特征向量，使用resnet18
‑
CBAM模型作为映射器；对于文本特征向量，使用GRU
‑
attention模型作为映射器；通过映射层建立公共语义空间：
[0021]其中，f
resnet
(
·
)为对被试者语音音频的语义特征提取模型；f
bigru
(
·
)为对被试者文本数据的文本特征提取模型；g
βA
为语义特征映射层，g
βT
为文本特征映射层，为NetVLAD提取的语义特征集合，为Bert提取的文本特征集合；为语音在公共语义空间上的特征，为文本在公共语义空间上的特征；
[0022]将和拼接后变化为双通道复数矩阵，作为融合特征：
[0023]其中，z
128A
,z
128T
中的下标128分别表示语义特征和文本特征的高层语义向量维数；fuse
(2,16,8)
为双通道复数矩阵，其中，下标2表示双通道，16为特征图的长，8表示特征图的宽。
[0024]S4步骤中，融合特征R＝p+q*i，与复数卷积核运算可以表达如下：
[0025]其中，R表示实部，W表示复数卷积核，I表示虚部，A表示复数卷积核实部，B表示复数卷积核虚部，p表示融合特征实部、q表示融合特征虚部、i表示虚部的符号。
[0026]利用复数
‑
ReLU激活函数，分别在实部和虚部上作噪声稀疏处理：
[0027]CReLU(x)＝ReLU(R(x))+i*ReLU(I(x))，其中，R(x)表示复数卷积核的实部部分，I(x)表示复数卷积核的虚部部分。
[0028]进一步优选的，在复数路由层中，所述路由机制具体是指，以高层预测胶囊u
hat
和迭代次数T作为输入，从1到T进行迭代，产生初始权重b1，并在双通道维度上进行softmax，得到权重c
i
；将权重与高层预测胶囊相乘并求和，将胶囊单元F进行squash操作，并得到输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于复数胶囊网络融合的跨模态抑郁倾向识别模型的构建方法，其特征在于，该方法包括以下步骤：S1、对参与回答随机抑郁症相关问题的志愿者，记录其回答问题对应的语音音频数据和文本数据，分别构建语音音频训练样本集和文本数据样本集；S2、从语音音频训练样本集中的每个语音音频样本中分别提取出语义特征向量；从文本数据样本集中的每个文本数据样本中分别提取出文本特征向量；S3、将S2步骤中提取出的语义特征向量和文本特征向量，通过映射层建立公共语义空间，并投影到公共语义空间；在公共语义空间进行特征形态转换，将语音和文本在公共语义空间上的特征拼接后转换为双通道复数矩阵，作为融合特征；S4、将S3步骤得到的融合特征作为输入，输入到复数胶囊网络模型中进行训练；所述复数胶囊网络包括三层结构，第一层为复数卷积层，其卷积核为W=A+B*i的形式；在第一层中，对于融合特征进行复数卷积运算，然后利用复数
‑
ReLU激活函数，分别在实部和虚部上作噪声系数处理，得到去噪特征D；第二层为复数胶囊层，利用256维输出通道的复数卷积网络提取去噪特征D，并进行Shape转换，得到复数胶囊单元并压缩；第三层为复数路由层，将第二层压缩后的复数胶囊单位凭借路由机制，更新实复数阈值，最后聚类生成高层胶囊；S5、对复数胶囊网络输出的高层胶囊进行解码，得到预测结果。2.如权利要求1所述的基于复数胶囊网络融合的跨模态抑郁倾向识别模型的构建方法，其特征在于：S3步骤中，对于语义特征向量，使用resnet18
‑
CBAM模型作为映射器；对于文本特征向量，使用GRU
‑
attention模型作为映射器；通过映射层建立公共语义空间：，其中， 为对被试者语音音频的语义特征提取模型；为对被试者文本数据的文本特征提取模型；为语义特征映射层，为文本特征映射层，为NetVLAD提取的语义特征集合，为Bert提取的文本特征集合；为语音在公共语义空间上的特征，为文本在公共语义空间上的特征；将和拼接后变化为双通道复数矩阵，作为融合特征：，其中，中的下标128分别表示语义特征和文本特征的高层语义向量维数；为双通道复数矩阵，其中，下标2表示双通道，16为特征图的长，8表示特征图的宽。3.如权利要求1或2所述的基于复数胶囊网络融合的跨模态抑郁倾向识别模型的构建方法，其特征在于：S4步骤中，融合特征R=p+q*i，与复数卷积核运算可以表达如下：，
，其中，R表示实部，W表示复数卷积核，I表示虚部，A表示复数卷积核实部，B表示复数卷积核虚部，p表示融合特征实部、q表示融合特征虚部、i表示虚部的符号；利用复数
‑
ReLU激活函数，分别在实部和虚部上作噪声稀疏处理：，其中，表示复数卷积核的实部部分，表示复数卷积核的虚部部分。4.如权利要求1或2所述的基于复数胶囊网络融合的跨模态抑郁倾向识别模型的构建方法，其特征在于：在复数路由层中，所述路由机制具体是指，以高层预测胶囊和迭代次数T作为输入，从1到T进行迭代，产生初始权重b1，并在双通道维度上进行softmax，得到权重c
i
；将权...

【专利技术属性】
技术研发人员：雷杰睿，李波，杨卿怡，张文剑，黄雅莉，张迎娣，张高立，陈芳政，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：