一种基于多模态宽度学习的潜在抑郁评估系统技术方案

本发明专利技术提供了一种基于多模态宽度学习的潜在抑郁评估系统，包括信号采集模块、预处理模块、编码器、解码器、特征层融合模块和宽度学习系统；信号采集模块用于采集生理信号数据；编码器用于特征提取；解码器用于数据重构；特征层融合模块用于特征向量聚合；宽度学习系统用于进行计算，得出抑郁风险等级的评估结果；在各个解码器与编码器之间通过自编码器重构损失函数进行关联；各个编码器输出通过特征关联性损失函数进行关联。该系统可对个体抑郁风险等级进行评估，提高抑郁症检测与诊断的便捷程度，提升诊断效率；综合采用多模态生理信号数据，通过特征关联性损失函数将不同模态的特征向量进行关联，可全面、客观地对潜在抑郁风险进行评估。险进行评估。险进行评估。

【技术实现步骤摘要】
一种基于多模态宽度学习的潜在抑郁评估系统


[0001]本专利技术涉及抑郁症诊断
，更具体地说，涉及一种基于多模态宽度学习的潜在抑郁评估系统。

技术介绍

[0002]抑郁症是一类严重影响患者身心健康以及正常生活的精神类疾病。然而，医疗体系中专业的精神科医生占比低、难以在人群中进行一定规模下的抑郁症患者筛查等原因，不仅会增加人群中潜在抑郁患者的精神压力，甚至会让患者对自身病情一无所知，导致病情的加重。其中，“潜在抑郁患者”的定义为：相对于已经确诊的抑郁症患者而言，指人群中已经患有抑郁症，或是受到外界环境刺激使得抑郁情绪严重导致患有抑郁症，但由于其自身并不知病情等原因而尚未被确诊的个体。
[0003]现有技术主要通过对个体录制的音视频进行分析，提取视听信号中能描述个体信息的情感特征，将多段特征聚合为整体进行分析，根据分析结果对抑郁水平进行检测。现有技术方案的不足其一是没有考虑个体的多模态生理信号特征，而是限于对视听信号的分析，特征种类过少，导致对个体特征刻画得不全面，对抑郁水平的检测并不准确，误差较大；其二是没有考虑多模态特征数据之间的内在联系，仅将各段特征进行简单的拼接，而对特征数据的直接拼接导致检测的准确率不高；其三是现有技术或系统的空间复杂度和计算复杂度过高，导致所需计算资源门槛高，不利于推广应用。

技术实现思路

[0004]为克服现有技术中的缺点与不足，本专利技术的目的在于提供一种基于多模态宽度学习的潜在抑郁评估系统；该系统可对个体抑郁风险等级进行评估，可提高抑郁症检测与诊断的便捷程度，减轻筛查抑郁症患者的工作量，及时反映患者病情，作为医院的有益辅助，提升诊断的效率；综合采用多模态生理信号数据，通过特征关联性损失函数将不同模态的情感特征向量进行关联，可全面、客观地对潜在抑郁风险进行评估；为了衡量单模态数据的重构效果，构造自编码器重构损失函数，保证根据单模态数据提取出的特征向量具有更强的表示性。
[0005]为了达到上述目的，本专利技术通过下述技术方案予以实现：一种基于多模态宽度学习的潜在抑郁评估系统，包括：信号采集模块，用于采集被试者的生理信号数据，从生理信号数据中独立提取出作为抑郁症评估依据的n个模态数据，将n个模态数据划分为图像信号数据和序列信号数据两个类别；预处理模块，用于对各个模态数据分别进行预处理；编码器，用于对预处理后的各个模态数据分别进行特征提取得到单模态情感特征向量；解码器，用于分别根据各个单模态情感特征向量进行数据重构；
特征层融合模块，用于各个单模态情感特征向量聚合成多模态特征向量层Z；以及宽度学习系统，用于将多模态特征向量层Z和增强节点层H合并后构成特征层输入A=[Z|H]，对特征层输入A进行计算，得到分类输出，从而得出抑郁风险等级的评估结果；在各个解码器与编码器之间通过自编码器重构损失函数S
rec
进行关联，自编码器重构损失函数S
rec
为：其中，x
i
表示第i（i=1,2，...，n）模态数据的真实值；x'
i
表示第i个模态数据经过编码器提取特征、之后输入解码器进行特征重构后得到的重构值；E[]表示对所有模态数据真实值与重构值之间的均方误差求期望；各个编码器输出的单模态情感特征向量通过特征关联性损失函数S
corr
进行关联，特征关联性损失函数S
corr
为：其中，x
i
、x
j
分别表示第i、j（i≠j；i=1,2，...，n；j=1,2，...，n）个模态数据的真实值；f
i
、f
j
分别表示第i、j个编码器；f
iT
表示第i个编码器的转置；tr()表示成对内积计算；cov()表示方差无偏估计；所述自编码器重构损失函数S
rec
和特征关联性损失函数S
corr
通过多模态特征提取损失函数S
total
进行优化求解，所述多模态特征提取损失函数S
total
为：S
total = argmin(αS
corr +βS
rec
)其中，α，β分别为衡量自编码器重构损失函数S
rec
和特征关联性损失函数S
corr
相对重要程度的权重值；argmin()表示括号中式子达到最小值时自编码器重构损失函数S
rec
和特征关联性损失函数S
corr
的取值。
[0006]优选地，所述编码器包括用于对图像信号数据进行编码的图像信号编码器，以及用于对序列信号数据进行编码的序列信号编码器；所述图像信号编码器的网络结构包括：若干组依次连接的卷积神经网络层一，以及连接在最后一组卷积神经网络层一之后的扁平化层和全连接层一；所述序列信号编码器的网络结构包括：若干组依次连接的卷积神经网络层二，以及连接在最后一组卷积神经网络层二之后的长短期记忆网络层、随机失活层和全连接层二。
[0007]优选地，所述解码器结构与编码器结构相反。
[0008]优选地，各个卷积神经网络层一和卷积神经网络层二均是由依次连接的卷积层、批归一化层和最大池化层组成；所述卷积层为：C = σ
c (W3·
(σ
c (W2·
(σ
c (W1·
xc+b1))+ b2))+ b3)其中，xc表示卷积层的输入向量；W1、W2、W3分别表示卷积层中第1、2、3个卷积核值；
b1、b2、b3分别表示卷积层中第1、2、3个偏置值，σ
c
表示激活函数，C表示输出向量；所述批归一化层为：所述批归一化层为：所述批归一化层为：其中，q表示批归一化层输入向量的总数，C
k
表示第k(k=0,1,2,...,q)个输入向量，μ
β
表示输入向量的平均值，δ
β2
表示输入向量的方差，C'
k
表示第k个经过归一化后的向量，ε表示无穷小量。
[0009]优选地，所述序列信号编码器中，长短期记忆网络层为：I
t
=σ(W
rI
xm
t
+b
rI
+W
hI
h
t
‑1+b
hI
)F
t
=σ(W
rF
xm
t
+b
rF
+W
hF
h
t
‑1+b
hF
)o
t
=σ(W
ro
xm
t
+b
ro
+W
ho
h
t
‑1+b
ho
)g
t
=tanh(W
rg
xm
t
+b
rg
+W
hg
h
t
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态宽度学习的潜在抑郁评估系统，其特征在于：包括：信号采集模块，用于采集被试者的生理信号数据，从生理信号数据中独立提取出作为抑郁症评估依据的n个模态数据，将n个模态数据划分为图像信号数据和序列信号数据两个类别；预处理模块，用于对各个模态数据分别进行预处理；编码器，用于对预处理后的各个模态数据分别进行特征提取得到单模态情感特征向量；解码器，用于分别根据各个单模态情感特征向量进行数据重构；特征层融合模块，用于各个单模态情感特征向量聚合成多模态特征向量层Z；以及宽度学习系统，用于将多模态特征向量层Z和增强节点层H合并后构成特征层输入A=[Z|H]，对特征层输入A进行计算，得到分类输出，从而得出抑郁风险等级的评估结果；在各个解码器与编码器之间通过自编码器重构损失函数S
rec
进行关联，自编码器重构损失函数S
rec
为：其中，x
i
表示第i（i=1,2，...，n）模态数据的真实值；x'
i
表示第i个模态数据经过编码器提取特征、之后输入解码器进行特征重构后得到的重构值；E[]表示对所有模态数据真实值与重构值之间的均方误差求期望；各个编码器输出的单模态情感特征向量通过特征关联性损失函数S
corr
进行关联，特征关联性损失函数S
corr
为：其中，x
i
、x
j
分别表示第i、j（i≠j；i=1,2，...，n；j=1,2，...，n）个模态数据的真实值；f
i
、f
j
分别表示第i、j个编码器；f
iT
表示第i个编码器的转置；tr()表示成对内积计算；cov()表示方差无偏估计；所述自编码器重构损失函数S
rec
和特征关联性损失函数S
corr
通过多模态特征提取损失函数S
total
进行优化求解，所述多模态特征提取损失函数S
total
为：S
total = argmin(αS
corr +βS
rec
)其中，α，β分别为衡量自编码器重构损失函数S
rec
和特征关联性损失函数S
corr
相对重要程度的权重值；argmin()表示括号中式子达到最小值时自编码器重构损失函数S
rec
和特征关联性损失函数S
corr
的取值。2.根据权利要求1所述的基于多模态宽度学习的潜在抑郁评估系统，其特征在于：所述编码器包括用于对图像信号数据进行编码的图像信号编码器，以及用于对序列信号数据进行编码的序列信号编码器；所述图像信号编码器的网络结构包括：若干组依次连接的卷积神经网络层一，以及连接在最后一组卷积神经网络层一之后的扁平化层和全连接层一；所述序列信号编码器的网络结构包括：若干组依次连接的卷积神经网络层二，以及连
接在最后一组卷积神经网络层二之后的长短期记忆网络层、随机失活层和全连接层二。3.根据权利要求2所述的基于多模态宽度学习的潜在抑郁评估系统，其特征在于：所述解码器结构与编码器结构相反。4.根据权利要求2所述的基于多模态宽度学习的潜在抑郁评估系统，其特征在于：各个卷积神经网络层一和卷积神经网络层二均是由依次连接的卷积层、批归一化层和最大池化层组成；所述卷积层为：C=σ
c
(W3·
(σ
c
(W2·
(σ
c
(W1·
xc+b1))+b2))+b3)其中，xc表示卷积层的输入向量；W1、W2、W3分别表示卷积层中第1、2、3个卷积核值；b1、b2、b3分别表示卷积层中第1、2、3个偏置值，σ
c
表示激活函数，C表示输出向量；所述批归一化层为：所述批归一化层为：所述批归一化层为：其中，q表示批归一化层输入向量的总数，C
k
表示第k(k=0,1,2,...,q)个输入向量，μ
β
表示输入向量的平均值，δ
β2
表示输入向量的方差，C'
k
表示第k个经过归一化后的向量，ε表示无穷小量。5.根据权利要求2所述的基于多模态宽度学习的潜在抑郁评估系统，其特征在于：所述序列信号编码器中，长短期记忆网络层为：I
t
=σ(W
rI
xm
t<...

【专利技术属性】
技术研发人员：蔡明宸，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：