一种深度可解释的多模态判别表示方法技术

本发明专利技术公开了一种深度可解释的多模态判别表示方法。随着数据来源的扩宽，多模态数据由于其互补性而受到较多的关注。现有的多模态方法大多寻求跨模态的共同特征来解决多模态的异构问题，而忽略样本间的结构信息。本发明专利技术提出了一种深度可解释多模态判别表示网络模型，该方法将异构模态对齐于判别公共空间中来提高分类准确率，并提供了一种敏感特征分析的思路。具体地说，本发明专利技术采用多层感知器作为编码器，结合嵌有结构信息的自表示约束与广义典型相关性分析约束，将多模态数据映射到判别公共空间中，提升识别性能。此外，本发明专利技术通过知识蒸馏来压缩复杂网络以解耦敏感特征，增强模型的可解释性。的可解释性。的可解释性。

【技术实现步骤摘要】
一种深度可解释的多模态判别表示方法


[0001]本专利技术给出一种深度可解释的多模态判别表示方法，涉及到计算机辅助诊断领域，主要 应用于确定阿尔茨海默症的患病阶段，对疾病预防、精准治疗方面方面具有重要作用。

技术介绍

[0002]阿尔茨海默病是一种进行性神经退行性疾病，高发于老年群体，其患者表现为运动障碍、 记忆衰退、语言障碍等。由于阿尔茨海默症具有不可逆性，我们只能在疾病的早期进行干预， 通过治疗缓解疾病的进程。轻度认知损害是阿尔茨海默病的前驱期，其患者表现为认知能力 下降。在早期诊断技术中，神经影像学被广泛应用，它可以反映患者中大脑结构的结构或功 能损伤，我们可以通过大脑的病变情况来将患者与正常人区分开来。
[0003]近年来，机器学习方法在阿尔茨海默症的早期诊断中受到越来越多的关注。早期的研究 集中于单一模式的建模，如磁共振成像或正电子发射断层扫描。然而，单一模态不足以揭示 大脑复杂的结构和功能变化，而多模态数据可以从不同角度补充更多潜在的补充信息。由于 神经图像中的高维非线性特性，浅层模型无法很好地利用不同模式之间的层次和结构相关信 息。深度学习表示通过分离输入中的复杂模式，可以比浅层结构更有效地进行分类，并且它 在推断和建模大脑网络的层次结构方面具有优势。然而，现有的基于深度学习的早期诊断方 法中，都忽略了嵌入在多模态数据中的结构信息。结构信息可以作为一种重要的先验知识， 通过合理利用样本之间的差异和共性来选择更具辨别力的特征。此外，诊断模型的可解释性 一直是医学领域关注的问题。在神经网络中，由于激活函数的参与，网络权值和输入不能单 独分析，导致基于深度学习的诊断模型的临床可解释性较差，现有的深度模型难以提供诊断 中大脑区域的影响，对于临床的指导性不高。

技术实现思路

[0004]专利技术目的：针对现有方法中存在的忽视样本判别结构信息与模型可解释性不高的问题， 本专利技术提供了一种深度可解释的多模态判别表示方法，结合判别结构提升诊断准确率并增强 模型的可解释性。
[0005]技术方案：一种深度可解释的多模态判别表示方法，具体步骤如下：
[0006]步骤一：数据预处理与网络初始化
[0007]对于获取的多模态数据，根据大脑分区模版对其提取相关脑区成像测量值。每个模态定 义为s表示为样本数，d
i
表示为模态i的特征数，n为模态数。标 签定义为Y∈R
s
×
c
，c为疾病阶段。此外，对网络模型参数进行初始化，多层感知机参数θ
i
与自表达系数Z服从正态分布。
[0008]步骤二：重构多模态数据
[0009]各模态数据X
i
通过对应的多层感知器重构成层次表示f
i
(X
i
)，模拟大脑的层次结构。
[0010]步骤三：模态间和模态内样本对齐
[0011]由于模态内部的自表示特性以及模态之间样本表示的相似性，我们引入了共享稀疏自表 示系数Z∈R
s
×
s
在我们的融合模型中，实现了初步的样本对齐。自表示特性的含义是在同一子 空间中数据点可以表示为其他点的线性组合。基于这一性质，提出公式：
[0012]Zf
i
(X
i
)＝f
i
(X
i
)s.t.diag(Z)＝0
[0013]其中Z可以反映样本之间的相似性。此外，为了避免平凡解Z＝1，我们设置约束diag(Z)＝0。
[0014]当多模态数据是按类别顺序输入到模型中时，共享的自表示系数中会出现一个对角块结 构，其中一个对角块对应一个类别。针对这种现象，我们将监督信息嵌入到共享的自表示系 数上，对其施加对角块约束，只有相同类别的样本之间才能相互表示，以进一步加强模态内 和模态间样本对齐。我们将类外矩阵定义为：
[0015][0016]共享稀疏自表示及其对角块约束共同构成自表示层的损失函数：
[0017][0018]其中表示矩阵Frobenius范数，
⊙
表示点乘，具体来说，第一项保持Z的稀疏性，第二 项引导Z具有共享的自我表示能力。最后，第三项通过最小化块外自表示系数使Z具有判别 性。
[0019]步骤四：生成公共判别空间
[0020]在多模态研究中，通常存在异构问题，由于不同模态处于不同的表示空间中，并且表示 空间差异极大，分类器直接对异构模态进行分类会导致分类表现极差，鲁棒性不高，因此需 要将多模态数据映射到公共空间中，再进行分类。我们采用广义典型相关分析来解决上述问 题，广义典型相关分析(GCCA)是典型相关分析的扩展，其目的是将三个或更多视图映射 到公共空间，最大化视图之间的相关系数。本专利技术采用GCCA作为表示空间的约束，将各模 态投影到公共空间中，从而整合多模态数据中的潜在信息。我们将GCCA的目标函数定义为：
[0021][0022]其中是公共空间模板。
[0023]我们进一步优化GCCA的目标函数，将第i个模态输出设置为M
i
＝Zf
i
(X
i
；θ
i
)∈R
s
×
d
′
。 此外，M
iT
M
i
被称为散射矩阵，M
i
(M
iT
M
i
)
‑1M
iT
为投影矩阵。我们可以通过向散射矩阵添加r
i
I来进行正则化，正则化的投影矩阵表示为：
[0024]P
i
＝M
i
(M
iT
M
i
+r
i
I)
‑1M
iT
[0025]我们将投影矩阵的和定义为公共空间模板G可计算为Q上rank
‑
m SVD分 解的左奇异向量：
[0026][0027]GCCA的目标函数等式可进一步表示为：
[0028][0029]其中m是SVD的要求秩数，n是模态数。此外，最小化GCCA目标相当于最大化Tr(G
T
QG)，Tr(G
T
QG)是Q的前m个数值最大的奇异值组之和，GCCA的目标函数最终可表示为：
[0030][0031]最后，我们将自表达层的损失函数和优化后的GCCA约束组成最终的损失函数，来训练 我们的模型：
[0032][0033]其中λ1，λ2，λ3分别是引入的正则化参数。
[0034]步骤五：预测疾病时期
[0035]判别自表示约束和GCCA约束共同促进多层感知机生成判别公共空间。我们将训练获得 的多模态公共子空间f
i
(X
i
)用SVM进行分类，来预测疾病的时期。
[0036]步骤六：提取可解释权重
[0037]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度可解释的多模态判别表示方法，其主要特征包括如下步骤：(1)对多模态数据进行预处理，并初始化深度网络参数。(2)各异构的模态数据X
i
通过对应的多层感知器重构成层次表示f
i
(X
i
)。(3)利用带有对角块约束的判别自表示学习对重构的多模态数据进行模态内和模态间样本对齐，计算判别自表示损失。(4)通过广义典型相关分析，将对齐后的多模态数据施加相关系数最大化约束，将多模态数据映射到公共空间中，计算广义典型相关分析损失。(5)将判别自表示损失和广义典型相关分析损失作为多模态判别表示模块总损失，使用梯度随机下降方法优化模型参数。(6)使用支持向量机来对训练得到的公共子空间进行分类。(7)利用知识蒸馏，使用线性映射模型学习各模态在公共空间中的协同表示，将线性表示和协同表示的均方误差作为多模态可解释模块损失函数。(8)同样使用梯度随机下降方法优化模型参数，压缩多层感知机的复杂权重以用于分析敏感特征。2.根据权利要求1所述的深度可解释的多模态判别表示方法，其特征在于：(1)步骤3中本发明使用自表示学习并实施对角块约束，实现模态内和模态间的样本对齐，其具体方法：由于模态内部的自表示特性以及模态之间样本表示的相似性，我们引入了共享稀疏自表示系数Z∈R
s
×
s
在我们的融合模型中，实现了初步的样本对齐。自表示特性的含义是在同一子空间中数据点可以表示为其他点的线性组合。基于这一性质，提出公式：Zf
i
(X
i
)＝f
i
(X
i
) s.t.diag(Z)＝0其中Z可以反映样本之间的相似性。此外，为了避免平凡解Z＝1，我们设置约束diag(Z)＝0。当多模态数据是按类别顺序输入到模型中时，共享的自表示系数中会出现一个对角块结构，其中一个对角块对应一个类别。针对这种现象，我们将监督信息嵌入到共享的自表示系数上，对其施加对角块约束，只有相同类别的样本之间才能相互表示，以进一步加强模态内和模态间样本对齐。我们将类外矩阵定义为：共享稀疏自表示及其对角块约束共同构成自表示层的损失函数：其中表示矩阵Frobenius范数，
⊙
表示点乘，具体来说，第一项保持Z的稀疏性，第二项引导Z具有共享的自表示能力。最后，第三项通过最小化块外自表示系数使...

【专利技术属性】
技术研发人员：朱旗，徐冰靓，张道强，周宇泽，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：