一种基于多模态学习的影像基因融合分类方法技术

本申请适用于多模态学习技术领域，提供了一种基于多模态学习的影像基因融合分类方法。通过获取受试者的磁共振影像、基因表达信息以及基因序列信息；构建影像基因融合分类模型；依次将每个受试者的磁共振影像、基因表达信息以及基因序列信息输入影像基因融合分类模型，并计算影像基因融合分类模型的损失值；根据损失值，对影像基因融合分类模型进行反向传播，直至影像基因融合分类模型收敛，得到训练后的影像基因融合分类模型；将待分类者的磁共振影像、原始基因表达信息以及原始基因序列信息输入训练后的影像基因融合分类模型，得到待分类者的分类结果。本申请能够提高影像基因融合分类方法的准确度。类方法的准确度。类方法的准确度。

【技术实现步骤摘要】
一种基于多模态学习的影像基因融合分类方法


[0001]本申请属于多模态学习
，尤其涉及一种基于多模态学习的影像基因融合分类方法。

技术介绍

[0002]随着数据采集技术的进步，磁共振成像(MRI，Magnetic Resonance Imaging)、脑电图(EEG，Electroencephalogram)、单核苷酸多态性(SNP，Single Nucleotide Polymorphism)、基因表达(GE，Gene Expression)以及认知、情绪和社会表现等量表数据和年龄、性别等越来越多地数据都被认为能够为医学研究提供有效参考。目前影像遗传数据融合专利技术已经成为了一大研究热点，国内外研究者也开展了一系列的影响遗传数据融合研究，并取得了一定的成果。这些研究通过数据融合、决策融合或表征融合来进行多模态学习。然而，一方面，数据融合会造成一定的信息损失，很难在不同的任务中推广，并且在面对异构数据(如影像遗传数据)时有更多的局限性。另一方面，决策融合通常无法进行不同视角之间的联合学习，容易造成信息冗余。从表征的角度出发的多模态学习专利技术更能利用不同模态之间的关联关系，比如通过生成对抗网络，知识蒸馏，超图，和注意力。因此，对于具有异质性影像遗传数据，表征融合是最常应用于进行融合的多模态专利技术。
[0003]影像数据能够反映样本主要表现，遗传数据能够揭示表型的微观成因。随着基因测序和神经成像等数据采集技术的快速发展，医学领域积累了大量的影像遗传数据，影像遗传数据的融合研究日益成为研究热点。一方面，影像遗传数据可以通过数据融合提供比单一模态更丰富的表示信息。另一方面，由于基因决定性状，微观影响宏观，影像和遗传数据能够通过模态间一致性约束优化表征。在过去的多模态研究中，探索影像和遗传数据之间的关系越来越受到研究人员的关注。然而，现有的基于遗传成像数据的多模态专利技术很少考虑不同模态数据之间相关性的差异，并忽略了这一问题对模型的影响，导致现有的影像基因融合分类方法的分类准确度较低。

技术实现思路

[0004]本申请提供了一种基于多模态学习的影像基因融合分类方法，可以解决现有的影像基因融合分类方法的分类准确度较低的问题。
[0005]本申请提供了一种基于多模态学习的影像基因融合分类方法，包括：
[0006]获取N个受试者的磁共振影像、原始基因表达信息以及原始基因序列信息；
[0007]构建影像基因融合分类模型；影像基因融合分类模型包括第一特征提取模块、第二特征提取模块、特征融合模块以及分类模块，第一特征提取模块用于对磁共振影像进行特征提取，得到每个受试者对应的宏观特征，第二特征提取模块根据原始基因表达信息和原始基因序列信息，提取每个受试者对应的微观特征，特征融合模块用于对微观特征和宏观特征进行非对称流形对齐，得到融合特征，分类模块用于对融合特征进行分类；
[0008]依次将每个受试者的磁共振影像、原始基因表达信息以及原始基因序列信息输入
影像基因融合分类模型，并计算影像基因融合分类模型的损失值；
[0009]根据损失值，对影像基因融合分类模型进行反向传播，直至影像基因融合分类模型收敛，得到训练后的影像基因融合分类模型；
[0010]将待分类者的磁共振影像、原始基因表达信息以及原始基因序列信息输入训练后的影像基因融合分类模型，得到待分类者的分类结果。
[0011]可选的，第一特征提取模块的接收端接收磁共振影像，第一特征提取模块的输出端链接特征融合模块的第一输入端，第二特征提取模块的第一输入端接收原始基因表达信息，第二特征提取模块第二输入端接收原始基因序列信息，第二特征提取模块的输出端连接特征融合模块的第二输入端，特征融合模块的输出端连接分类模块的输入端，分类模块的输出端输出分类结果。
[0012]可选的，根据原始基因表达信息和原始基因序列信息，提取每个受试者对应的微观特征，包括：
[0013]确定各原始基因表达信息之间的线性关系，并根据线性关系构建基因关联网络；基因关联网络用于描述每个受试者与所有受试者之间的原始基因表达信息差异；
[0014]根据基因关联网络，确定每个受试者的预测基因表达信息，并根据预测基因表达信息和原始基因表达信息，构建表达偏差矩阵；表达偏差矩阵用于衡量每个受试者的预测基因表达信息和该受试者原始基因表达信息之间的差异；
[0015]根据表达偏差矩阵、原始基因表达信息以及原始基因序列信息，得到每个受试者对应的微观数据；
[0016]利用改进后的图卷积神经网络对微观数据进行特征提取，得到每个受试者对应的微观特征。
[0017]可选的，确定各原始基因表达信息之间的线性关系，并根据线性关系构建基因关联网络，包括：
[0018]通过计算公式
[0019][0020]得到线性关系其中，表示第i个受试者的原始基因表达信息与其他受试者的原始基因表达信息之间的线性关系，i＝1,2,...,N，E
j
表示第j个受试者的原始基因表达信息构成的向量，j＝1,2,...,N，j≠i，W
ij
表示线性关系的斜率，B
ij
表示线性关系的偏置；
[0021]通过计算公式
[0022][0023]得到基因关联网络(W,B)；其中，(W,B)表示关联网络中线性函数的斜率和偏置，(w,b)表示参数(W,B)的搜索空间，E
i
表示第i个受试者的原始基因表达信息构成的向量。
[0024]可选的，表达偏差矩阵的表达式如下
[0025]E
′
i
＝C
ij
×
(IE
i
‑
(WE
i
+B))
[0026][0027]其中，E'
i
表示第i个受试者的表达偏差矩阵，C
ij
表示第i个受试者的原始基因表达信息与其他受试者的原始基因表达信息之间的线性关系的可信度，(WE
i
+B)表示第i个受试者的预测基因表达信息，I表示单位矩阵，Cov(E
i
,E
j
)表示变量E
i
和E
j
的协方差，Var(E
i
)表示变量E
i
的方差，Var(E
j
)表示变量E
i
的方差。
[0028]可选的，根据表达偏差矩阵、原始基因表达信息以及原始基因序列信息，得到每个受试者对应的微观数据，包括：
[0029]通过计算公式
[0030]G
i
＝[G
i1
,G
i2
,G
i3
…
G
iK
][0031]G
ij
＝f
snp
(S
ij
×
M
j
)+f
ge
(E...

【技术保护点】

【技术特征摘要】
1.一种基于多模态学习的影像基因融合分类方法，其特征在于，包括：获取N个受试者的磁共振影像、原始基因表达信息以及原始基因序列信息；构建影像基因融合分类模型；所述影像基因融合分类模型包括第一特征提取模块、第二特征提取模块、特征融合模块以及分类模块，所述第一特征提取模块用于对所述磁共振影像进行特征提取，得到每个受试者对应的宏观特征，所述第二特征提取模块根据所述原始基因表达信息和所述原始基因序列信息，提取每个受试者对应的微观特征，所述特征融合模块用于对所述微观特征和所述宏观特征进行非对称流形对齐，得到融合特征，所述分类模块用于对所述融合特征进行分类；依次将每个受试者的磁共振影像、原始基因表达信息以及原始基因序列信息输入所述影像基因融合分类模型，并计算所述影像基因融合分类模型的损失值；根据所述损失值，对所述影像基因融合分类模型进行反向传播，直至所述影像基因融合分类模型收敛，得到训练后的影像基因融合分类模型；将待分类者的磁共振影像、原始基因表达信息以及原始基因序列信息输入所述训练后的影像基因融合分类模型，得到所述待分类者的分类结果。2.根据权利要求1所述的影像基因融合分类方法，其特征在于，所述第一特征提取模块的接收端接收磁共振影像，所述第一特征提取模块的输出端链接所述特征融合模块的第一输入端，所述第二特征提取模块的第一输入端接收原始基因表达信息，所述第二特征提取模块第二输入端接收原始基因序列信息，所述第二特征提取模块的输出端连接所述特征融合模块的第二输入端，所述特征融合模块的输出端连接所述分类模块的输入端，所述分类模块的输出端输出分类结果。3.根据权利要求1所述的影像基因融合分类方法，其特征在于，所述根据所述原始基因表达信息和所述原始基因序列信息，提取每个受试者对应的微观特征，包括：确定各原始基因表达信息之间的线性关系，并根据所述线性关系构建基因关联网络；所述基因关联网络用于描述每个受试者与所有受试者之间的原始基因表达信息差异；根据所述基因关联网络，确定每个受试者的预测基因表达信息，并根据所述预测基因表达信息和所述原始基因表达信息，构建表达偏差矩阵；所述表达偏差矩阵用于衡量每个受试者的预测基因表达信息和该受试者原始基因表达信息之间的差异；根据所述表达偏差矩阵、所述原始基因表达信息以及所述原始基因序列信息，得到每个受试者对应的微观数据；利用改进后的图卷积神经网络对所述微观数据进行特征提取，得到每个受试者对应的微观特征。4.根据权利要求3所述的影像基因融合分类方法，其特征在于，所述确定各原始基因表达信息之间的线性关系，并根据所述线性关系构建基因关联网络，包括：通过计算公式得到所述线性关系其中，表示第i个受试者的原始基因表达信息与其他受试者的原始基因表达信息之间的线性关系，i＝1,2,...,N，E
j
表示第j个受试者的原始基因表达信息构成的向量，j＝1,2,...,N，j≠i，W
ij
表示所述线性关系的斜率，B
ij
表示所述线性关系的
偏置；通过计算公式得到所述基因关联网络(W,B)；其中，(W,B)表示关联网络中线性函数的斜率和偏置，(w,b)表示参数(W,B)的搜索空间，E
i
表示第i个受试者的原始基因表达信息构成的向量。5.根据权利要求4所述的影像基因融合分类方法，其特征在于，所述表达偏差矩阵的表达式如下E
′
i
＝C
ij
×
(IE
i
‑
(WE
i
+B))其中，E
′
i
表示第i个受试者的表达偏差矩阵，C
ij
表示第i个受试者的原始基因表达信息与其他受试者的原始基因表达信息之间的线性关系的可信度，(WE
i
+B)表示第i个受试者的预测基因表达信息，I表示单位矩阵，Cov(E
i
，E
j
)表示变量E
i
和E
j
的协方差，Var(E
i
)表示变量E
i
的方差，Var(E
j
)表示变量E
i
的方差。6.根据权利要求5所述的影像基因融合分类方法，其特征在于，所述根据所述表达偏差矩阵、所述原始基因表达信息以及所述原始基因序列信息，得到每个受试者对应的微观数据，包括：通过计算公式G
i
＝[G
i1
，G
i2
，G
i3
…
G
iK
]G
ij
＝f
...

【专利技术属性】
技术研发人员：刘锦，田旭，王建新，
申请(专利权)人：中南大学，
类型：发明
国别省市：