【技术实现步骤摘要】
本专利技术属于医疗数据处理的，具体涉及一种基于双模光谱交互学习的高阶张量多模态融合方法和模型。
技术介绍
1、近年来，生物流体的分子振动光谱是一种应用于疾病诊断的医学数据，其具有非侵入性、分辨率高等优点，已有许多研究将人工智能技术与光谱结合进行无创的疾病诊断，如肺癌、肾癌、食管癌、宫颈癌、乳腺癌、神经胶质瘤和其他恶性肿瘤的诊断。它还被证明可用于诊断传染性疾病和系统性红斑狼疮等疾病。红外光谱和拉曼光谱都属于分子振动光谱，可以以非破坏性的方式提供丰富的生物医学信息。但上述研究主要依赖于单一类型的数据，然而单一类型的数据无法提供足够准确的信息来支持准确的诊断。很多研究方法证明，多模研究实验效果优于单模研究。红外光谱和拉曼光谱在振动模式、波长范围及检测层次上表现的差异性，促使两种光谱融合能够互补并提高对样本的信息获取。这种互补性使得这两种技术在生物医学领域得以应用。
2、智能医疗的不断进步和发展，传感器、医疗相关设备和通信技术不断产生大量的医疗数据。多模态的医学数据被广泛应用于疾病诊断、治疗和临床研究领域，在预测复杂疾病时，为了处理这些庞大的多源数据，针对医疗数据的有效融合已成为一个越来越重要的研究领域。
3、有鉴于此，本专利技术提出一种基于双模光谱交互学习的高阶张量多模态融合方法和模型，从不同的模态数据中提取有效信息进行非级联特征级融合，以进行有效的融合。
技术实现思路
1、在智能医疗诊断领域中，医学数据日趋多模态化，振动光谱辅助检测技术以非侵入性、速度快等优点快
2、基于此，本专利技术提供了一种基于双模光谱交互学习的高阶张量多模态融合方法，将多模态数据在高维空间上构建非级联融合特征的重要高阶交互；采用跨模态交互学习方式来学习异构模态间，实现更准确的跨模态表示，提高了模型的鲁棒性，从而达到在生物医学多模态领域的有效性和通用性。
3、为了实现上述目的，所采用的技术方案为：
4、一种基于双模光谱交互学习的高阶张量多模态融合方法，包括以下步骤：
5、s10：输入拉曼光谱和红外光谱数据；
6、s20：通过高阶张量外积，让所述的拉曼光谱与红外光谱数据的非级联多模光谱融合表征，实现学习双模态之间的交互；
7、s30：计算正交性损失、重建损失、对抗损失，通过对所述的拉曼光谱特征和红外光谱特征进行独特的表征学习来弥补不同光谱之间的异质性差异。
8、进一步的，所述的拉曼光谱和红外光谱数据输入前进行基线校正、平滑处理、归一化处理。
9、进一步的，所述的拉曼光谱和红外光谱数据为血清样本的拉曼光谱和红外光谱数据。
10、进一步的，所述的高阶张量多模态融合方法还包括步骤s15特征重要性对齐，对所述的拉曼光谱与红外光谱数据计算特征重要性，进行特征选择。
11、再进一步的，所述的步骤s15的具体处理为：先通过对原始数据的特征重要性程度进行评分排序，得到保持原有数据维度的特征重要性排序矩阵；再根据每个特征对目标变量的贡献程度来裁剪数据维度；最后，以不同数据集中最优性能的维度作为基线。
12、进一步的，所述的步骤s20的具体处理为：先使用统一预对齐的编码器进行非线性映射，得到双模光谱的融合前表征；再采用高阶张量融合的方式，将不同光谱表征按照高阶矩阵乘法规则分别以行列的形式升维至三维空间，采用批量矩阵乘法进行高效融合；最后，将高阶交互的非级联融合特征映射回低维空间。
13、再进一步的，所述的步骤s20的具体处理步骤为：
14、①通过具有多层全连接架构的编码器ec学习不同光谱模态的非线性表征zm，其公式如下：
15、zm＝ec(hm；w),m∈{r,i}
16、式中，ec表示双模光谱预融合的编码器函数，w表示ec的参数，{r,i}分别表示为拉曼光谱和红外光谱数据；
17、②将双模态特征向量分别在第二、第三维度上升维以适配在高维空间上的批量矩阵乘法，形成双模光谱高阶交互的3-d融合张量，充分学习模态间动力学建模，其公式如下：
18、zm'＝[zm,1],m∈{r,i}，
19、式中，表示向量之间的外积，zf∈r(r+1)*(i+1)是双模光谱所有可能的组合的3-d张量立方体
20、③将非级联融合张量zf送入解码器和分类器进行任务分类，其公式如戏：
21、z′f＝dc(zf；w)，
22、式中，w表示dc的参数，z′f表示经过全连接层解码器后的融合特征表征。
23、进一步的，所述的步骤s30中，通过构建双模模态的共享表征编码器得到特征和特定表征编码器得到特征再通过编码器方程其中n分别代表为共享编码器和特定编码器，计算正交性损失、重建损失、对抗损失；
24、所述的正交性损失ldiff的计算公式为：
25、所述的重建损失lrec的计算公式为：
26、所述的对抗性损失ladv的计算公式为：ladv＝lf+lt
27、
28、
29、其中，lf为假对抗性损失，lt为真对抗性损失，为通过判别器得到对的预测值。
30、本专利技术还提供了一种基于双模光谱交互学习的高阶张量多模态融合模型，是一种轻量高效的处理非结构化和结构化多模态数据的通用性模型，具有强大的融合多模态数据的能力，准确率高。
31、为了实现上述目的，所采用的技术方案为：
32、一种基于双模光谱交互学习的高阶张量多模态融合模型，采用上述的高阶张量多模态融合方法获得。
33、进一步的，包括：输入模块、特征重要性对齐模块、双模高阶张量融合模块、跨模态交互学习模块
34、所述的输入模块用于输入拉曼光谱和红外光谱数据；
35、所述的特征重要性对齐模块用于对所述的拉曼光谱与红外光谱数据计算特征重要性，进行特征选择；
36、所述的双模高阶张量融合模块通过高阶张量外积，让所述的拉曼光谱与红外光谱数据的非级联多模光谱融合表征，实现学习双模态之间的交互；
37、所述的跨模态交互学习模块由正交性损失、重建损失、对抗损失组成，通过对所述的拉曼光谱特征和红外光谱特征进行独特的表征学习来弥补不同光谱之间的异质性差异。
38、与现有技术相比，本专利技术的有益效果在于：
39、本专利技术所述的一种基于双模光谱交互学习的高阶张量多模态融合方法和模型，基于拉曼光谱和红外光谱，从不同的模态数据中提取有效信息进行非级联特征级融合，以进行有效的融合，得到了一种双模交互学习高阶张量多模态融合(bhtmf)模型；同时致力于考虑多模态数据模态本文档来自技高网...
【技术保护点】
1.一种基于双模光谱交互学习的高阶张量多模态融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的高阶张量多模态融合方法，其特征在于，
3.根据权利要求1所述的高阶张量多模态融合方法，其特征在于，
4.根据权利要求1所述的高阶张量多模态融合方法，其特征在于，
5.根据权利要求3所述的高阶张量多模态融合方法，其特征在于，
6.根据权利要求1所述的高阶张量多模态融合方法，其特征在于，
7.根据权利要求6所述的高阶张量多模态融合方法，其特征在于，
8.根据权利要求1所述的高阶张量多模态融合方法，其特征在于，
9.一种基于双模光谱交互学习的高阶张量多模态融合模型，其特征在于，采用权利要求1-8任一项所述的高阶张量多模态融合方法获得。
10.权利要求9所述的高阶张量多模态融合模型，其特征在于，
【技术特征摘要】
1.一种基于双模光谱交互学习的高阶张量多模态融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的高阶张量多模态融合方法，其特征在于，
3.根据权利要求1所述的高阶张量多模态融合方法，其特征在于，
4.根据权利要求1所述的高阶张量多模态融合方法，其特征在于，
5.根据权利要求3所述的高阶张量多模态融合方法，其特征在于，
6.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。