基于交叉Transformer和MLIF的多模态融合生存预后方法技术

技术编号:40751403 阅读:39 留言:0更新日期:2024-03-25 20:07
本发明专利技术公开了一种基于交叉Transformer和MLIF的多模态融合生存预后方法,所述方法包括以下步骤:获取影像和病理切片数据集;对数据集进行预处理并标注感兴趣区域;对其进行手工特征提取;划分训练集和测试集;将所述影像组学特征和病理特征输入至预设的多模态融合模块进行二阶段的训练;其中,第一阶段的训练是采用交叉Transformer增强不同特征间的交互,利用多模态低秩交互融合模块(MLIF)将不同特征进行全面高效整合,生成多模态融合特征;第二阶段的训练是根据多模态融合特征,训练一个用于生存预后的回归网络,该网络的预测结果为最终结果。本发明专利技术通过端到端整合多模态数据揭示了不同模态数据之间的关联和互补性,提高了患者的治疗效果和生存率。

【技术实现步骤摘要】

本专利技术属于人工智能的,具体涉及一种基于交叉transformer和mlif的多模态融合生存预后方法。


技术介绍

1、肿瘤微环境(tumor microenvironment,tme)是肿瘤生存的关键环境,影响肿瘤进程和预后。由于肿瘤的异质性,患者治疗反应和预后各异,总体预后差。在这种情况下,生存预后评估对于制定个性化治疗计划至关重要。通过分析患者的生存时间和疾病进展,医生可以更准确地预测患者的病程,选择合适的治疗策略。这不仅可以提高治疗效果,也有助于优化医疗资源的分配。

2、近年来,随着高通量测序技术的快速发展,生存分析的重点已经从检查临床指标转向将患者不同层次的数据结合起来,比如ct影像和病理图像的结合。因此,融合多模态数据的深度学习方法被引入到癌症生存分析中。然而,这些方法都是基于单独的病理图像块分析,仍然缺乏有效的多模态融合来克服病理图像和基因组数据的异质性。现有的研究已经表明,通过采用多模态数据进行生存分析这项任务取得了重大进展。但是现有的方法要么直接采用病理特征和影像组学特征直接融合进行生存预测;要么采用张量融合的方法将多模态数据本文档来自技高网...

【技术保护点】

1.基于交叉Transformer和MLIF的多模态融合生存预后方法,其特征在于,包括下述步骤:

2.根据权利要求1所述基于交叉Transformer和MLIF的多模态融合生存预后方法,其特征在于,所述归一化操作具体为:

3.根据权利要求2所述基于交叉Transformer和MLIF的多模态融合生存预后方法,其特征在于,所述标注感兴趣区域具体为:

4.根据权利要求1所述基于交叉Transformer和MLIF的多模态融合生存预后方法,其特征在于,所述在第一阶段的训练过程中,引入自注意机制,为每个模态构造一个编码器以进行特征选择和降维并获得模态内表示,具...

【技术特征摘要】

1.基于交叉transformer和mlif的多模态融合生存预后方法,其特征在于,包括下述步骤:

2.根据权利要求1所述基于交叉transformer和mlif的多模态融合生存预后方法,其特征在于,所述归一化操作具体为:

3.根据权利要求2所述基于交叉transformer和mlif的多模态融合生存预后方法,其特征在于,所述标注感兴趣区域具体为:

4.根据权利要求1所述基于交叉transformer和mlif的多模态融合生存预后方法,其特征在于,所述在第一阶段的训练过程中,引入自注意机制,为每个模态构造一个编码器以进行特征选择和降维并获得模态内表示,具体为:

5.据权利要求1所述基于交叉transformer和mlif的多模态融合生存预后方法,其特征在于,所述采用交叉transformer增强不同特征之间的交互,具体为:

6.据权利要求1所述基于交叉transformer和mlif的多模态融合生存预后方法,其特征...

【专利技术属性】
技术研发人员:潘细朋安娅君林欢杨辉华周南卞新军刘再毅
申请(专利权)人:桂林电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1