【技术实现步骤摘要】
本专利技术属于人工智能的,具体涉及一种基于交叉transformer和mlif的多模态融合生存预后方法。
技术介绍
1、肿瘤微环境(tumor microenvironment,tme)是肿瘤生存的关键环境,影响肿瘤进程和预后。由于肿瘤的异质性,患者治疗反应和预后各异,总体预后差。在这种情况下,生存预后评估对于制定个性化治疗计划至关重要。通过分析患者的生存时间和疾病进展,医生可以更准确地预测患者的病程,选择合适的治疗策略。这不仅可以提高治疗效果,也有助于优化医疗资源的分配。
2、近年来,随着高通量测序技术的快速发展,生存分析的重点已经从检查临床指标转向将患者不同层次的数据结合起来,比如ct影像和病理图像的结合。因此,融合多模态数据的深度学习方法被引入到癌症生存分析中。然而,这些方法都是基于单独的病理图像块分析,仍然缺乏有效的多模态融合来克服病理图像和基因组数据的异质性。现有的研究已经表明,通过采用多模态数据进行生存分析这项任务取得了重大进展。但是现有的方法要么直接采用病理特征和影像组学特征直接融合进行生存预测;要么采用张量融
...【技术保护点】
1.基于交叉Transformer和MLIF的多模态融合生存预后方法,其特征在于,包括下述步骤:
2.根据权利要求1所述基于交叉Transformer和MLIF的多模态融合生存预后方法,其特征在于,所述归一化操作具体为:
3.根据权利要求2所述基于交叉Transformer和MLIF的多模态融合生存预后方法,其特征在于,所述标注感兴趣区域具体为:
4.根据权利要求1所述基于交叉Transformer和MLIF的多模态融合生存预后方法,其特征在于,所述在第一阶段的训练过程中,引入自注意机制,为每个模态构造一个编码器以进行特征选择和降维
...【技术特征摘要】
1.基于交叉transformer和mlif的多模态融合生存预后方法,其特征在于,包括下述步骤:
2.根据权利要求1所述基于交叉transformer和mlif的多模态融合生存预后方法,其特征在于,所述归一化操作具体为:
3.根据权利要求2所述基于交叉transformer和mlif的多模态融合生存预后方法,其特征在于,所述标注感兴趣区域具体为:
4.根据权利要求1所述基于交叉transformer和mlif的多模态融合生存预后方法,其特征在于,所述在第一阶段的训练过程中,引入自注意机制,为每个模态构造一个编码器以进行特征选择和降维并获得模态内表示,具体为:
5.据权利要求1所述基于交叉transformer和mlif的多模态融合生存预后方法,其特征在于,所述采用交叉transformer增强不同特征之间的交互,具体为:
6.据权利要求1所述基于交叉transformer和mlif的多模态融合生存预后方法,其特征...
【专利技术属性】
技术研发人员:潘细朋,安娅君,林欢,杨辉华,周南,卞新军,刘再毅,
申请(专利权)人:桂林电子科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。