多模态肝脏肿瘤分割方法、装置、电子设备及存储介质制造方法及图纸

技术编号:46467969 阅读:6 留言:0更新日期:2025-09-23 22:29
本申请提出一种多模态肝脏肿瘤分割方法、装置、电子设备及存储介质,应用于图像处理技术领域,方法包括:获取原始肝脏肿瘤图像;通过预训练的多模态图像合成子模型,对多个模态关联的模态提示以及多个模态的肝脏背景图像进行图像合成,得到目标合成多模态图像;通过预训练的多模态图像分割子模型,对多个模态关联的模态提示和目标合成多模态图像进行图像分割,得到目标肝脏肿瘤分割图像;本申请通过多模态图像合成子模型和多模态图像分割子模型,尤其是通过模态提示、模型中的模态驱动模型和上下文感知融合模块实现对不同模态间的关联特征的学习,从而实现从多个模态的原始肝脏肿瘤图像得到目标肝脏肿瘤分割图像,进而提高肝脏肿瘤图像分割精度。

【技术实现步骤摘要】

本申请涉及图像处理,特别涉及一种多模态肝脏肿瘤分割方法、装置、电子设备及存储介质


技术介绍

1、在相关技术中,多模态肝脏肿瘤分割通过整合互补的软组织特征和多维影像信息,在肝脏病变筛查和临床决策支持领域展现了显著应用价值。常规的计算机断层扫描阶段包括非增强期、动脉期、门静脉期和延迟期,每个阶段能够呈现特定的解剖结构和病理特征。在实际应用中,由于单一影像模态难以全面捕捉器官复杂的组织信息,从而需要结合多个阶段来揭示病理变化。

2、已提出的肝脏肿瘤分割技术可归纳为:1)基于阈值与空间约束的分割方法;2)结合局部特征与学习器的传统算法;3)深度神经网络架构。其中深度学习特别是卷积神经网络,作为数据驱动型方法,可通过端到端优化自动学习特征表达,但其效能严重依赖规模标注数据。

3、然而,上述现有方法通常都严重依赖于大量标注的训练数据。由于扫描时间有限、运动或伪影引起的图像损坏以及使用不同的成像方案等因素,为每位患者获得完整的多模态图像可能具有挑战性。另外,手工描绘既费时又费力,而且评分者之间和评分者内部的差异很大,导致多模态图像的标签获取成本本文档来自技高网...

【技术保护点】

1.一种多模态肝脏肿瘤分割方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过预训练的多模态图像合成子模型,对多个模态关联的第一模态提示以及多个模态的所述肝脏背景图像进行图像合成,得到目标合成多模态图像,包括:

3.根据权利要求2所述的方法,其特征在于,所述通过所述扩散编码器、所述第一模态驱动模块以及所述扩散解码器,对多个模态关联的第一模态提示和所述图像潜在表示进行扩散操作,得到多个第一潜在特征,包括:

4.根据权利要求1所述的方法,其特征在于,所述通过预训练的多模态图像分割子模型,对多个模态关联的第二模态提示和所述目标...

【技术特征摘要】

1.一种多模态肝脏肿瘤分割方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过预训练的多模态图像合成子模型,对多个模态关联的第一模态提示以及多个模态的所述肝脏背景图像进行图像合成,得到目标合成多模态图像,包括:

3.根据权利要求2所述的方法,其特征在于,所述通过所述扩散编码器、所述第一模态驱动模块以及所述扩散解码器,对多个模态关联的第一模态提示和所述图像潜在表示进行扩散操作,得到多个第一潜在特征,包括:

4.根据权利要求1所述的方法,其特征在于,所述通过预训练的多模态图像分割子模型,对多个模态关联的第二模态提示和所述目标合成多模态图像进行图像分割,得到目标肝脏肿瘤分割图像,包括:

5.根据权利要求1至4任一项所述的方法,其特征在于,所述多模态图像合成子模型和所述多模态图像分割子模型构成肝脏肿瘤分割模型,所述上下文感知融合模块包括平均自适应融合模块,所述肝脏肿...

【专利技术属性】
技术研发人员:唐晓颖陈诗云林立
申请(专利权)人:南方科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1