一种基于多模态融合的医学影像处理方法及系统技术方案

本申请属于医学影像处理技术领域,具体而言为一种基于多模态融合的医学影像处理方法及系统，包括：获取CT图像和对应的数字病理图像，并进行配对；将配对的CT图像和数字病理图像分别输入到CT分支和病理分支；所述CT分支提取宏观形态和内部密度分布，得到CT特征图，所述病理分支提取微观细节，得到病理特征图；将来自不同层的CT特征图和病理特征图通过逐层级联和特征拼接的方式进行融合，得到综合特征图。本申请在面对图像噪声、不同成像设备或个体样本间的图像视觉差异时，仍能稳定地提取和识别关键的图像特征与模式，具有较强的图像分析鲁棒性。

【技术实现步骤摘要】

本申请属于医学影像处理,具体而言为一种基于多模态融合的医学影像处理方法及系统。

技术介绍

1、肺腺癌是肺癌中常见的类型之一，其不同组织学亚型（主要包括：贴壁状、腺泡状、乳头状、微乳头状、实性等）呈现出不同的组织形态学特征。通过图像处理技术解析这些特征对于深入理解组织结构、进行图像内容的精细化描述以及支持相关的计算分析研究具有重要意义。随着医学影像和病理数字化技术的发展，利用多模态数据提升图像特征识别准确率成为可能。然而，现有方法在处理这类多模态图像数据时仍存在一些技术挑战：

2、首先，单一模态图像分析的信息不完整性：仅依赖ct图像进行图像模式判读，易受到影像分辨率、噪声等因素的制约，对于一些尺寸微小或对比度不高的结构特征，ct图像可能无法提供足够清晰的细节。反之，仅使用数字病理图像进行分析，虽然能观察到微观层面的细节，但可能缺乏图像所对应的宏观三维空间背景信息，并且图像分析结果可能受限于切片的代表性和图像质量。因此，单一模态分析往往难以全面、准确地捕捉和描述肺部组织图像中的所有相关结构与纹理模式。

3、其次，多模态图像信息融合效率不本文档来自技高网...

【技术保护点】

1.一种基于多模态融合的医学影像处理方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态融合的医学影像处理方法，其特征在于，所述CT分支提取宏观形态和内部密度分布，得到CT特征图，包括：

3.根据权利要求1所述的基于多模态融合的医学影像处理方法，其特征在于，所述病理分支提取微观细节，得到病理特征图，包括:

4.根据权利要求1所述的基于多模态融合的医学影像处理方法，其特征在于，将来自不同层的CT特征图和病理特征图通过逐层级联和特征拼接的方式进行融合，包括：

5.根据权利要求1所述的基于多模态融合的医学影像处理方法，其特征在于，还包括，...

【技术特征摘要】

1.一种基于多模态融合的医学影像处理方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态融合的医学影像处理方法，其特征在于，所述ct分支提取宏观形态和内部密度分布，得到ct特征图，包括：

3.根据权利要求1所述的基于多模态融合的医学影像处理方法，其特征在于，所述病理分支提取微观细节，得到病理特征图，包括:

4.根据权利要求1所述的基于多模态融合的医学影像处理方法，其特征在于，将来自不同层的ct特征图和病理特征图通过逐层级联和特征拼接的方式进行融合，包括：

5.根据权利要求1所述的基于多模态融合的医学影像处理方法，其特征在于，还包括，在将来自不同层的ct特征图和病理特征图通过逐层级联和特征拼接的方式进行融合前，还包括：

6.一种基于多模态融合的医学影像处理系统，其特征在于，包括：

7.根据权利要求6所...

【专利技术属性】
技术研发人员：王浩然，栾岚，张波，刘丽丽，毛颖，孙星卉，周兴，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：