一种多模态三维图像分割方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种多模态三维图像分割方法、装置、设备及存储介质，该方法包括：获取目标对象的多模态三维图像，其中，所述多模态三维图像包括至少两种模态下采集的所述目标对象的目标三维图像；基于所述多模态三维图像以及与所述多模态三维图像对应的目标图像分割模型，确定与每张所述目标三维图像对应的目标分割图像，其中，所述目标图像分割模型包括与每个所述目标三维图像对应的模型支路，所述模型支路包括特征融合网络，所述特征融合网络用于连接至少两个所述模型支路，以将其连接的支路中的所述目标三维图像进行特征融合，以降低多模态三维图像的融合复杂度，提高多模态三维图像分割精度。图像分割精度。图像分割精度。

【技术实现步骤摘要】
一种多模态三维图像分割方法、装置、设备及存储介质


[0001]本专利技术涉及医学图像分割
，尤其涉及一种多模态三维图像分割方法、装置、设备及存储介质。

技术介绍

[0002]近年来，多模态医疗影像在医学图像分割中得到了广泛的应用。基于多模态影像勾画和特征提取构建病灶分析模型，在肿瘤智能诊断、疗效评估等多个方面有重要价值。
[0003]传统多模态分割为多模态输入，将不同模态的图像配准至同一角度并将各个图像能提供的患者病变部位的图像特征融合至一张图像上显示，共同预测一个病灶图像输出。
[0004]然而，通过单个病灶图像进行疾病诊断，在实际确定病因过程中是行不通的。同时，传统多模态分割对各图像初始对齐状况、相似度要求较高，致使图像配准融合的复杂度较高，病变区域分割精度较低。

技术实现思路

[0005]本专利技术提供了一种多模态三维图像分割方法、装置、设备及存储介质，以降低多模态三维图像的融合复杂度，提高多模态三维图像分割精度。
[0006]根据本专利技术的一方面，提供了一种多模态三维图像分割方法。该方法包括：
[0007]获取目标对象的多模态三维图像，其中，所述多模态三维图像包括至少两种模态下采集的所述目标对象的目标三维图像；
[0008]基于所述多模态三维图像以及与所述多模态三维图像对应的目标图像分割模型，确定与每张所述目标三维图像对应的目标分割图像，其中，所述目标图像分割模型包括与每个所述目标三维图像对应的模型支路，所述模型支路包括特征融合网络，所述特征融合网络用于连接至少两个所述模型支路，以将其连接的支路中的所述目标三维图像进行特征融合。
[0009]根据本专利技术的另一方面，提供了一种多模态三维图像分割装置，其特征在于，包括：
[0010]多模态三维图像获取模块，用于获取目标对象的多模态三维图像，其中，所述多模态三维图像包括至少两种模态下采集的所述目标对象的目标三维图像；
[0011]目标分割图像确定模块，用于基于所述多模态三维图像以及与所述多模态三维图像对应的目标图像分割模型，确定与每张所述目标三维图像对应的目标分割图像，其中，所述目标图像分割模型包括与每个所述目标三维图像对应的模型支路，所述模型支路包括特征融合网络，所述特征融合网络用于连接至少两个所述模型支路，以将其连接的支路中的所述目标三维图像进行特征融合。
[0012]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的多模态三维图像分割方法。
[0016]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的多模态三维图像分割方法。
[0017]本专利技术实施例的技术方案，通过获取目标对象的多种模态下采集的多模态三维图像，并将多模态三维图像输入至与所述多模态三维图像对应的目标图像分割模型，从而可以确定与每张所述目标三维图像对应的目标分割图像，根据确定的多个目标分割图像可以提高诊断的准确率。其中，所述目标图像分割模型包括与每个所述目标三维图像对应的模型支路，所述模型支路包括特征融合网络，所述特征融合网络用于连接至少两个所述模型支路，以将其连接的支路中的所述目标三维图像进行特征融合，通过目标图像分割模型可以降低多模态三维图像的融合复杂度，同时也提高了多模态三维图像分割精度和分割效率。
[0018]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是根据本专利技术实施例一提供的多模态三维图像分割方法的流程图；
[0021]图2是根据本专利技术实施例一提供的目标图像分割模型的结构示意图；
[0022]图3是根据本专利技术实施例一提供的特征融合网络的结构示意图；
[0023]图4是根据本专利技术实施例一提供的特征融合模块的结构示意图；
[0024]图5是根据本专利技术实施例一提供的第一融合单元的结构示意图；
[0025]图6是根据本专利技术实施例二提供的多模态三维图像分割方法的流程图；
[0026]图7是根据本专利技术实施例三提供的多模态三维图像分割装置的结构图；
[0027]图8是实现本专利技术实施例的多模态三维图像分割方法的电子设备的结构示意图。
具体实施方式
[0028]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0029]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0030]实施例一
[0031]图1为本专利技术实施例一提供了一种多模态三维图像分割方法的流程图，本实施例可适用于对用户多模态三维图像的病灶区域进行融合分割的情况，该方法可以由多模态三维图像分割装置来执行，该多模态三维图像分割装置可以采用硬件和/或软件的形式实现，该多模态三维图像分割装置可配置于电子设备中。如图1所示，该方法包括：
[0032]S101、获取目标对象的多模态三维图像。
[0033]其中，所述多模态三维图像包括至少两种模态下采集的所述目标对象的目标三维图像。
[0034]需要说明的是，多模态三维图像可以是指在针对目标对象同一身体部位拍摄的不同模态的多个三维图像。示例性地，多模态三维图像可以包括DCE图像(Dynamic Contrast Enhanced,动态对照增强成像)和DWI图像(diffusion
‑
weight本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态三维图像分割方法，其特征在于，包括：获取目标对象的多模态三维图像，其中，所述多模态三维图像包括至少两种模态下采集的所述目标对象的目标三维图像；基于所述多模态三维图像以及与所述多模态三维图像对应的目标图像分割模型，确定与每张所述目标三维图像对应的目标分割图像，其中，所述目标图像分割模型包括与每个所述目标三维图像对应的模型支路，所述模型支路包括特征融合网络，所述特征融合网络用于连接至少两个所述模型支路，以将其连接的支路中的所述目标三维图像进行特征融合。2.根据权利要求1所述的方法，其特征在于，所述模型支路包括与所述特征融合网络连接的反卷积模块；所述基于所述多模态三维图像以及与所述多模态三维图像对应的目标图像分割模型，确定与每张所述目标三维图像对应的目标分割图像，包括：针对单个所述模型支路，基于所述特征融合网络，根据与所述特征融合网络连接的模型支路中的目标三维图像，确定待反卷积特征图像；基于所述反卷积模块，将所述待反卷积特征图像进行上采样处理，获得目标分割图像。3.根据权利要求2所述的方法，其特征在于，所述模型支路还包括图像预处理模块，所述特征融合网络包括特征融合模块和卷积模块，所述卷积模块设置于所述特征融合模块之后；所述基于所述特征融合网络，根据与所述特征融合网络连接的模型支路中的目标三维图像，确定待反卷积特征图像，包括：针对单个所述模型支路，基于所述图像预处理模块，将所述目标三维图像进行图像特征提取处理，获得三维特征图像；基于所述特征融合模块，根据与所述特征融合模块连接的模型支路中的所述三维特征图像，确定待卷积特征图像；基于所述卷积模块，将所述待卷积特征图像进行下采样处理，获得待反卷积特征图像。4.根据权利要求3所述的方法，其特征在于，所述特征融合模块包括第一融合单元和第二融合单元；所述基于所述特征融合模块，根据与所述特征融合模块连接的模型支路中的所述三维特征图像，确定待卷积特征图像，包括：基于所述第一融合网络单元，将与所述特征融合模块连接的模型支路中的所述三维特征图像进行特征融合处理，获得三维融合图像；基于所述第二融合网络单元，将所述三维融合图像与所述三维特征图像进行特征融合处理，获得待卷积特征图像。5.根据权利要求4所述的方法，其特征在于，所述第一融合单元包括与每个所述三维特征图像对应的单元分支路，至少两个所述单元分支路中设置有池化子单元、注意力机制子单元、卷积子单元和反池化子单元；所述基于所述第一融合网络单元，将与所述特征融合模块连接的支路中的所述三维特征图像进行特征融合处理，获得三维融合图像，包括：针对每个所述单元分支路，基于所述池化子单元，将所述三维特征图像进行池化处理，
获得待融合特征图像；基于所述注意力机制子单元，将与所述注意力机制单元连接的所述单元分支路中的所述待融合特征图像进行特征融合处理，获得待卷积融合图像；基于所述卷积子单元，将所述待卷积融合...

【专利技术属性】
技术研发人员：刘长东，许文仪，周子捷，
申请(专利权)人：联仁健康医疗大数据科技股份有限公司，
类型：发明
国别省市：