多模态磁共振影像的分割方法、装置及介质制造方法及图纸

一种多模态磁共振影像的分割方法、装置、设备及介质，方法包括：分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。该方法极大地降低了图像梳理过程中的参数量，降低计算开销，提高分割精度。

Segmentation method, device and medium of multimodal MR image

【技术实现步骤摘要】
多模态磁共振影像的分割方法、装置及介质
本公开涉及智能医学影像分析领域，特别是涉及一种多模态磁共振影像的分割方法、装置及介质。
技术介绍
脑胶质瘤是由大脑胶质细胞癌变所产生的最常见的原发性颅脑恶性肿瘤，其发病率约占颅内肿瘤的40％～50％，具有发病率高、复发率高、死亡率高及治愈率低的特点。诊断病情时常使用多种成像模式的磁共振成像(MRI)绘制肿瘤的组织变化。有效的肿瘤分割图像可以帮助医生判断手术切除的范围，从而提高手术切除的完整程度，减少患者术后功能缺陷等并发症的产生。目前主流的分割方法是使用三维卷积神经网络，通过三维卷积提取空间信息，能够达到较高精度，但也存在参数量多、计算开销大的明显弊端。
技术实现思路
(一)要解决的技术问题针对于上述技术问题，本公开提出一种多模态磁共振影像的分割方法、装置及介质，用于至少解决上述技术问题。(二)技术方案根据本公开实施例的第一方面，提供一种多模态磁共振影像的分割方法，方法包括：分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。可选地，分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取，包括：获取特征提取模型，其中，提取模型包括三个不同方向为伪三维卷积处理模块，分别对应多模态磁共振影像的横断面、冠状面及矢状面；将多模态磁共振影像输入特征提取模型，以提取横断面、冠状面及矢状面的二维图像特征。可选地，方法还包括：训练特征提取模型，该操作包括：获取训练数据集，训练数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像，多模态磁共振影像上标注有肿瘤级别；对训练数据集进行像素级标注；利用标注后的训练数据集训练特征提取模型。可选地，利用标注后的训练数据集训练特征提取模型，包括：将标注的像素级转化为全肿瘤区域、肿瘤核心区域及增强肿瘤区域分别对应的二值分割图；计算二值分割图的损失。可选地，利用标注后的训练数据集训练特征提取模型，还包括：对标注后的训练数据集训进行数据增广，其中，数据增广包括数据随机翻转、数据随机旋转、数据随机缩放和数据随机扰动。可选地，计算二值分割图的损失，包括：计算二值分割图的损失的损失函数为：其中，是预测的第i个像素属于第c类子区域的概率值，是其对应真实标签，∈表示拉普拉斯平滑常数。可选地，方法还包括：获取测试数据集，测试数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像，多模态磁共振影像上未标注有肿瘤级别；将测试数据集输入训练后的特征提取模型，根据输出值对特征提取模型进行优化。可选地，利用标注后的训练数据集训练特征提取模型，还包括：将标注后的训练数据集裁剪至预设尺寸范围内，对裁剪后的训练数据集进行归一化。根据本公开实施例的第二方面，提供了一种多模态磁共振影像的分割装置，装置包括：第一特征提取模块，用于分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；第二特征提取模块，用于分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；融合模块，用于分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；处理模块，用于对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。根据本公开实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器。存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。根据本公开实施例的第四方面，提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。根据本公开实施例的第五方面，提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。(三)有益效果本公开提一种多模态磁共振影像的分割方法、装置及介质，通过三个不同方向的伪三维卷积处理模块对多模态磁共振影像的三维信息进行解耦后提取。极大地降低了图像梳理过程中的参数量，降低计算开销。同时，使用不同方向的并联伪卷积结构对多模态磁共振影像的横断面、冠状面及矢状面进行提取，能够得到更有效的空间信息，提高分割精度。附图说明为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。其中：图1示意性示出了根据本公开一示例性实施例的多模态磁共振影像的分割方法的流程图；图2示意性示出了根据本公开一示例性实施例的特征提取模型的架构图；图3示意性示出了根据本公开一示例性实施例的特征提取模型的网络结构图；图4示意性示出了根据本公开一示例性实施例的特征提取模型的训练方法流程图；图5示意性示出了根据本公开一示例性实施例的多模态磁共振影像的分割装置的框图；以及图6示意性示出了根据本公开一示例性实施例的电子设备的框图。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。本公开实施例通过设计一种多方向融合模块，将医学多模态磁共振影像数据的三维空间信息进行拆分与融合，使用少量参数提取有效特征，并以此构建了一种新型轻量卷积神经网络，大幅降低参数量并实现准确的胶质瘤分割。图1示意性示出了根据本公开一示例性实施例的多模态磁共振影像的分割方法的流程图，该方法例如可以包括操作S101～S104.S101，分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取。在本公开一可行的方式中，采用一特征提取模型对分别对多模态磁共振影像进行特征提取。该特征提取模型的架构图如图2所示，该模型可以包括三个不同方向的伪三维卷积处理模块，分别对应多模态磁共振影像的横断面、冠状面及矢状面，用于对三个面的图像特征进行提取。实际上，医生在观看MRI影像数据时是以观察二维平面图像为主，并根据图像切片位置辅助判断，故伪三维卷本文档来自技高网...

【技术保护点】
1.一种多模态磁共振影像的分割方法，其特征在于，方法包括：/n分别对所述多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；/n分别对所述多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；/n分别将所述横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到所述横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；/n对所述第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。/n

【技术特征摘要】
1.一种多模态磁共振影像的分割方法，其特征在于，方法包括：
分别对所述多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；
分别对所述多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；
分别将所述横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到所述横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；
对所述第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。


2.根据权利要求1所述的方法，其特征在于，所述分别对所述多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取，包括：
获取特征提取模型，其中，所述提取模型包括三个不同方向为伪三维卷积处理模块，分别对应所述多模态磁共振影像的横断面、冠状面及矢状面；
将所述多模态磁共振影像输入所述特征提取模型，以提取横断面、冠状面及矢状面的二维图像特征。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：训练所述特征提取模型，该操作包括：
获取训练数据集，所述训练数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像，所述多模态磁共振影像上标注有肿瘤级别；
对所述训练数据集进行像素级标注；
利用标注后的训练数据集训练所述特征提取模型。


4.根据权利要求3所述的方法，其特征在于，所述利用标注后的训练数据集训练所述特征提取模型，包括：
将标注的像素级转化为所述全肿瘤区域、肿瘤核心区域及增强肿瘤区域分别对应的二值分割图；
计算所述二值分割图的损失。


5.根据权利要求3所述的方法，其特征在于，所述利用标注后的训练数据集训练所述特征提取模型，还包括：
对所述标注后的训练数据集训进行数据增广，其中，所述数据增广包括数据随机翻转、数据随机旋转、...

【专利技术属性】
技术研发人员：张勇东，刘荪傲，谢洪涛，
申请(专利权)人：中国科学技术大学，北京中科研究院，
类型：发明
国别省市：安徽;34