基于多尺度特征提取的分割模型建立、分割方法及装置制造方法及图纸

本发明专利技术属于语义分割技术领域，公开了一种基于多尺度特征提取的分割模型建立、分割方法及装置。该装置包括数据采集和预处理模块用于获取原始腹部3D CT图像集，对原始腹部3D CT图像集进行预处理，获得腹部3D CT图像集，进行标注获得标签集；模型建立模块用于建立3D U‑Net模型，3D U‑Net模型包括编码器和解码器，所述编码器和解码器均包含由低到高多个层级，每层编码器与同层级以及所有高层级的解码器之间存在跳跃连接，每层解码器与所有高层级的解码器之间存在跳跃连接；模型训练模块用于训练，将训练好的模型作为分割模型；分割模块用于获取待分割的原始腹部3D CT图像的分割结果。本发明专利技术在不同层级的编码器和解码器之间引入跳跃连接，增加了网络中信息传递的路径，解决了原始U‑Net难以同时提取不同尺度的特征的问题，提高了分割的准确性。

【技术实现步骤摘要】
基于多尺度特征提取的分割模型建立、分割方法及装置
本专利技术属于语义分割
，具体涉及一种基于多尺度特征提取的分割模型建立、分割方法及装置。
技术介绍
近年来，随着图像处理和深度学习技术的不断成熟，基于人工智能技术的计算机辅助诊断可以帮助病理医师进行更加客观、有效的诊断。深度卷积神经网络可直接从数据样本中隐式地自动学习医学图像特征，其学习过程本质上是一个优化问题的求解过程。通过学习，模型从训练数据中选择正确的特征，使其在测试新数据时做出正确决策。虽然将深度学习应用于医学影像问题已十分普遍，但针对消化道肿瘤方面的研究依然稀少。相比于医学图像中研究较多的器官分割，肿瘤分割一直是医学图像分割的难点，也逐渐称为热门的研究主题。肿瘤分割的难点有三方面。第一是类别不平衡，3DCT中大部分图像都是背景，只有很小的比例是肿瘤；第二是对比度低，对于从事非医学图像研究的人来说，看少量的病例就能大致知道每个数据中的器官在哪里，但是想把每个病例中的肿瘤都找出来，难度就大很多；第三，相对于器官，肿瘤的尺度变化差异明显，想要更好的分割效果就需要解决多尺度问题。现有方法对于医学图像分割时常采用U-Net方法，然而针对小肠间质瘤的数据集，直接使用U-Net进行分割效果并不理想，存在的问题如下：第一，对于体积较小的肿瘤，网络难以区分出来；第二，考虑临床影像特征，肿瘤在三维方向上具有连续性，但分割的结果会出现只有一张CT被标识出肿瘤，临近的CT均未被标识的情况。
技术实现思路
本专利技术的目的在于提供一种基于多尺度特征提取的分割模型建立、分割方法及装置，用以解决现有技术中的对尺寸较小的肿瘤分割效果较差的问题。为了实现上述任务，本专利技术采用以下技术方案：本专利技术与现有技术相比具有以下技术特点：(1)在消化道影像数据中，肿瘤类病灶区域存在多尺度和医学影像各向异性的特点，传统U-Net没有充分融合不同尺度的特征，因此对于肿瘤的定位以及边界分割不准确。本专利技术改进的3DU-Net在不同层级的编码器和解码器之间引入skip-connection，增加了网络中信息传递的路径，从而将网络提取到的不同尺度的特征充分融合。(2)本专利技术引入消化道器官的分割结果，从而增强了网络对消化道区域的特征提取能力。(3)为了解决网络医学图像的各向异性，在数据预处理阶段，本专利技术使用三阶样条插值的方法来将数据各个方向的间距统一。附图说明图1表示改进的3DU-Net结构示意图；图2表示实施例中D2的输入示意图；图3表示不同方法产生的模型对小尺度肿瘤的分割效果对比图。具体实施方式在本实施例中公开了一种基于多尺度特征提取的分割模型建立方法，包括如下步骤：步骤1：获取原始腹部3DCT图像集，对原始腹部3DCT图像集进行预处理，获得腹部3DCT图像集，对腹部3DCT图像集中每张腹部3DCT图像的消化道器官进行标注获得标签集；步骤2：建立3DU-Net模型，所述的3DU-Net模型包括编码器和解码器，所述编码器和解码器均包含由低到高多个层级，结合附图1，高层级指的是角标较大的层级，所述的低层级是指角标较小的层级，每层编码器与同层级以及所有高层级的解码器之间存在跳跃连接(skip-connection)，每层解码器与所有高层级的解码器之间存在跳跃连接；最低层编码器的输入为腹部3DCT图像，其余每层编码器的输入为低层级编码器的输出结果，每层解码器的输入为同层级及低层级的编码器输出结果以及高层级的解码器的输出结果；所述的编码器用于将输入的腹部3DCT图像的尺寸降低到个位数，例如，输入的尺寸为(48,160,224)，经过编码器后，尺寸为(6,5,7)；所述的编码器用于下采样，所述的解码器用于上采样，其中，每层编码器用于先在x方向和y方向进行下采样，直至x方向和y方向与z方向的分辨率相同后，再开始z方向的下采样；在x和y方向上，体素间距都小于1毫米，而在z方向上，体素间距普遍为5mm，也就是说数据集存在明显的各向异性。所以在编码器部分，并没有在三个维度同时下采样，而是先下采样高分辨率的维度(x,y)，直至与维度z的分辨率相近后，再开始z方向的下采样，这样有助于缓解医学影像的各向异性；步骤3：利用步骤1得到的腹部3DCT图像集以及标签集对3DU-Net模型进行训练，将训练好的模型作为基于多尺度特征提取的分割模型。具体的，步骤1中的预处理包括：数据裁剪、三阶样条插值的重采样和归一化。采用数据裁剪的原因为：小肠部位在整个CT序列中所占比例不高，为了减轻网络学习的压力，减少冗余信息的输入，有必要对原始的CT数据进行裁剪。在已有小肠分割结果的前提下，寻找小肠区域的最大连通域，然后对原始的CT文件裁剪。经统计，整个裁剪过程可以让输入到网络中的数据缩小40％左右，裁剪掉的数据全部是背景，在一定程度上缓解了类别不平衡的问题。同时原始CT图像中不可避免地出现床位的痕迹，通过裁剪，可以将其一并去除，从而起到了降噪的作用。采用三阶样条插值的重采样的原因为：在医学图像中，因为扫描仪的不同，不同数据的体素间距各不相同。医学中把这类现象称为体素间距的各向异性。而CNNs本身并不理解体素间隔。为了使网络能够正确地学习空间语义，以所有数据的体素间距的中位值为基准，对所有数据进行三阶样条插值的重采样，从而保证输入网络中的图像，体素间距是相等的。采用归一化的原因为：CT中的像素值和人体内的结构有直接的联系，反应了组织的物理性质。以数据集中前景部分HU值的均值和标准差这两个值为基础，使用z-score方法对数据集进行归一化，从而加快了梯度下降求最优解的速度。具体的，编码器为6层分别为E0-E5，解码器为5层分别为D0-D4。解码器的工作原理如下：在解码器部分，每一层级的输入不再是前一层的解码器的输出堆叠同层级的编码器的输出，而是由各层级的编解码输出共同堆叠，以达到进一步融合多尺度特征的目的。如图1所示，举例说明了如何构建D2的输入(D2指解码器的第二层级，层级从0开始，向下递增)。相比于传统U-Net，D2不仅接收同层级的编码器E2的输出特征图，还会接收含有更低级语义信息的E0和E1的输出特征图。为了特征图的尺寸一致，E0和E1的输出特征图需要经过下采样。同理，不同层级间的解码器也有更丰富的信息流动：E5、D3和D4的输出在上采样后，通过skipconncetions连接到E2，以传递更多的高级语义信息。将不同层级的特征图经过采样到同一分辨率后，还需要统一各个特征图的通道数，同时也是减少一些过多的信息。具体的做法是将每一个层级的特征图使用32个(z,x,y)尺寸为(3,3,3)的滤波器进行卷积。最后将所有层级的特征图堆叠，完成了不同尺度特征的融合，作为D2的输入。具体的，步骤2中，每一层的编码器和解码器的结构均为：卷积层+正则化+激活函数。正则化使用3D实例正则化。激活函数选用LeakyReLU激活函数。具体的，步骤3中进行训练时本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征提取的分割模型建立方法，其特征在于，包括如下步骤：/n步骤1：获取原始腹部3D CT图像集，对原始腹部3D CT图像集进行预处理，获得腹部3DCT图像集，对腹部3D CT图像集中每张腹部3D CT图像的消化道器官进行标注获得标签集；/n步骤2：建立3D U-Net模型，所述的3D U-Net模型包括编码器和解码器，所述编码器和解码器均包含由低到高多个层级，每层编码器与同层级以及所有高层级的解码器之间存在跳跃连接，每层解码器与所有高层级的解码器之间存在跳跃连接；/n所述的编码器用于下采样，所述的解码器用于上采样，其中，每层编码器用于先在x方向和y方向进行下采样，直至x方向和y方向与z方向的分辨率相同后，再开始z方向的下采样；/n步骤3：利用步骤1得到的腹部3D CT图像集以及标签集对3D U-Net模型进行训练，将训练好的模型作为分割模型。/n

【技术特征摘要】
1.一种基于多尺度特征提取的分割模型建立方法，其特征在于，包括如下步骤：
步骤1：获取原始腹部3DCT图像集，对原始腹部3DCT图像集进行预处理，获得腹部3DCT图像集，对腹部3DCT图像集中每张腹部3DCT图像的消化道器官进行标注获得标签集；
步骤2：建立3DU-Net模型，所述的3DU-Net模型包括编码器和解码器，所述编码器和解码器均包含由低到高多个层级，每层编码器与同层级以及所有高层级的解码器之间存在跳跃连接，每层解码器与所有高层级的解码器之间存在跳跃连接；
所述的编码器用于下采样，所述的解码器用于上采样，其中，每层编码器用于先在x方向和y方向进行下采样，直至x方向和y方向与z方向的分辨率相同后，再开始z方向的下采样；
步骤3：利用步骤1得到的腹部3DCT图像集以及标签集对3DU-Net模型进行训练，将训练好的模型作为分割模型。


2.如权利要求1所述的基于多尺度特征提取的分割模型建立方法，其特征在于，步骤1中的预处理包括：数据裁剪、三阶样条插值和归一化。


3.一种基于多尺度特征提取的分割方法，包括如下步骤：
步骤a：获取待分割的原始腹部3DCT图像，对待分割的原始腹部3DCT图像进行预处理，获得腹部3DCT图像；
步骤b：将腹部3DCT图像输入如权利要求1-2中任一种基于多尺度特征提取的分割模型建立方法得到的分割模型，获得待分割的原始腹部3DCT图像的分割结果。


4...

【专利技术属性】
技术研发人员：谢飞，郜刚，
申请(专利权)人：陕西大智慧医疗科技股份有限公司，
类型：发明
国别省市：陕西;61