一种基于数据增强的医学图像分割方法技术

本发明专利技术公开了一种基于数据增强的医学图像分割方法，该方法针对医学图像缺乏带标签数据集的现状，通过数据增强的方法扩充数据集进而用来训练分割网络。该方法通过图像配准的方法，并且借鉴了循环生成对抗网络的循环一致性思想，通过基于循环一致性的空间结构配准网络和基于循环一致性的外观结果配准网络生成空间变换配准域和外观变换配准域，同时通过循环一致性损失进一步提升和优化图像配准的准确性；然后通过生成的空间变换配准域和外观变换配准域进行图像配准，从而达到扩充带标签数据集的目的，最终用来训练图像分割网络。本发明专利技术解决了带标签医学图像数据集稀缺的问题，并且进一步提升了生成图像的质量，在医学图像分割领域有着广泛的应用。领域有着广泛的应用。领域有着广泛的应用。

【技术实现步骤摘要】
一种基于数据增强的医学图像分割方法


[0001]本专利技术属于医学影像处理领域，涉及医学影像图形的分割方法，具体为一种基于数据增强的医学图像分割方法。

技术介绍

[0002]随着医学影像技术的蓬勃发展，医学影像在临床医疗中有着广泛和深入的应用。据统计，全球每年有几千万病例通过医学影像进行辅助诊断和治疗。在基于医学影像诊断和治疗的传统方法中，医师对医学影像数据进行阅读、识别，并对疾病的诊断和治疗做出判断。这种诊疗方式非常低效，且个体差异大，医生凭个人的经验很容易漏诊和误诊，长时间阅片会导致医生疲劳，阅片准确率下降。随着人工智能的兴起，通过用机器预先对影像数据的筛选和判断，标注重点可疑区域，再交由医生进行诊断和治疗，可以大大减轻医生的工作量，且结果全面、稳定和高效。因此，人工智能在医学影像领域内具有重要的应用前景。
[0003]在传统的医学图像分割任务中，为了能够充分地训练神经网络，达到高准确率的结果，需要准备大量相关的医学影像数据，并且需要对这些医学影像数据进行人工的像素级标注。医学疾病多种多样，对应的医学图像也是多种多样，利用深度学习进行医学影像分割，每种疾病对应的医学影像都需要进行人为的手工标注，耗费大量的人力物力。即使是最大的医学图像公共数据集，也只能提供有限的语义类别的像素级标注样本。高质量的数据在医学图像数据集中稀缺，严重限制语义分割模型的精确度。
[0004]因此医学图像分割任务中通常是通过数据增强的方式扩充数据集，然后再基于扩充后的数据集训练医学图像分割模型。目前主流的数据增强方式有仿射变换(Affine Transformation)、图像配准(Image Registration)和生成对抗网络(GAN,Generative Adv ersarial Networks)。仿射变换的缺点在于生成的图像质量较差；图像配准的缺点在于需要可靠的特征提取和鲁棒的特征一致性；而生成对抗网络的缺点则是医学图像特征提取不够充分、对抗训练的计算量大等。因此，当前需要一种新的基于数据增强的医学图像分割方法，以解决以上问题。

技术实现思路

[0005]本专利技术要解决的问题是：在医学图像分割技术中，由于带标签数据集稀缺，且基于仿射变换的医学图像分割技术、基于图像配准的医学图像分割技术和基于生成对抗网络的医学图像分割技术在图像成像质量、特征提取和计算量方面仍然需要改善。
[0006]为了解决上述问题，本专利技术提供了一种基于数据增强的医学图像分割方法。该方法将循环生成对抗网络(CycleGAN,Cycle
‑
Consistent Generative Adversarial Networks)的循环一致性思想融入图像配准中实现数据增强的目的，使得生成图像的质量更高，以便训练图像分割网络。同时本专利技术采用的是固定源图像的图像配准方法，即在训练过程和测试过程中使用的是同一幅图像作为源图像。该方法包括以下步骤：
[0007]1)收集大量规定尺寸的核磁共振医学图像，其中包括少量的带标签图像以及大量
的不带标签图像，假设共有n幅图像；
[0008]2)首先选定一幅带标签图像作为源图像，除源图像外其余的n
‑
1幅图像作为目标图像。每次选择一幅目标图像和该源图像成对地作为输入送入基于循环一致性的空间结构配准网络进行训练，经过多次迭代优化后，得到该源图像对应的基于循环一致性的空间结构配准网络；
[0009]3)依次将除源图像外其余的n
‑
1幅图像作为目标图像与选定的源图像成对地输入训练后的基于循环一致性的空间结构配准网络，获得n
‑
1个空间变换配准域；
[0010]4)然后仍然将2)选定的图像作为源图像，除源图像外其余的n
‑
1幅图像作为目标图像。每次选择一幅目标图像和该源图像成对地作为输入送入基于循环一致性的外观结构配准网络进行训练，经过多次迭代优化后，得到该源图像对应的基于循环一致性的外观结构配准网络；
[0011]5)依次将除源图像外其余的n
‑
1幅图像作为目标图像与选定的源图像成对地输入训练后的基于循环一致性的外观结构配准网络，获得n
‑
1个外观变换配准域；
[0012]6)将选定的源图像依次和3)得到的n
‑
1个空间变换配准域进行运算，即得到n
‑
1幅具有不同空间结构的生成图像；
[0013]7)将选定源图像的分割标签依次和3)得到的n
‑
1个空间变换配准域进行运算，即得到这n
‑
1幅具有不同空间结构的生成图像的分割标签；
[0014]8)将这n
‑
1幅具有不同空间结构的生成图像依次分别和5)得到的n
‑
1个外观变换配准域进行运算，即可得到(n
‑
1)
×
(n
‑
1)幅具有不同空间结构和不同外观结构的最终生成图像；
[0015]9)将8)和7)生成的(n
‑
1)
×
(n
‑
1)幅带标签图像训练图像分割网络；
[0016]10)输入待分割图像，输出该图像对应的分割标签。
[0017]进一步，所述步骤2)中训练基于循环一致性的空间结构配准网络，具体是：
[0018]2.1)基于循环一致性的空间结构配准网络包含两个VoxelMorph子网；
[0019]2.2)首先选定一幅带标签图像作为源图像x
s
，同时任选一幅和源图像x
s
不同的图像作为目标图像y
s
，然后将源图像x
s
和目标图像y
s
作为输入送入到第一个VoxelMorph网络之中，得到空间变换配准域τ
s
；
[0020]2.3)将源图像x
s
和空间变换配准域τ
s
进行运算，得到与目标图像y
s
空间结构相似的生成图像
[0021]2.4)再次将作为源图像，x
s
作为目标图像，将两者作为输入送入到第二个VoxelMorph网络之中，得到空间变换配准域
[0022]2.5)将源图像和空间变换配准域进行运算，得到与目标图像x
s
空间结构相似的生成图像
[0023]2.6)如下一致性损失函数所示，x
s
作为基于循环一致性的空间结构配准网络的源图像，为经过基于循环一致性的空间结构配准网络配准后生成的图像。通过一致性损失函数的约束，使得生成图像和源图像x
s
的空间结构更为相似。一致性损失函数为：
[0024][0025]2.7)在训练过程中，为了最大化基于循环一致性的空间结构配准网络的性能，往往会使网络产生不连续的空间变换配准域，因此要对预测的空间变换配准域施加一个空间平滑性的约束，即本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据增强的医学图像分割方法，其特征在于，对给定的少量带标签图像和大量不带标签图像，进行如下操作：1)收集核磁共振医学图像，其中包括带标签图像以及不带标签图像，假设共有n幅图像；2)首先选定一幅带标签图像作为源图像，除源图像外其余的n
‑
1幅图像作为目标图像；每次选择一幅目标图像和该源图像成对地作为输入送入基于循环一致性的空间结构配准网络进行训练，经过多次迭代优化后，得到该源图像对应的基于循环一致性的空间结构配准网络；3)依次将除源图像外其余的n
‑
1幅图像作为目标图像与选定的源图像成对地输入训练后的基于循环一致性的空间结构配准网络，获得n
‑
1个空间变换配准域；4)然后仍然将2)选定的图像作为源图像，除源图像外其余的n
‑
1幅图像作为目标图像；每次选择一幅目标图像和该源图像成对地作为输入送入基于循环一致性的外观结构配准网络进行训练，经过多次迭代优化后，得到该源图像对应的基于循环一致性的外观结构配准网络；5)依次将除源图像外其余的n
‑
1幅图像作为目标图像与选定的源图像成对地输入训练后的基于循环一致性的外观结构配准网络，获得n
‑
1个外观变换配准域；6)将选定的源图像依次和3)得到的n
‑
1个空间变换配准域进行运算，即得到n
‑
1幅具有不同空间结构的生成图像；7)将选定源图像的分割标签依次和3)得到的n
‑
1个空间变换配准域进行运算，即得到这n
‑
1幅具有不同空间结构的生成图像的分割标签；8)将这n
‑
1幅具有不同空间结构的生成图像依次分别和5)得到的n
‑
1个外观变换配准域进行运算，即可得到(n
‑
1)
×
(n
‑
1)幅具有不同空间结构和不同外观结构的最终生成图像；9)将8)和7)生成的(n
‑
1)
×
(n
‑
1)幅带标签图像训练图像分割网络；10)输入待分割图像，输出该图像对应的分割标签。2.根据权利要求1所述的一种基于数据增强的医学图像分割方法，其特征在于，所述步骤2)中训练基于循环一致性的空间结构配准网络，具体为：2.1)基于循环一致性的空间结构配准网络包含两个VoxelMorph子网；2.2)首先选定一幅带标签图像作为源图像x
s
，同时任选一幅和源图像x
s
不同的图像作为目标图像y
s
，然后将源图像x
s
和目标图像y
s
作为输入送入到第一个VoxelMorph网络之中，得到空间变换配准域τ
s
；2.3)将源图像x
s
和空间变换配准域τ
s
进行运算，得到与目标图像y
s
空间结构相似的生成图像2.4)再次将作为源图像，x
s
作为目标图像，将两者作为输入送入到第二个VoxelMorph网络之中，得到空间变换配准域2.5)将源图像和空间变换配准域进行运算，得到与目标图像x
s
空间结构相似的生成图像2.6)一致性损失函数中，x
s
作为基于循环一致性的空间结构配准网络的源图像，为经
过基于循环一致性的空间结构配准网络配准后生成的图像；通过一致性损失函数的约束，使得生成图像和源图像x
s
的空间结构更为相似；一致性损失函数为：2.7)在训练过程中，对预测的空间变换配准域施加一个空间平滑性的约束，即对空间变换配准域的空间梯度进行惩罚，平滑损失函数为：其中，τ
s
和分别代表了2.2)和2.4)中得到的空间变换配准域，Ω代表了空间变换配准域中所有点的集合，p代表了两个空间变换配准域中相同位置的一个点；2.8)通过总损失函数对基于循环一致性的空间结构配准网络进行约束，损失函数如下：其中，x
s
作为源图像，作为图像和配准域的运算符，λ
s
作为超参数；2.9)经过多次迭代优化，得到该源图像对应的基于循环一致性的空间结构配准网络。3.根据权利要求1所述的基于数据增强的医学图像分割方法，其特征在于，所述步骤3)中获得n
‑
1个空间变换配准域，具体为：3.1)将2)选定的x
s
作为源图像，除源图像x
s
外其余的n
‑
1幅图像y2，y3，...，y
i
，...，y
n
分别作为目...

【专利技术属性】
技术研发人员：付利华，王俊翔，李鑫辉，刘雯雯，张梓通，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：