用于图像分割的系统和方法技术方案

本文描述了与图像分割相关联的系统、方法和装置。该系统、方法和工具具有分层结构，其用于产生解剖结构的粗略分割，然后基于解剖结构的形状先验来细化粗略分割。该粗略分割可以使用多任务神经网络并且基于分割损失和回归损失两者来生成。细化的分割可以通过使用基于形状的模型或基于学习的模型中的一个或多个使形状先验变形来获得。形状先验变形来获得。形状先验变形来获得。

【技术实现步骤摘要】
用于图像分割的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2019年11月27日提交的临时美国专利申请号62/941,198和2020年9月8日提交的临时美国专利申请号17/014,594的权益，此处以引证的方式将该申请的公开内容全文并入。


[0003]本申请涉及图像处理


技术介绍

[0004]医学成像在现代保健服务中扮演重要角色。利用先进的成像设备，诸如医学共振成像(MRI)扫描仪、超声扫描仪、X光机、计算机断层摄影(CT)扫描仪或正电子发射断层摄影(PET)扫描仪，可以获得丰富的成像数据并将其用于评价人体器官或组织的状况。比如，电影MRI图像中的心肌的自动分割可以使得能够测量重要的心脏诊断指标，诸如心脏的径向和/或周向应变。随着医学图像数据量的增加，对自动图像处理工具的需求也增加。一种自动图像处理技术是图像分割，其涉及识别医学图像中的感兴趣对象并且指示图像中的对象的轮廓，以允许对对象的更聚焦的分析或研究。在先进的计算机视觉和机器学习技术的帮助下，近年来图像分割的准确度和鲁棒性已经显著提高。然而，由于目前技术的限制(例如，涉及图像质量、计算能力等)和人体的复杂性，在本领域中仍然存在许多挑战。

技术实现思路

[0005]本文描述了与医学图像分割相关联的系统、方法和装置。本文所述的图像分割系统可以包括一个或多个处理器，其被配置为实施第一神经网络和第二神经网络。第一神经网络可以被配置为接收包括诸如心肌的解剖结构的视觉表示的图像，并且基于图像生成解剖结构的第一分割。例如，第一神经网络可以被配置为通过以下方式来生成第一分割：将图像的第一多个像素分类为与解剖结构相关联的候选像素，并且估计第二多个像素距最接近像素的解剖结构的对应表面边界的相应距离。第一神经网络可以基于第二多个像素距对应表面边界的相应估计距离和第二多个像素的相应位置来确定解剖结构的边界。响应于确定这种边界，第一神经网络可以确定候选像素中的一个或多个位于边界之外(例如，像素可以是左心室而不是心肌的一部分)，并且从第一分割排除候选像素中的一个或多个。第一神经网络可以包括被训练为执行上述任务的卷积神经网络(CNN)，并且训练可以基于分割损失(例如，与将第一多个像素分类为解剖结构的候选像素相关联)和回归损失(例如，与估计第二多个像素距解剖结构的对应表面边界的距离相关联)来进行。
[0006]本文所述的图像分割系统的第二神经网络可以被配置为基于第一分割和与解剖结构相关联的形状先验，来生成解剖结构的第二分割。第二神经网络可以基于第一分割和解剖结构的形状分布初始化形状先验，然后使形状先验变形，以导出第二分割。通过基于第一分割初始化形状先验，图像分割系统可以将形状先验与第一分割基本上对齐，并且防止
分割任务陷入局部极小值。形状先验的变形可以使用与解剖结构相关联的形状或外观的统计模型来执行，并且变形可以包括第二神经网络基于图像的特征(例如，强度剖面或梯度)调节统计模型的一个或多个参数。替代地或另外地，变形可以例如通过以下方式使用深度学习神经网络来执行：经由一个或多个卷积层从形状先验的顶点位置附近的图像提取特征，基于所提取的特征(例如，经由回归层)确定用于使顶点位置处的形状先验变形的方向和步长，并且基于所确定的方向和步长移动形状先验的顶点位置，以将形状先验拟合到解剖结构的轮廓中。
[0007]在一个具体的实施例子中，所述第二多个像素距所述对应表面边界的距离被确定为对应于所述第二多个像素的相应体素距所述对应表面边界的三维偏移。
附图说明
[0008]从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。
[0009]图1是例示了左心室的部分与心肌的部分之间的视觉相似性的人类心脏的示例MRI图像。
[0010]图2是例示了本文所述的示例图像分割系统的框图。
[0011]图3是例示了使用图2的示例图像分割系统生成心肌的粗略分割的框图。
[0012]图4是例示了使用图2的示例图像分割系统生成心肌的粗略分割的细化的框图。
[0013]图5是例示了用于使用图2的示例图像分割系统来分割心肌的示例过程的流程图。
[0014]图6是例示了图2的图像分割系统的示例部件的框图。
具体实施方式
[0015]在附图的各图中，通过示例而非限制性的方式例示了本公开。
[0016]图1是例示了可以存在于左心室(LV)的部分与心肌的部分之间的视觉相似性的人类心脏的示例MRI图像。MRI图像可以经由心脏MRI扫描获得，例如，作为电影MRI的一部分。如示例图像所示，左心室的部分，诸如在图1的圆圈102内部示出的乳头肌，可以具有与心肌(例如，由黑色圆形104指示)类似的外观(例如，在图像对比度等方面)。相似性可能导致常规图像分割系统将左心室的部分错误分类为属于心肌并且产生不真实的估计结果。本文所述的系统、方法和装置可以克服常规分割系统的缺点并且提高分割结果的准确度和鲁棒性。本文将参考人类心脏的左心室或心肌来描述示例。然而，应当注意，本文所公开的技术可以适用于人体的任何解剖结构的分割。
[0017]图2是例示了本文所述的示例图像分割系统200的框图。图像分割系统200可以被配置为接收图像202，该图像描绘诸如人类心脏的人体的解剖结构。图像202可以是经由心脏MRI获得的MRI图像，例如，作为电影MRI的一部分。图像202可以是彩色图像或黑白图像，并且可以包括具有相应特性(例如，在亮度、对比度、强度、梯度等方面)的多个像素。图像分割系统200可以包括第一神经网络204(例如，粗略分割神经网络)，其被配置为接收图像202并且基于图像202生成解剖结构(例如，心肌)的第一分割206(例如，粗略分割)。第一神经网络204可以包括深度卷积神经网络(DNN)、完全卷积神经网络(FCN)和/或另一合适类型的神经网络，其已经通过训练过程学习了如何将图像202的一个或多个部分(例如，一个或多个像素)识别为属于心肌，并且将这些部分与图像的其他部分分割(例如，标记、分离或以其他
方式区分)。第一分割206在分割仍然可能是粗略的并且可以经受图像分割系统200的进一步细化的意义上，可以对应于心肌的初步分割。第一神经网络204和第一分割206的导出将在下面更详细地描述。
[0018]图像分割系统200可以包括第二神经网络208(例如，精细分割神经网络)，其被配置为接收由第一神经网络204生成的第一分割206，并且基于解剖结构的形状先验210和/或图像202的特征来细化第一分割206，以获得解剖结构的第二分割212(例如，精细分割)。细化操作可以包括第二神经网络208基于解剖结构的形状分布(例如，一般人群中解剖结构的不同形状变化的概率)初始化形状先验210和由第一神经网络204生成的第一分割206。细化操作还可以包括第二神经网络208基于图像202的一个或多个特征使形状先验210变形，以获得第二分割212。第二神经网络208和第二分割212的导出将在下面更详细地描述。...

【技术保护点】

【技术特征摘要】
1.一种被配置为分割图像的系统，包括：一个或多个处理器，其被配置为：实施第一神经网络，其中，所述第一神经网络被配置为接收包括解剖结构的视觉表示的图像，并且基于所述图像生成所述解剖结构的第一分割；实施第二神经网络，其中，所述第二神经网络被配置为基于所述第一分割和形状先验生成所述解剖结构的第二分割，所述形状先验与所述解剖结构相关联，并且其中，所述第二神经网络被配置为基于所述第一分割和所述解剖结构的形状分布来初始化所述形状先验，所述第二神经网络还被配置为使所述形状先验变形，以导出所述第二分割；并且基于所述第二分割指示所述解剖结构的轮廓。2.根据权利要求1所述的系统，其中，所述形状先验的所述初始化导致所述形状先验与所述第一分割基本上对齐。3.根据权利要求1所述的系统，其中，所述第二神经网络被配置为基于与所述解剖结构相关联的形状或外观的统计模型来使所述形状先验变形，并且所述变形包括根据所述图像的一个或多个特征来调节所述统计模型的参数。4.根据权利要求3所述的系统，其中，所述一个或多个特征与所述图像的强度剖面或所述图像的梯度相关联。5.根据权利要求1所述的系统，其中，所述第二神经网络包括一个或多个卷积层，并且所述第二神经网络被配置为通过至少以下方式来使所述形状先验变形：经由所述一个或多个卷积层在所述形状先验的顶点位置附近从所述图像提取特征；基于所述所提取的特征确定用于使所述形状先验在所述顶点位置处变形的方向和步长；以及基于所述所确定的方向和步长移动所述形状先验的所述顶点位置。6.根据权利要求5所述的系统，其中，所述第二神经网络还包括回归层，并且所述第二神经网络被配置为经由所述回归层并使用...

【专利技术属性】
技术研发人员：郭溢沫，孙善辉，陈德仁，
申请(专利权)人：上海联影智能医疗科技有限公司，
类型：发明
国别省市：