3D各向异性的混合网络：将来自2D图像的卷积特征传递到3D各向异性体积制造技术

本发明专利技术涉及3D各向异性的混合网络，其将来自2D图像的卷积特征传递到3D各向异性体积。一种用于标识3D图像体积中的特征的计算机实现的方法包括将3D体积划分成多个2D切片并且将预训练的2D多通道全局卷积网络（MC‑GCN）应用到所述多个2D切片直到收敛为止。在2D MC‑GCN收敛之后，从2D MC‑GCN中的第一特征编码器网络提取多个参数。所述多个参数被传递到3D各向异性混合网络（AH‑Net）中的第二特征编码器网络。所述3D AH‑Net被应用到3D体积以产生概率图。然后，通过使用所述概率图，生成（a）具有非最大值抑制的对象的坐标或（b）3D体积中感兴趣的对象的标签图中的一个或多个。

3D Anisotropic Hybrid Network: Transfer Convolutional Features from 2D Images to 3D Anisotropic Volume

【技术实现步骤摘要】
3D各向异性的混合网络：将来自2D图像的卷积特征传递到3D各向异性体积对相关申请的交叉引用本申请有关于2017年11月2日提交的、序列号为62/580,477的美国专利申请，并且对该美国专利申请要求权益，并且要求该美国专利申请的优先权，所述美国专利申请的内容据此通过引用以其全部被并入以用于所有目的。
本专利技术一般地涉及与用于将来自2D图像的卷积特征传递到3D各向异性体积的3D各向异性混合网络有关的方法、系统和装置。所公开的方法、系统和装置可以应用于例如根据DBT图像体积的乳腺病变检测，以及肝肿瘤分割应用。
技术介绍
3D体积图像（或“体积”）广泛地用于临床诊断、手术计划和生物医学研究。由这样的体积图像所提供的3D上下文信息对于可视化和分析感兴趣的对象而言是重要的。然而，给定所添加的维度，与2D图像相比，通过机器来解释3D体积是更加耗时的并且有时更难。许多常规的系统使用常规的神经网络（CNN）来提取人类或动物体组织中感兴趣的结构模式的表示。由于特殊的成像设置，许多成像模态伴随有各向异性的体素，意味着不是所有三个维度都具有相等的分辨率。例如，在数字乳腺断层摄影（DBT）、以及有时在计算机断层扫描（CT）的3D体积中，在xy平面/切片中的图像分辨率（或切片内分辨率）比z分辨率（或切片之间分辨率）的十倍大。因而，xy切片比z维度保持多得多的信息。在DBT图像中，仅仅可以确保xy平面内的空间信息。然而，xy切片之间的3D上下文，甚至在具有轻微未对准的情况下，仍承载用于分析的有意义的信息。由于以下原因，将3DCNN直接应用于这样的图像仍然是有挑战性的任务。首先，由于沿着每个维度的不同信息密度，对于小的内核而言，可能难以从各向异性体素中学习有用的特征。其次，与2D网络相比，理论上在3D网络中需要更多的特征。3D网络的能力受GPU存储器限制，GPU存储器约束网络的宽度和深度二者。第三，不像现今可以利用骨干网络的2D计算机视觉任务，所述骨干网络通过使用数百万2D图像而被预训练，3D任务大多数必须从零开始训练，并且因此遭受大3D数据集的缺乏。另外，高数据变化使得3D网络更难以训练。而且，在这样的具有相对小的上下文的小图像数据集上训练的3DCNN难以一般化到未看见的数据。除了利用和内核所构建的传统3D网络之外，存在用于学习来自各向异性体素的表示的其它常规方法。一些方法与2D网络分离地处理2D切片。为了更好地利用3D上下文，多于一个图像切片被用作针对2D网络的输入。还可以通过组合全卷积网络（FCN）架构与卷积LSTM来顺序地查看2D切片，用以作为时间序列来查看相邻的图像切片，从而从抽象的2D上下文的序列中提炼3D上下文。还存在常规的方法，其应用各向异性卷积内核来在xy平面上分布比z轴上更多的学习能力。
技术实现思路
如本文中各种实施例中所述的本专利技术描述了一种3D各向异性混合网络（AHNet），其用于将来自2D图像的卷积特征传递到3D网络以供用于在3D各向异性体积情况下的深度学习应用。这样的传递继承了用于切片内信息的所期望的强泛化能力，而同时自然地利用切片之间的信息来用于更有效的建模。焦点损失此外被用于更有效的端对端学习。本文中所述的技术可以应用于医学图像分析任务，诸如根据数字乳腺断层摄影体积的病变检测，以及从计算机断层扫描体积中的肝肿瘤分割。根据本专利技术的一些实施例，一种用于标识3D图像体积中的特征的计算机实现的方法包括将3D体积划分成2D切片并且将预训练的2D多通道全局卷积网络（MC-GCN）应用到所述2D切片直到收敛为止。在2DMC-GCN收敛之后，从2DMC-GCN中的第一特征编码器网络提取参数。所述参数被传递到3DAH-Net中的第二特征编码器网络。所述3DAH-Net被应用到3D体积以产生概率图（probabilitymap）。然后，通过使用所述概率图，生成（a）具有非最大值抑制的对象的坐标或（b）3D体积中感兴趣的对象的标签图（labelmap）中的一个或多个。根据其它实施例，一种用于标识3D图像体积中的特征的计算机实现的方法包括将3D数字乳腺断层摄影（DBT）体积划分成2D切变，并且将2DMC-GCN应用到所述2D切片直到收敛为止，其中所述2DMC-GCN利用对健康乳腺组织进行描绘的DBT图像切片而被预训练。在2DMC-GCN收敛之后，从2DMC-GCN中的第一特征编码器网络提取参数并且将所述参数传递到3DAH-Net中的第二特征编码器网络。所述3DAH-Net被应用到3D体积以产生病变存在的按体素的置信度图（confidencemap），其包括针对3D体积中每个体素的置信度评分，指示病变的存在或不存在。然后，所述按体素的置信度图被呈现为叠覆在3DDBT体积上。在本专利技术的其它实施例中，一种用于标识3D图像体积中的特征的系统包括2DMC-GCN、3DAH-Net和并行处理架构。所述2DMC-GCN包括2D特征编码器网络，而所述3DAH-Net包括3D特征编码器网络。所述3DAH-Net此外包括：解码器模块，其被配置成处理3D特征编码器的输出；金字塔体积池化模块，其被配置成处理解码器模块的输出以生成概率图金字塔；以及级联模块，其被配置成级联所述概率图金字塔与解码器模块的输出以生成概率图。所述并行处理架构被配置成将3D体积划分成2D切片并且将2DMC-GCN应用到所述2D切片直到收敛为止。在2DMC-GCN收敛之后，所述并行处理架构从2DMC-GCN中的2D特征编码器网络提取参数并且将所述参数传递到3DAH-Net中的3D特征编码器网络。所述并行处理架构于是将3DAH-Net应用到3D体积以生成概率图。从参考附图进行的对说明性实施例的以下详细描述中将使得本专利技术的附加的特征和优点显而易见。附图说明从当结合附图阅读的以下详细描述中最好地理解本专利技术的前述和其它方面。为了说明本专利技术的目的，在附图中示出有目前优选的实施例，然而，理解到本专利技术不限于所公开的特定手段。专利或申请文件包含至少一个用色彩执行的绘图。此专利或专利申请公布具有（多幅）彩色绘图的拷贝将在请求以及支付了必要费用的时候由专利局提供。在附图中所包括的是以下各图：图1图示了用于预训练2D编码器网络多通道全局卷积神经网络（MC-GCN）的网络架构；图2示出了3DAH-Net的示例架构，如可以在一些实施例中实现的那样；图3图示了变换2D卷积权重张量；图4示出了在来自2DGCN和具有从它传递的编码器权重的3DAH-Net的2个不同DBT体积上的网络响应的可视比较；图5示出了关于病变检测性能的自由响应操作特性（FROC）；图6A示出了来自3DAH-Net的示例肝病变分割结果；图6B示出了图6A中所呈现的分割的示例渲染；图7图示了根据本专利技术的一些实施例的用于标识3D图像体积中的特征的示例计算机实现的方法；以及图8提供了根据本专利技术的一些实施例的、可以被利用来执行与本文中所讨论的算法的执行有关的计算的并行处理存储器架构的示例。具体实施方式以下公开内容根据若干实施例而描述了本专利技术，所述若干实施例针对与用于将来自2D图像的卷积特征传递到3D各向异性体积的3D各向异性混合网络有关的方法、系统和装置。更具体地，本文中所述的技术公开了一种3D各向异性混合网络（AH-Net）来从具有各本文档来自技高网...

【技术保护点】
1.一种用于标识3D图像体积中的特征的计算机实现的方法，所述方法包括：将3D体积划分成多个2D切片；将经预训练的2D多通道全局卷积网络（MC‑GCN）应用到所述多个2D切片直到收敛为止；在2D MC‑GCN收敛之后，从2D MC‑GCN中的第一特征编码器网络提取多个参数；将所述多个参数传递到3D各向异性混合网络（AH‑Net）中的第二特征编码器网络；将所述3D AH‑Net应用到3D体积以产生概率图；以及通过使用所述概率图，生成（a）具有非最大值抑制的对象的坐标或（b）3D体积中感兴趣的对象的标签图中的一个或多个。

【技术特征摘要】
2017.11.02 US 62/580477;2018.06.04 US 15/9967191.一种用于标识3D图像体积中的特征的计算机实现的方法，所述方法包括：将3D体积划分成多个2D切片；将经预训练的2D多通道全局卷积网络（MC-GCN）应用到所述多个2D切片直到收敛为止；在2DMC-GCN收敛之后，从2DMC-GCN中的第一特征编码器网络提取多个参数；将所述多个参数传递到3D各向异性混合网络（AH-Net）中的第二特征编码器网络；将所述3DAH-Net应用到3D体积以产生概率图；以及通过使用所述概率图，生成（a）具有非最大值抑制的对象的坐标或（b）3D体积中感兴趣的对象的标签图中的一个或多个。2.根据权利要求1所述的方法，其中所述2DMC-GCN包括多层残余网络。3.根据权利要求2所述的方法，其中所述2D网络此外包括多个全局卷积网络块和多个边界细化块。4.根据权利要求2所述的方法，其中在第二特征编码器网络的应用之后，3DAN-Net执行解码器网络，所述解码器网络包括多个各向异性的卷积块。5.根据权利要求4所述的方法，其中每个各向异性的卷积块将多个3D内核应用到第二特征编码器网络的输出。6.根据权利要求4所述的方法，其中将3DAH-Net应用到3D体积以产生概率图包括：计算多个各向异性卷积块的输出的总和；将金字塔体积池化操作应用到多个各向异性卷积块的输出的总和以产生概率图金字塔；将多个各向异性卷积块的输出的总和与概率图金字塔级联以产生概率图。7.根据权利要求1所述的方法，其中标签图被呈现为叠覆在3D体积上的热图。8.一种用于标识3D图像体积中的特征的计算机实现的方法，所述方法包括：将3D数字乳腺断层摄影（DBT）体积划分成多个2D切片；将2D多通道全局卷积网络（MC-GCN）应用到所述多个2D切片直到收敛为止，其中利用描绘健康乳腺组织的多个DBT图像切片来对2DMC-GCN进行预训练；在2DMC-GCN收敛之后，从2DMC-GCN中的第一特征编码器网络提取多个参数；将所述多个参数传递到3D各向异性混合网络（AH-Net）中的第二特征编码器网络；将所述3DAH...

【专利技术属性】
技术研发人员：S刘，徐大光，SK周，T默特尔迈尔，J维克莱因，A耶雷布科，S格尔比克，O保利，D科马尼丘，
申请(专利权)人：西门子保健有限责任公司，
类型：发明
国别省市：德国,DE