用于解剖树结构的疾病量化建模的方法及系统技术方案

本公开涉及一种用于解剖树结构的疾病量化建模的方法及系统。该方法包括获得解剖树结构的中心线。该方法还包括基于图生成图神经网络，其中，每个节点对应于中心线点，并且边由中心线定义，每个节点的输入为相应的中心线点的疾病相关特征或2D/3D图像块，每个节点的输出为疾病量化参数。该方法还包括获得一组节点的标签数据，该组节点的节点数小于图神经网络中的节点的总数。此外，该方法包括过基于该组节点的标签数据通在该组节点和其他节点之间传递信息来训练所述图神经网络。

【技术实现步骤摘要】
用于解剖树结构的疾病量化建模的方法及系统相关申请的交叉引用本申请要求2019年6月19日提交的美国临时申请第62/863,472号的优先权的权益，其全部内容通过引用合并于本文中。
本公开总体上涉及医学图像处理和分析，并考虑在具有可用于训练的标签数据(诸如地面真值)的情况(例如，在解剖树结构中只有一个或几个侵入性值可用)下，解剖树结构(例如，血管、气道树等)的疾病量化的学习问题。
技术介绍
精确诊断需要解剖树结构的准确疾病量化。例如，已证明血流储备分数(FFR)是评估心脏缺血的可靠指标。FFR可以通过压力导丝进行测量，但是此手术具有侵入性，并且在整个树中仅测量了一个或几个值。已经尝试使用基于学习的方法来估计FFR。这种基于学习的FFR估计基本上是一个低数据问题，因为仅在一个、很少几个或几个位置提供了地面真实性测量。图1显示了几种具有地面真实FFR值的场景：一个点(图1(a))，几个孤立点(图1(b))，或沿一段的值(图1(c))。由于仅有少量的侵入性FFR值(通过压力导丝测得)可用于训练过程，因此要对整个冠状动脉树提供准确的预测非常具有挑战性。现有的基于机器学习的方法需要仿真的FFR值作为训练模型的地面真值。但是，仿真的FFR值通常是通过基于数值流仿真的方法计算的，这既耗时，对于训练机器学习模型又不准确。因此，基于机器学习的方法的性能受到仿真方法的高度限制。
技术实现思路
提供本公开以克服用于利用学习网络进行解剖树结构的疾病定量建模的常规方法中的缺点。本公开的目标是直接利用测得的侵入性FFR来训练FFR模型，而不是使用仿真的FFR作为用于训练FFR模型的地面真值。注意的是，与其他值(例如通过算法计算出的值)作为地面真值相比，测量得到的侵入性FFR值作为用于训练模型的地面真值是最准确的值。在一个方面，提供了一种用于解剖树结构的疾病量化建模的计算机实现的方法。该方法对每个训练图像包括如下步骤以执行相应的训练/学习。该方法可以包括从训练图像获得解剖树结构的中心线。该方法还可以包括由处理器基于图生成图神经网络。其中，每个节点可以对应于中心线点，并且边由中心线定义，每个节点的输入为相应的中心线点的疾病相关特征或2D/3D图像块，每个节点的输出为疾病量化参数。此外，该方法可以包括：获得一组节点的标签数据，该组节点的节点数小于图神经网络中的节点的总数。更进一步，该方法可以包括由处理器基于该组节点的标签数据通过在该组节点和其他节点之间传递信息来训练所述图神经网络。在另一方面，提供了一种用于解剖树结构的疾病量化建模的系统。该系统可以包括接口和处理器。接口可以被配置为接收包含解剖树结构的训练图像。处理器可以被配置为针对每个训练图像执行以下步骤。处理器可以被配置为获得解剖树结构的中心线。处理器可以进一步被配置为基于图生成图神经网络。其中，每个节点可以对应于中心线点，并且边由中心线定义，每个节点的输入为相应的中心线点的疾病相关特征或2D/3D图像块，每个节点的输出为疾病量化参数。所述处理器可以进一步被配置为获得一组节点的标签数据，该组节点的节点数小于图神经网络中的节点的总数。此外，处理器被配置为基于该组节点的标签数据通过在该组节点和其他节点之间传递信息来训练所述图神经网络。在另一方面，提供一种存储指令的非暂时性计算机可读介质，该指令在由处理器执行时可以执行用于解剖结构树的疾病量化建模的方法。该方法可以包括获得解剖树结构的中心线。该方法可以进一步包括基于图生成图神经网络。其中，每个节点可以对应于中心线点，并且边由中心线定义，每个节点的输入为相应的中心线点的疾病相关特征或2D/3D图像块，每个节点的输出为疾病量化参数。该方法可以进一步包括(例如，从训练图像)获得一组节点的标签数据，该组节点的节点数可以小于图神经网络中的节点的总数。此外，该方法可以包括：基于该组节点的标签数据通过在该组节点和其他节点之间传递信息来训练所述图神经网络。专利技术人已经证实，在某些情况下，图神经网络可以仅从一个或几个数据点(节点)中学习预测。本公开的方法可以将信息从标记数据点向未标记数据点传播。本公开可以将隐式表示(即特征嵌入)和显式关系(即图)两者用于整个解剖树结构的疾病模型的学习。所公开的方法构建图，其中每个节点对应于树结构的中心线上的点。这些节点可以通过中心线链接。图的每个节点的输入是每个节点的矢量表示(特征嵌入)。然后，所公开的方法生成并使用动态图神经网络在具有地面真值(例如，侵入性FFR值)的节点与没有地面真值的节点之间传递信息(消息传递)。所公开的方法和系统至少具有以下益处。首先，在深度学习架构下，疾病预测任务被公式化为图上的插值问题，该深度学习架构仅需要很少的地面真值的监督，节点与树的中心线上的点相关联，边由中心线定义。其次，解剖树结构具有变化，而所公开的图神经网络具有使用针对个体的动态图来应对这种变化的能力。第三，所公开的动态图神经网络可以学习在优化过程中如何从标记数据点向未标记数据点传播标签信息，从而尽管标记数据点不足，依然能够获得训练好的图神经网络。此外，与常规方法相比，所公开的系统不仅独立地考虑中心线的点，而且在所有中心线点之间嵌入图结构。通过深度记忆图神经网络中的节点的信息传播，所公开的框架可以无缝地整合来自整个树中的中心线点的信息，从而仅使用有限的标签数据即可进行准确的预测。通过在图神经网络的学习过程中考虑空间上接近的相邻节点，将节点之间的全局考虑因素整合到训练中，以便将一个节点与周围节点之间的关系与隐藏信息一起考虑在内。应当理解，前面的一般描述和下面的详细描述仅是示例性和说明性的，并且不限制本专利技术。给定的实施例可以提供一个，两个，多个或所有前述优点，和/或可以提供其他优点，这对于本领域的普通技术人员在阅读和理解本公开后将变得显而易见。附图说明在不一定按比例绘制的附图中，相似的附图标记可以在不同的视图中描述相似的组件。具有字母后缀或不同字母后缀的相似附图标记可以表示相似组件的不同实例。附图通过示例而非限制的方式大体上示出了各种实施例，并且与说明书和权利要求书一起用于解释所公开的实施例。这样的实施例是说明性的，并且不意图是本方法、系统或其上具有用于实现该方法的指令的非暂时性计算机可读介质的穷举或排他性实施例。图1(a)是示出仅有一个具有地面真实FFR值的中心线点的场景的示意图；图1(b)是示出有几个具有地面真实FFR值的中心线点的场景的示意图；图1(c)是示出有沿着一段或一条路径的具有地面真实FFR值的多个中心线点的场景的示意图；图2示出了根据本公开实施例的利用动态图神经网络进行FFR(作为疾病量化参数的示例)预测的总体框架；图3示出根据本公开的实施例的包括阶段(a)至阶段(d)的从计算机断层摄影(CT)图像创建图形表示的过程；图4(a)是示出根据本公开的实施例的图卷积类型的动态图神经网络的示意图；图4(b)是示出根据本公开的实施例的门类型的动态图神经网络的示意图；图5示出了根据本公开实施例的用于疾病量化建模的示例本文档来自技高网...

【技术保护点】
1.一种计算机实现的用于解剖树结构的疾病量化建模的方法，包括：/n从训练图像获得解剖树结构的中心线；/n由处理器基于图生成图神经网络，其中，每个节点对应于中心线点，并且边由中心线定义，每个节点的输入为相应的中心线点的疾病相关特征或2D/3D图像块，每个节点的输出为疾病量化参数；/n获得一组节点的标签数据，该组节点的节点数小于图神经网络中的节点的总数；以及/n由处理器基于该组节点的标签数据通过在该组节点和其他节点之间传递信息来训练所述图神经网络。/n

【技术特征摘要】
20190619 US 62/863,4721.一种计算机实现的用于解剖树结构的疾病量化建模的方法，包括：
从训练图像获得解剖树结构的中心线；
由处理器基于图生成图神经网络，其中，每个节点对应于中心线点，并且边由中心线定义，每个节点的输入为相应的中心线点的疾病相关特征或2D/3D图像块，每个节点的输出为疾病量化参数；
获得一组节点的标签数据，该组节点的节点数小于图神经网络中的节点的总数；以及
由处理器基于该组节点的标签数据通过在该组节点和其他节点之间传递信息来训练所述图神经网络。


2.根据权利要求1所述的方法，其特征在于，该组节点至少包括在所述解剖树结构的入口处的第一节点；或者，该组节点包括在解剖树结构的入口处的第一节点以及1-3个附加节点。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
接收包含检测解剖树结构的检测图像；
由所述处理器提取所述检测解剖树结构的检测中心线；
由处理器根据检测图生成训练好的检测图神经网络，其中，每个检测节点对应于检测中心线点，边由检测中心线定义，每个检测节点的神经网络单元都遵循训练好的图神经网络的每个节点的神经网络单元的图模板设置；
针对每个检测中心线点提取疾病相关特征或2D/3D图像块；以及
通过使用训练好的检测图神经网络，基于提取的疾病相关特征或2D/3D图像块，预测沿着检测中心线的疾病量化参数。


4.根据权利要求1所述的方法，其特征在于，所述疾病相关特征包括以下至少之一：结构特征，强度特征和派生特征。


5.根据权利要求1所述的方法，其特征在于，所述图神经网络包括图卷积神经网络，其被配置为为每个节点考虑到其空间上接近的相邻节点的情况下执行图卷积运算。


6.根据权利要求5所述的方法，其特征在于，所述图卷积神经网络的输出是其输入和邻接矩阵的函数，所述邻接矩阵是固定的并且由中心线确定。


7.根据权利要求1所述的方法，其特征在于，每个边是无向的或有向的，用于在由所述边链接的节点之间传播信息。


8.根据权利要求7所述的方法，其特征在于，所述信息在所述节点之间的传播包含门机制，每个图单元包含输入门和输出门、记忆单元和隐藏状态，所述图单元包括门控循环单元(GRU)、长短期记忆(LSTM)单元、卷积LSTM(CLSTM)单元和卷积GRU(CGRU)单元中的任何一个。


9.根据权利要求8所述的方法，其特征在于，每个图单元针对每个子节点包含一个遗忘门。


10.根据权利要求1所述的方法，其特征在于，使用基于梯度的方法如下执行图神经网络的训练：通过最小化该组节点的目标函数来优化图神经网络的参数；并将该组节点的梯度和/或误差传递给其他节点。


11.一种用于解剖树结构的疾病量化建模的系统，包括：
接口，被配置为接收包含解剖树结构的训练图像；
处理器，被配置为，针对每个训练图像：
从训练图像获得解剖树结构的中心线；
基于图生成图神经网络，其中，每个节点对应于中心线点，并且边由中心线定义，每个...

【专利技术属性】
技术研发人员：王昕，尹游兵，白军杰，宋麒，曹坤琳，陆易，高峰，
申请(专利权)人：北京昆仑医云科技有限公司，
类型：发明
国别省市：北京;11