从单视图投影图像重建三维图像的方法和装置制造方法及图纸

本公开提供了一种从单视图投影图像重建三维图像的方法和装置。所述装置包括接口，其被配置为接收患者血管的单视图二维图像，其中所述单视图二维图像是在预定投影方向上获取的投影图像。所述装置进一步包括处理器，其被配置为使用推断模型从所述单视图二维图像估计所述血管的三维信息，并且基于所述三维信息重建所述血管的三维模型。重建所述血管的三维模型。重建所述血管的三维模型。

【技术实现步骤摘要】
从单视图投影图像重建三维图像的方法和装置
[0001]相关申请的交叉引用
[0002]本申请要求2021年9月27日提交的美国临时申请第63/248,999号的优先权，其内容通过引用整体并入本文。本申请还涉及2021年10月11日提交的美国申请第17/497,980号，其内容也通过引用整体并入本文。


[0003]本公开大体上涉及三维图像重建。更具体地，本公开涉及使用单视图投影图像执行三维图像重建的方法和系统。

技术介绍

[0004]二维(2D)X射线血管造影图像提供了关于血管结构的有价值的几何信息，用于诊断诸如冠状动脉疾病和脑部疾病的各种血管疾病。在将造影剂(通常是诸如碘剂的X射线不透材料)注射到血管中之后，血管区域的图像对比度通常被增强。使用2D投影图像的三维(3D)血管树重建通常有利于揭示各种关注血管段的真实3D测量值，包括直径、曲率和长度，用于目标血管区域的进一步功能评估。
[0005]尽管血管通常是3D弯曲管状物体，但是血管造影图像仅提供了来自某个角度的投影视图。按照惯例，为了重建目标血管的3D模型，需要从不同角度投影的多个血管造影图像。这种方法所带来的一个技术挑战是透视缩短问题。由于投影成像的性质，当从不同角度进行观察时，血管长度略有不同，导致透视缩短。通常，通过避免使用包含明显透视缩短的血管段(用较暗的强度表示)的图像进行3D重建，可以减少透视缩短。然而，由于血管的弯曲几何性质以及由于成像处理期间患者的生理性运动(例如，由于呼吸运动和心脏运动)，经常发生至少某种程度的透视缩短。r/>[0006]此外，为了这些多视图重建算法令人满意地工作，现有的3D重建方法不仅需要多视图投影图像，而且投影角度需要满足某些标准，诸如最小角度差。这使得重建3D血管模型的任务具有挑战性，并且并非总能实现。
[0007]本公开的实施例通过改进的三维图像重建的系统和方法解决了上述问题。

技术实现思路

[0008]本公开的实施例包括使用单视图投影图像执行三维血管重建的计算机实现的方法和装置。
[0009]在一个方案中，本公开进一步旨在提供一种用于执行三维血管重建的装置。所述装置包括接口，其被配置为接收患者血管的单视图二维图像，其中所述单视图二维图像是在预定投影方向上获取的投影图像。所述装置进一步包括处理器，其被配置为使用推断模型从所述单视图二维图像估计所述血管的三维信息，并且基于所述三维信息重建所述血管的三维模型。
[0010]在另一方案中，本公开旨在提供一种用于执行三维图像重建的计算机实现的方
法。所述计算机实现的方法包括接收患者的单视图二维图像，其中所述单视图二维图像是在预定投影方向上获取的投影图像。所述方法进一步包括由处理器使用推断模型从所述单视图二维图像估计三维信息，并且由所述处理器基于所述三维信息重建三维模型。
[0011]在又一实施例中，本公开旨在提供其上存储有指令的非暂时性计算机可读介质。当由处理器执行时，所述指令执行用于执行三维图像重建的方法。所述方法包括接收患者的单视图二维图像，其中所述单视图二维图像是在预定投影方向上获取的投影图像。所述方法进一步包括使用推断模型从所述单视图二维图像估计三维信息，并且基于所述三维信息重建三维模型。
[0012]所公开的方法和装置仅使用一个投影视图就能够执行3D血管模型的初始重建，可以减少医生和患者的辐射暴露量。它们还放宽了获得3D血管重建的要求，因为它消除了对传统多视图重建算法的严格要求，传统多视图重建算法需要来自足够不同角度的都清楚地显示目标血管而不与其他附近的血管重叠的至少两个投影视图。与多视图重建相比，从单视图投影图像重建还更快，多视图重建需要找到不同视图之间的对应点。
[0013]应当理解，上述的一般描述和以下的详细描述仅是示例性和说明性的，并不旨在限制所要求保护的专利技术。
附图说明
[0014]在不一定按比例绘制的附图中，相同的标号可以在不同的视图中描述相似的部件。具有不同字母后缀的类似标号可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。适当时，在所有附图中使用相同的标号来指代相同或相似的部分。这样的实施例是说明性的，而并非旨在作为本方法、装置、或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。
[0015]图1示出根据本公开的某些实施例的通过血管投影的血管造影成像。
[0016]图2示出根据本公开的某些实施例的示例性图像重建系统的示意图。
[0017]图3示出根据本公开的某些实施例的图像处理装置的示意图。
[0018]图4示出根据本公开的某些实施例的用于执行单视图三维重建的示例性三维图像重建框架。
[0019]图5A示出根据本公开的实施例的使用基于深度的方法执行单视图三维重建的示例性三维图像重建框架。
[0020]图5B示出根据本公开的实施例的使用基于模型的方法执行单视图三维重建的示例性三维图像重建框架。
[0021]图6示出根据本公开的某些实施例的用于执行三维图像重建的示例性处理的流程图。
[0022]图7是示出根据本公开的某些实施例的用于训练三维图像重建框架的示例性处理。
具体实施方式
[0023]现在将详细参照示例性实施例，其示例在附图中示出。
[0024]本公开提供了一种3D图像重建方法，其能够从拍摄的对象(例如，血管)的单视图2D投影图像重建对象的3D模型，而无需多视图投影图像。所公开的图像重建方法首先可以使用推断模型从单视图2D投影图像(例如，X射线血管造影图像)估计三维信息。例如，在基于深度的方法中，由推断模型估计的三维信息可以是对象的关键点或稠密点的深度信息。在基于模型的方法中，三维信息可以是表征对象的3D模型的模型参数，例如包括形状参数和姿态参数。然后，所公开的图像重建方法基于三维信息重建三维图像。例如，在基于深度的方法中，使用横切面(例如，投影平面)中的坐标和由推断模型估计的深度信息重建对象的3D图像。在基于模型的方法中，可以使用形状参数和姿态参数重建对象的3D模型。因此，所公开的诊断图像重建方法仅从单视图投影图像就能够重建对象的3D模型。
[0025]所公开的图像重建方法利用了投影图像形成背后的物理学原理。例如，图1示出根据本公开的某个实施例的通过血管投影的血管造影成像。如图1中所示，血管101是患者中的3D对象。例如，血管101可以是诸如冠状动脉血管、脑动脉、眼中的血管或静脉等的血管。预期血管101可以是其他类型的血管或任何树结构的3D对象，诸如肺中的气道。X射线束102被投影到血管101上，以在投影平面上形成血管造影投影图像103。例如，将造影剂注入血管101，随后使用C型臂X射线扫描仪将X射线束102投射到血管101。
[0026]基于血管造影X射线物理学原理，各个像素的强度值与X射线沿材料行进路径的指数衰减的累积成正比。例如，如图1所示，血管的投影本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于三维血管重建的装置，包括：接口，其被配置为接收患者血管的单视图二维图像，其中所述单视图二维图像是在预定投影方向上获取的投影图像；和处理器，其被配置为：使用推断模型从所述单视图二维图像估计所述血管的三维信息；并且基于所述三维信息重建所述血管的三维模型。2.根据权利要求1所述的装置，其中，由所述推断模型估计的所述三维信息包括与所述血管的至少一个关键点或稠密点相关联的深度信息，其中，所述深度信息指示各个关键点或稠密点与所述单视图二维图像的投影平面之间的距离。3.根据权利要求1所述的装置，其中，由所述推断模型估计的所述三维信息包括定义所述血管的模型的形状的至少一个形状参数。4.根据权利要求3所述的装置，其中，所述血管的所述模型是所述血管的刚性模型或可变形模型。5.根据权利要求3所述的装置，其中，由所述推断模型估计的所述三维信息进一步包括指示所述血管与所述预定投影方向的投影关系的至少一个姿态参数。6.根据权利要求1所述的装置，其中，所述推断模型是使用包括样本单视图图像及其对应的3D模型投影标注的训练数据训练的。7.根据权利要求1所述的装置，其中，所述单视图二维图像是由C型臂X射线扫描仪获取的所述患者的X射线血管造影图像。8.一种用于执行三维图像重建的计算机实现的方法，包括：接收患者的单视图二维图像，其中所述单视图二维图像是在预定投影方向上获取的投影图像；由处理器使用推断模型从所述单视图二维图像估计三维信息；并且由所述处理器基于所述三维信息重建三维模型。9.根据权利要求8所述的计算机实现的方法，其中，所述单视图二维图像拍摄所述患者的血管，并且所述三维模型是所述血管的三维模型。10.根据权利要求9所述的计算机实现的方法，其中，由所述推断模型估计的所述三维信息包括与所述血管的至少一个关键点或稠密点相关联的深度信息，其中，所述深度信息指示各个关键点或稠密点与所述单视图二维图像的投影平面之间的距离。11.根据权利要求10所述的计算机实现的方法，...

【专利技术属性】
技术研发人员：白军杰，刘树宝，尹游兵，高峰，潘月，王立伟，
申请(专利权)人：深圳科亚医疗科技有限公司，
类型：发明
国别省市：