3D 表面的激光增强重建制造技术

一种用于重建三维对象（41）的表面的方法，包括：通过激光器（11）将激光光斑图案（12，14）投影到三维对象（41）的表面上，并且当内窥镜（21）相对于三维对象（41）被平移和/或旋转时生成一系列内窥镜图像（24）。每幅内窥镜图像（24）图示当被激光器（11）投影到三维对象（41）的表面上时的激光光斑图案（12，14）内的激光光斑阵列（13，15）的不同视图（23）。激光光斑阵列（13，15）可以与激光光斑图案（12，14）相同或是其子集。所述方法还包括根据如内窥镜图像（24）中图示的激光光斑阵列（13，15）的不同视图（23）的对应关系而重建三维对象（41）的表面。

【技术实现步骤摘要】
【国外来华专利技术】3D表面的激光增强重建本专利技术大体涉及在微创内窥镜手术期间对象的三维(“3D”)表面的重建。本专利技术具体涉及生成、检测和使用对象表面上的激光光斑图案的可再现并且准确的特征，以用于操作中内窥镜的相机校准和对象表面的3D重建。微创内窥镜手术是一种手术程序，其中，通过自然开口或皮肤上的小切口(S卩，端口)，在患者体内引入刚性或柔性内窥镜。通过类似的端口在患者体内引入额外的手术工具，并且所述内窥镜用于为外科医生提供与手术部位有关的手术工具的视觉反馈。微创内窥镜手术的范例包括但不限于，内窥镜心脏手术(例如，心脏搭桥或二尖瓣置换)、腹部的腹腔镜检查、关节的关节内窥镜检查和肺部的支气管镜检查。内窥镜检查中的激光计量是提供可能的内窥镜图像中对象尺寸测量的一类方法。其通常用于工业内窥镜，但是它也用于医学中。在激光测量中，准直激光束置于与内窥镜相机的光轴平行。激光束将激光点投影到所考虑的对象上或对象的附近。由于激光的光束准直，对象上或对象附近的点的尺寸独立于到对象的距离而保持不变。因而，该点的尺寸用作图像的尺寸标定器。现有技术中已知的一种方法将激光发生设备置于内窥镜的远端以针对激光计量生成校准激光点。基本上，该激光计量方法向对象(例如组织)投影一个(I)准直激光点并且通过激光点的直径获取对象的尺度。作为对比，现有技术中已知的另一方法使用具有与内窥镜相机的光轴平行的四组激光束的内窥镜向对象(例如，组织)投影四个(4)准直激光点，以得到图像中对象的尺寸。针对这种方法，使用棋盘式校准网格获得扭曲参数来执行径向扭曲补偿。然后，使用透镜几何位置通过各点之间的几何位置关系计算激光点的3D位置。最后，在内窥镜图象上显示校准标尺。如本文中前面针对微创内窥镜手术的叙述，内窥镜提供手术位置的仅有的视觉反馈。然而，内窥镜图像通常是二维的(“2D”)，这给获得视图中对象的深度信息以及相对位置和尺寸带来困难。通过一系列2D图象重建3D表面的已知算法依赖于寻找两个或多个帧中点之间的对应关系。这种算法得到的3D重建的质量严重依赖于匹配特征的准确性。特别地，为了从2D+t系列重建3D表面，使用随机采样一致性(“RANSAC”)优化，必须找到八个(8)或者更多个特征匹配。然而，在外科手术中，内窥镜视图中的对象通常是平滑并且没有特征的(例如，心脏内窥镜中的心脏组织或关节内窥镜中的骨表面)，这使得特征检测和匹配成为困难的任务。前面提及的激光计量方法通过使用平行于内窥镜的光轴定位的单一准直激光点或多个激光束来解决尺度问题(即，对象尺寸)。然而，这些方法并未解决3D重建的质量问题。这些方法的另一不足是，它们需要激光束平行于内窥镜的光轴。因而，激光源和内窥镜光纤必须集成到内窥镜本身中，其增加了内窥镜的直径，这增加了手术程序的创伤。本专利技术使用激光器用于在3D对象(例如感兴趣器官或组织)的表面上投影激光光斑图案(例如，圆点矩阵)，以便于对象表面的准确重建和相机的操作中校准，这克服了从2D内窥镜视图获得对象的表面的深度信息以及相对位置和尺寸的困难。、本专利技术的一种形式是采用激光器、内窥镜和图像重建设备的系统。在操作中，激光器在3D对象(例如，感兴趣器官或组织)的表面上投影激光光斑图案(例如，圆点矩阵)。内窥镜在当其相对于3D对象被平移和/或被旋转时生成一系列内窥镜图像，其中每幅内窥镜图像图示了当被激光器投影到所述3D对象的表面上时的激光光斑图案内激光光斑阵列的不同视图。图像重建设备根据如所述内窥镜图像中图示的激光光斑阵列的不同视图的对应关系,重建3D对象的表面。为了本专利技术的目的，术语“激光光斑图案”在本文中被广泛地定义为针对内窥镜应用的任何几何形状的、任何颜色的和任何实际尺寸的两个或更多个激光光斑的任何空间排列，并且术语“激光光斑阵列”在本文中被广泛地定义为具有相关联的激光光斑图案或它的任意子集的激光光斑的空间排列。在激光光斑图案和激光光斑阵列内，每个斑点的几何形状、颜色和维度可以是相同的或者在一些或所有激光光斑中是有变化的。额外地，激光光斑阵列可以操作前或操作中在激光光斑图案内被定义。此外，术语“内窥镜”在本文中被广泛地定义为具有从体内成像的能力的任何设 备。用于本专利技术目的的内窥镜的范例包括但不限于，任何种类的观测仪器，柔性的或刚性的，(例如，内窥镜、关节内窥镜、支气管镜、胆管镜、结肠镜、膀胱镜、十二指肠镜、胃窥镜、子宫镜、腹腔镜、喉镜、神经镜、耳镜、推入肠窥镜、鼻喉镜、乙状结肠镜、窦腔镜、胸腔镜等)和与配备有成像系统的观测仪器类似的任何设备(例如，带成像的嵌套插管)。成像是局部的，并且表面图像可以用光纤、透镜、或小型化(例如，基于CXD的)成像系统来光学地获得。通过结合附图阅读本专利技术的各实施例的以下述具体描述，本专利技术的上述和其他的形式以及本专利技术的各特征和优势将变得更加明显。详细的描述和附图仅为本专利技术的图解而非限制，本专利技术的范围在所附权利要求及其等价物中定义。图I图示了根据本专利技术的3D图像重建系统的示例性实施例；图2图示了根据本专利技术的激光光斑阵列的不同视图的示范性系列；图3图示了图2中所示出的根据本专利技术的激光光斑阵列的不同视图的另一示范性系列；图4图示了表示根据本专利技术的内窥镜手术方法的示范性实施例的流程图；图5图示了图I中所示系统采用的图4中所示方法的示范性内窥镜应用；图6图示了表示根据本专利技术的3D表面重建方法的示范性实施例的流程图。本专利技术的3D表面重建算法的实施是通过投影激光光斑图案到3D对象上的激光器和生成激光光斑图案内的激光光斑阵列的一系列2D内窥镜图像的内窥镜实现的。当被投影到3D对象上，激光光斑图案被用作可再现并且准确的特征，以便在内窥镜图像中建立激光光斑阵列的对应关系。例如，如图I中所示，由激光源10供电的激光器11投影出具有7x7圆点矩阵排列的激光光斑图案12。在激光光斑图案12内是具有3x3圆点矩阵排列的激光光斑阵列13。在微创内窥镜手术中，内窥镜21聚焦于激光光斑图案12的全部或者一部分,其中，内窥镜21的视场22包围激光光斑阵列13。更具体地，图2图示了当内窥镜21在3D对象的一方向上平移时由内窥镜21生成的内窥镜视图序列23a-23c。这样,激光光斑图案12在不同内窥镜视图23a_23c中放大，并且在每个内窥镜视图23a-23c中激光光斑阵列13能够被识别。激光光斑图案在不同内窥镜视图23a-23c中的放大用作激光光斑阵列13的运动以达到实施3D表面重建算法的目的，如在此将进一步描述的。图3图示了当内窥镜21在3D对象的一方向上进一步平移时内窥镜21生成的另外的内窥镜视图序列23d-23f。再次，激光光斑图案12在不同内窥镜视图23d-23f中放大，并且在每个内窥镜视图23d-23f中能够识别激光光斑阵列13，且激光光斑图案在不同内窥镜视图23d-23f中的放大用作激光光斑阵列13的运动以达到实施3D表面重建算法的目的，如在此将进一步描述的。提供图2和图3以强调将本专利技术的激光光斑图案原理，为投影到3D对象上的可再现并且准确的特征，以便于内窥镜图像中激光光斑阵列的对应关系。在实践中，优选地，激光光斑图案包括九个(9)或更多个激光光斑，内窥镜图像的数量为两(2)幅或更多，并且内窥镜相机和激光光斑图案之间的距离便于遍及所有内窥镜图像识别整个激本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.02.12 US 61/303,7021.一种系统，包括 激光器(11)，其用于将激光光斑图案(12，14)投影到三维对象(41)的表面上； 内窥镜(21)，其用于当所述内窥镜(21)相对于所述三维对象(41)被平移和被旋转中的至少ー项时生成一系列内窥镜图像(24), 其中，每幅内窥镜图像(24)图示当被所述激光器(11)投影到所述三维对象(41)的所述表面上时的所述激光光斑图案(12，14)内的激光光斑阵列(13，15)的不同视图(23)；图像重建设备(20)，其与所述内窥镜(21)通信，用于根据如所述内窥镜图像(24)中图示的所述激光光斑阵列(13，15)的所述不同视图(23)的对应关系而重建所述三维对象(41)的所述表面。2.如权利要求I所述的系统，其中，所述激光光斑图案(12，14)和所述激光光斑阵列 (13，15)是相同的。3.如权利要求I所述的系统，其中，所述激光光斑阵列(13，15)是所述激光光斑图案(12，14)的子集。4.如权利要求I所述的系统，其中，所述三维对象(41)的所述表面的所述重建包括 生成基础矩阵(F)，所述基础矩阵用于使如所述内窥镜图像(24)中图示的所述激光光斑阵列(13，15)的所述不同视图(23)相关；以及 根据所述基础矩阵(F)和所述激光光斑阵列(13，15)的所述不同视图(23)重建三维对象点。5.如权利要求I所述的系统，其中，所述三维对象(41)的所述表面的所述重建包括 生成基础矩阵(F)，所述基础矩阵用于使如所述内窥镜图像(24)中图示的所述激光光斑阵列(13，15)的所述不同视图(23)相关； 检测如所述内窥镜图像(24)中图示的所述对象(41)的表面特征；以及根据所述基础矩阵(F)和所述内窥镜图像(24)中检测到的所述对象(41)的所述表面特征重建三维对象点。6.如权利要求I所述的系统，其中，所述三维对象(41)的所述表面的所述重建包括 生成基础矩阵(F)，所述基础矩阵用于使如所述内窥镜图像(24)中图示的所述激光光斑阵列(13，15)的所述不同视图(23)相关。7.如权利要求6所述的系统，其中，所述三维对象(41)的所述表面的所述重建还包括 生成本质矩阵(E)，所述本质矩阵用于使如所述内窥镜图像(24)中图示的所述激光光斑阵列(13，15)的所述不同视图(23)相关，所述本质矩阵(E)是所述基础矩阵(F)和与所述内窥镜(21)的相机校准相关联的相机校准矩阵(K)的函数。8.如权利要求7所述的系统，其中，所述三维对象(41)的所述表面的所述重建还包括 根据所述本质矩阵(E)生成平移向量(T)和旋转矩阵(R)。9.如权利要求8所述的系统，其中，所述三维对象(41)的所述表面的所述重建还包括 根据所述平移向量(T)和所述旋转矩阵(R)生成针对所述激光光斑阵列(13，15)的每个视图(23)的投影矩阵(P)，每个投影矩阵(P)是所述激光光斑阵列(13，15)的相关联的视图(23)的线性变换。10.如权利要求9所述的系统，其中，所述三维对象(41)的所述表面的所述重建还包括 根据每个投影矩阵(P)和所述激光光斑阵列(13，15)的相关联的视图(23)重建三维对象点。11.如权利要求9所述的系统，其中，所述三维对象(41)的所述表面的所述重建还包括 针对所述激光光斑阵列(13，15)的每个视图(23)检测如所述内窥镜图像(24...

【专利技术属性】
技术研发人员：A·波波维奇，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：