基于视频的扩增实境增强型外科手术导航系统的精度评估技术方案

提出了用于对基于视频的扩增实境增强型外科手术导航系统中的重叠误差进行测量的系统和方法。在本发明专利技术的示例性实施例中，该系统和方法包括提供一个测试对象，生成一个虚拟对象，其中该虚拟对象为测试对象的计算机模型，配准该测试对象，在扩增实境系统的测量空间中捕捉各个位置的测试对象上控制点的图像，以及从被捕捉的图像中提取出测试对象上控制点的位置，计算虚拟图像中控制点的位置，以及计算测试对象的各个视频和虚拟图像之间相应控制点的位置的位置差异。该方法和系统可以进一步评估该重叠精度是否符合可接受的标准。在本发明专利技术的示例性实施例中，提供了一种方法和系统，用于识别该系统中的各种误差源，并且评估它们对于系统精度的影响。在本发明专利技术的示例性实施例中，在确定了ＡＲ系统的精度之后，该ＡＲ系统可以被用作一个工具，用于评估给定的应用中其他处理的精度，例如配准误差。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及基于视频的真实性增强的增强型外科手术导航系统，并且更具体地涉及评估该系统的精度的方法和系统。
技术介绍
图像导引系统已经越来越多地被用在外科手术过程中。该系统已经被证实增加了各种外科手术过程的精度并降低了手术创伤。同时，图像导引外科手术系统(“外科手术导航系统”)是基于获得了手术前的扫描或成像数据序列，例如核磁共振成像(“MRI”)，计算机X射线断层造影术(“CT”)等，接着可以通过各种方式把它们配准至实体世界中的患者。在许多传统的图像导引手术中，从手术前扫描图像中生成的容积测定数据或三维(“3D”)数据被显示作为三个正交平面中的二维图像，其中该二维图像根据由外科医生控制的跟踪探头尖端的三维位置而发生变化。当这样的探头被导入外科手术区域中时，其尖端的位置通常被表示为在该图像上绘制的图标，因此专业人员实际上看到的就是三个2D视图1的每一个中的移动图标。通过将预先获得的成像数据1该显示的视图一般为穿过所感兴趣的区域的轴向、冠状以及倾斜的切片。与实际的外科手术区域(即，给定的3D实体空间中真实世界可见的人体)相关联，该导航系统能够为外科医生或其他专业人员提供有价值的信息，而该信息对于他来说在外科手术区域中并不能立即被看到。例如，该导航系统能够计算和显示当前手持工具在患者体内相对于周围结构的精确位置。在AR系统中，例如摄像头探头应用(Camera ProbeApplication)中描述的，周围结构可以是部分扫描图像。通过配准处理，将它们与患者的相应实际结构对准。这样，我们在监视器上看到的就是手持探头相对于扫描图像中患者的解剖结构(解剖结构上的某点与患者身上等同点之间的位置差异就是这一点处的配准误差)的类似点(它与实际尖端的位置差异就是跟踪误差)。这有助于在手术区域的实际组织与手术前计划中使用的图像(那些组织以及它们周围结构)之间建立联系。在该方法中有一个固有的缺陷。由于在传统的系统中，该被显示的图像只是二维的，为了被充分地利用，当外科医生(或其他用户)工作时，必须在心里使得这些二维显示图像与三维图像相一致。这样，会共同遇到一个问题，该问题对于所有的传统导航系统来是共同的，即2D正交切片中出现手术前的成像数据，因此外科医生不得不付出很大的精神努力将手术前的图像序列中的空间信息与感兴趣的患者区域的物理定位关联在一起。这样，例如，神经外科医生通常必须将患者的实际头部(在手术期间，其经常几乎都被盖住)以及其中的各种组织与根据手术前的扫描获得的分立的轴向的、矢状的以及冠状的图像切片关联在一起。为解决这个问题，一些传统的系统在第四显示窗口中显示三维(“3D”)数据集。但是，在该系统中，显示的3D视图只不过是手术前扫描数据的3D透视图，并且根本没有与外科手术区域中外科医生的实际视角关联起来，更不用说与医生的实际视角相结合了。结果，使用该系统的外科医生仍旧不得不在心里使得显示的3D视图与其实际区域的实时视角相一致。这就通常会导致外科医生在感兴趣对象的3D透视图(通常被表示作为相对于黑背景的“抽象”对象)和他正在操作或操作附近的实际真实世界对象之间持续地切换视角。为了克服这些不足，扩增实境(AR，Augmented Reality)可以被用于增强图像导引外科手术。扩增实境生成一个环境，在该环境中，计算机生成的虚拟对象的图像能够与真实世界中真实对象的用户的视角结合在一块。这可以通过如下方式实现，例如将虚拟对象的3D透视图与从视频摄像头(基于视频的AR)获得的实时视频信号结合在一起，将该虚拟对象投影至头戴式显示器(HMD)装置中，或者甚至是将该虚拟对象直接投影至用户的视网膜上。基于视频的AR增强型外科手术导航系统一般使用视频摄像头来提供患者的实时图像，以及使用计算机根据通过手术前扫描而获得的患者的三维图像数据生成虚拟结构的图像。该计算机生成的图像被重叠在现场视频上，提供了能够被用于外科手术导航的扩增显示。为了在实时视频图像中使得计算机生成的图像与它们的实际等同物精确一致，(i)可以使虚拟结构(组织)与该患者进行配准，以及(ii)视频摄像头相对于患者的位置和方位可以被输入至计算机。在配准之后，可以确定患者与参考系统之间的几何关系。该参考系统可以是，例如与3D跟踪装置相连的坐标系统，或者与患者刚性链接的参考系统。这样就可以通过与患者以及视频摄像头相连的3D跟踪装置来确定摄像头与患者之间的关系。在共同未决的“摄像头探头应用”的申请中描述了这种外科手术导航系统。其中描述的该系统包括微型摄像头，该微型摄像头位于能够被跟踪系统跟踪的手持导航探头中。这样就能够通过查看由微型摄像头获取的该实时图像从而在给定的手术区域中进行导航，其中，根据描述了感兴趣结构的先前的扫描数据，将这些实时图像与计算机生成的3D虚拟对象结合在一起。通过改变实时图像与叠加的3D图形的透明度设置，该系统能够使用户的立体感(深度感知，depth perception)得到加强。另外，探头与叠加的3D虚拟对象之间的距离可以被动态地显示在该组合图像中或其附近。使用该摄像头探头技术，通过利用手术前获得的多模式CT以及MRI数据，虚拟真实系统可以被用于设计外科手术方案，并且能够随后将外科手术设计情节转换为实际外科手术区域的实时图像。虚拟与真实结构的重叠；重叠误差在该外科手术导航系统中，在该实时合并的图像中，虚拟结构(即，从患者手术前的容积测定数据生成的那些虚拟结构)的叠加图像与它们的实际等同物精确一致是至关重要的。容积测定数据中的各种误差源，包括配准误差、校准误差以及几何误差，都会在与实际图像相关的叠加的图像的某个区域的显示位置中产生不准确的情况。结果，当患者的容积测定数据的3D透视图覆盖在该患者的实时照相图像上时，在3D透视图中出现的某些区域或结构可能会与该患者实时图像中的相应区域或结构存在些许位置差异。这样，参照在3D透视图中的位置而被导引的外科手术器械就无法准确地对准在实际外科手术区域中所希望的相应位置。在William Hoff和Tyrone Vincent所著的“Analysis of Head PoseAccuracy in Augmented Reality”(《IEEE Transactions on Visualizationand Computer Graphics》，第6卷第4期，2000年10-12月)中详细论述在外科手术导航系统中出现的各种类型的误差。这里为了便于描述，在扩增图像中虚拟结构相对于它们的实际等同物的位置误差被称为“重叠误差”。对于扩增实境增强型外科手术导航系统来说，为了提供精确的导航和导引信息，该重叠误差应该被限制在可接受的标准2之内。2该可接受标准的例子可以是，例如，理想应用条件下，在贯穿AR系统的整个工作空间的扩增图像中，虚拟结构与它们的真实世界等同物之间重叠误差的两个像素标准偏差。这里使用的“理想应用条件”可以指(i)系统配置和设置与评估中的一样；(ii)没有出现由于例如模型误差以及组织变形的应用而引起的误差；以及(iii)配准误差与评估中的一样小。目测传统的重叠精确评估方法是目测。在该方法中，一个简单的对象，例如盒子或立方体，被作为模型并着色(render)。在一些情况下，通过CT或MRI对带有标志的人头实本文档来自技高网...

【技术保护点】
一种测量扩增实境系统中重叠误差的方法，包括：提供测试对象；对该测试对象进行配准；在规定的工作空间中的各种位置处捕捉所述测试对象上各参考点的图像；从所捕捉的图像中提取出所述测试对象上各参考点的位置；计算 该参考点的再投影位置；以及计算所提取出的各参考点以及再投影的参考点之间的差异。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：朱传贵，
申请(专利权)人：布拉科成像SPA公司，
类型：发明
国别省市：IT[意大利]