空间跟踪系统与增强现实显示器的配准技术方案

示例方法包括从相机获取图像，每个相机相对于增强现实(AR)设备的空间坐标系具有已知位置和朝向。所获取的图像包括多模式标记设备的部分，该多模式标记设备包括至少一个跟踪传感器，该跟踪传感器具有在跟踪系统的坐标系中可检测的三维位置。基于相应获取的图像中的每一个以及相机相对于AR设备的已知位置和朝向，估计多模式标记设备的部分相对于AR设备的空间坐标系的三维位置。该方法包括计算仿射变换，该仿射变换被配置为将跟踪系统的坐标系与位于AR设备的空间坐标系中的显示器的视觉空间配准。间配准。间配准。

【技术实现步骤摘要】
【国外来华专利技术】空间跟踪系统与增强现实显示器的配准
[0001]对相关申请的交叉引用
[0002]本申请要求于2019年4月24日提交的标题为“REGISTRATION OF SPATIAL TRACKING SYSTEM WITH AUGMENTED REALITY DISPLAY”的美国临时申请No.62/838,027号和于2019年4月4日提交的标题为“SPATIAL REGISTRATION OF TRACKING SYSTEM WITH AN IMAGE USING TWO
‑
DIMENSIONAL IMAGE PROJECTIONS”的美国临时申请No.62/829,394号的优先权，其中每一个都通过引用整体并入本文。


[0003]本公开涉及用于将跟踪系统与增强现实系统配准的系统和方法。

技术介绍

[0004]增强(或混合)现实是现实世界环境的交互体验，其中驻留在现实世界中的对象被计算机生成的感知信息“增强”，诸如通过覆盖建设性感官信息或破坏性感官信息。建设性感官信息示例的一个示例是使用增强现实头戴式耳机将计算机生成的图形覆盖在环境的真实物理视图上，使得将其感知为真实环境的沉浸式方面。但是，由于头戴式耳机是固定在用户身上的，因此计算机生成的图形需要即时正确地配准到环境的真实物理视图。当正在配准的配准图形不表示环境中可见的对象时，这变得更加复杂。

技术实现思路

[0005]本公开涉及用于将跟踪系统与增强现实系统配准的系统和方法。
[0006]作为示例，一种方法包括从相机获取图像，每个相机相对于增强现实设备的空间坐标系具有已知位置和朝向。所获取的图像可以包括多模式标记设备的预定部分，其相对于多模式标记设备的至少一个跟踪传感器具有固定的已知空间位置。至少一个跟踪传感器具有在跟踪系统的坐标系中可检测的三维位置。该方法还包括基于相应获取的图像中的每一个以及相机相对于增强现实设备的空间坐标系的已知位置和朝向来估计多模式标记设备的预定部分相对于增强现实设备的空间坐标系的三维位置。该方法还包括计算仿射变换，该仿射变换被配置为基于多模式标记设备的相应预定部分的估计的三维位置和多模式标记设备的预定部分相对于至少一个跟踪传感器的已知空间位置将跟踪系统的坐标系与位于增强现实设备的空间坐标系中的显示器的视觉空间配准。
[0007]作为另一个示例，一种系统包括增强现实设备，该增强现实设备包括用于获取相应视场的图像的相机。一个或多个非暂态计算机可读介质被配置为存储数据和可由处理器执行的指令。数据包括用于由相机获取的图像的增强现实图像数据，每个相机相对于增强现实设备的空间坐标系具有已知位置和朝向。增强现实图像数据可以包括多模式标记设备的预定部分，其相对于多模式标记设备的至少一个跟踪传感器具有固定的已知空间位置，并且至少一个跟踪传感器具有在跟踪系统的坐标系中可检测的三维位置。指令包括基于获取的增强现实图像数据和相机相对于增强现实设备的空间坐标系的已知位置和朝向来生
成多模式标记设备的预定部分相对于增强现实设备的空间坐标系的三维位置的代码。指令还包括计算仿射变换的代码，该仿射变换用于基于多模式标记设备的相应预定部分的三维位置和多模式标记设备的预定部分相对于至少一个跟踪传感器的已知空间位置和朝向来将跟踪系统的坐标系与位于增强现实设备的空间坐标系中的显示器的视觉空间配准。
附图说明
[0008]图1是描绘将跟踪系统的传感器配准到增强现实显示器的空间坐标系中的方法的示例的流程图。
[0009]图2描绘了标记设备的示例。
[0010]图3A和图3B描绘了多模式标记设备的示例。
[0011]图4描绘了增强现实设备的示例，该设备包括用于获取可视化空间的二维图像的相机。
[0012]图5描绘了用于生成仿射变换的系统的示例。
[0013]图6描绘了用于控制对一个或多个仿射变换的使用或校正的配准管理器的示例。
[0014]图7和图8是来自增强现实设备的相应相机的图像，该增强现实设备包括与解剖结构的共同配准的模型相邻的多模式标记。
[0015]图9描绘了基于根据图1的方法执行的配准而生成的增强现实可视化的示例。
具体实施方式
[0016]本公开一般而言涉及用于将跟踪系统和一个或多个模型的集合与在增强现实(AR)显示设备(诸如头戴式显示器)上渲染的AR视场配准的方法和系统。该方法利用包括可由多于一种模态检测的基准标记的标记设备(例如，多模式标记)。例如，标记设备包括第一基准标记以提供在由相对于可视化空间(例如，AR视场)具有固定位置的相机集合生成的图像中可见的图案，以及可由三维空间跟踪系统检测的一个或多个标记的另一个集合。
[0017]作为示例，两个或更多个相机(例如，数字灰度相机)的布置被安装为沿着AR设备的框架彼此间隔开的前向相机。因此，相机被配置用于为重叠的视场提供二维图像。以这种方式，相机的视场包括AR设备的视场并且可以包括多模式标记设备的一个或多个基准标记。除了对相机的光谱可见的一个或多个基准标记(其可能对人眼不可见)之外，标记设备还包括可由三维空间跟踪系统检测的一个或多个第二基准标记(例如，一个或多个跟踪传感器)。每个第二基准标记被布置在相对于第一基准标记的预定空间位置和朝向，第一基准标记在由相机获取的相应图像(例如，实时图像)中是可辨别的。
[0018]作为进一步的示例，每个相机获取包括视场的图像，该视场包括与标记设备的第一基准标记对应的标记图案。处理每个图像以定位和识别每个相应图像中的图案的预定部分(例如，矩形印刷标记的拐角)。使用每个相机相对于AR设备的已知位置(例如，固定位置)，将标记图案的识别出的部分(例如，点或区域)转换成AR系统的三维空间坐标系(即，AR视场)中的对应三维位置。
[0019]一个或多个跟踪传感器相对于(一个或多个)基准标记的位置和朝向还作为跟踪位置数据存储在存储器中。此外，可以预先计算用于将(一个或多个)跟踪传感器与坐标系对准的一个或多个仿射变换，该变换也存储在存储器中(例如，作为跟踪到模型系统的变
换)。在示例中，预先计算的变换是一个或多个仿射变换的集合，其被预先计算以将跟踪坐标系与先前的三维(3D)图像扫描(例如，规程前扫描)配准。先前3D图像扫描可以是高分辨率成像技术，诸如计算机断层扫描(CT)、磁共振成像(MRI)，其可以在规程前数小时、数天甚至数周执行。一个或多个模型(诸如管状解剖结构的中心线模型和/或网格模型)可以从先前3D图像扫描导出，并且因此在先前3D图像的坐标系中空间配准。如本文所公开的，可以计算用于将每个跟踪传感器的位置和朝向与先前3D图像在公共坐标系中配准的(一个或多个)预先计算的仿射变换。
[0020]计算另一个仿射变换(本文也称为AR对准变换或零变换矩阵)以将跟踪系统的坐标系与AR坐标系对准。例如，基于跟踪位置数据、AR图像数据和跟踪传感器变换来确定AR对准变换。跟踪传感器变换可以限定跟踪传感器和一个或多个基准之间的预定空间关系，这些基准被集本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：从相机获取图像，每个相机相对于增强现实设备的空间坐标系具有已知位置和朝向，所获取的图像包括多模式标记设备的预定部分，其相对于多模式标记设备的至少一个跟踪传感器具有固定的已知空间位置，所述至少一个跟踪传感器具有在跟踪系统的坐标系中能够检测的三维位置；基于相应获取的图像中的每一个以及相机相对于增强现实设备的空间坐标系的已知位置和朝向来估计多模式标记设备的预定部分相对于增强现实设备的空间坐标系的三维位置；以及计算仿射变换，该仿射变换被配置为基于多模式标记设备的相应预定部分的估计的三维位置和多模式标记设备的预定部分相对于所述至少一个跟踪传感器的已知空间位置将跟踪系统的坐标系与位于增强现实设备的空间坐标系中的显示器的视觉空间配准。2.如权利要求1所述的方法，其中仿射变换是给定的仿射变换，该方法还包括确定至少一个其它仿射变换，用于将模型空间的三维坐标系与跟踪系统的坐标系配准。3.如权利要求2所述的方法，其中解剖模型数据被存储在存储器中以表示模型空间中的用于内部解剖结构的患者解剖结构的至少一个三维模型，该方法还包括：将给定的仿射变换和其它仿射变换应用于解剖模型数据，以将用于内部解剖结构的患者解剖结构的所述至少一个三维模型映射到显示器的视觉空间中，该视觉空间位于增强现实设备的空间坐标系中。4.如权利要求3所述的方法，其中用于内部解剖结构的患者解剖结构的所述至少一个三维模型包括基于通过术前医学成像模态获取的三维先前图像数据在模型空间中导出的网格结构。5.如权利要求1或2所述的方法，还包括将仿射变换应用于由跟踪系统针对所述至少一个跟踪传感器获取的跟踪数据，以将所述至少一个跟踪传感器的位置和朝向映射到位于增强现实设备的空间坐标系中的显示器的视觉空间中。6.如前述权利要求中的任一项所述的方法，其中多模式标记设备的每个预定部分的坐标是基于相应获取的图像中的每一个图像中的预定部分中的像素的位置来确定的。7.如权利要求6所述的方法，其中多模式标记设备包括在由相机获取的至少一些图像中可见的基准标记，其中在由相机获取的图像中识别基准标记并且针对每个识别出的基准标记确定多模式标记设备的预定部分的坐标。8.如权利要求7所述的方法，其中基准标记包括矩形形状的边界，该边界在其边缘相交处具有相应拐角，其中标记的预定部分与边界的相应拐角对应。9.如前述权利要求中的任一项所述的方法，其中相机相对于增强现实设备的显示器处于已知位置并且被配置为获取图像以包括具有重叠视场的非平行图像。10.如权利要求9所述的方法，其中增强现实设备包括头戴式耳机，该头戴式耳机包括相机及其显示器，显示器是被配置为将全息图像覆盖在用户视场内的显示器上的头戴式显示器。11.如权利要求9所述的方法，其中增强现实设备包括智能电话或平板计算机。12.如前述权利要求中的任一项所述的方法，其中对由相机获取的图像帧重复执行计算仿射变换以更新仿射变换，从而适应相机相对于多模式标记设备的预定部分的移动。
13.如权利要求2、4、5、6、7、8、9、10或11中的任一项所述的方法，其中模型空间包括先前三维术前医学成像模态的三维空间坐标系，并且其中确定其它仿射变换还包括：计算用于将术中医学成像模态的坐标系与限定模型空间的三维医学成像模态的坐标系配准的第一变换；以及基于多模式标记设备的相应预定部分的估计位置以及所述至少一个跟踪传感器与多模式标记设备的相应预定部分之间的已知关系来计算用于将跟踪系统的三维坐标系与术中医学成像模态的三维坐标系配准的第二仿射变换。14.一个或多个非暂态计算机可读介质，其被编程以执行任何前述权利要求所述的方法。15.一种系统，包括：增强现实设备，包括用于获取相应视场的图像的相机；一个或多个非暂态计算机可读介质，用于存储数据和能够由处理器执行的指令，该数据包括：用于由相机获取的图像的增强现实图像数据，每个相机相对于增强现实设...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：中心线生物医药股份有限公司，
类型：发明
国别省市：