增强现实定位医学视图制造技术

本发明专利技术涉及一种用于确定由增强现实设备(3)提供的视野重建图像增强的计算机实施的医疗方法、计算机程序及系统，其中至少一个二维重建图像(9、10)在视野内的图像定位和/或至少一个图像定向取决于至少一个对象(8、11、12)的空间位置。空间位置。空间位置。

【技术实现步骤摘要】
【国外来华专利技术】增强现实定位医学视图


[0001]本专利技术涉及一种用于确定由增强现实设备提供的视野内重建图像增强的计算机实施的方法、相应的计算机程序、存储这种程序的计算机可读存储介质和执行该程序的计算机以及包括电子数据存储设备和上述计算机的医疗系统。

技术介绍

[0002]近年来，混合现实(本文中又称增强现实)在医学领域中日益重要。特别是，将附加信息投影到医务人员的视野内，以协助对患者执行医疗过程或规划此类医疗过程。这可以包括以与人类感知的物理世界正确对齐的方式叠加虚拟对象信息。如果虚拟叠加与操作者视野内的物理世界正确对齐，则虚拟对象和物理对象会看似融合在一起。对于某些应用，却期望提供例如视野内虚拟屏幕等信息，这不会与现实世界的对象对齐。
[0003]本专利技术的目的是在人机工程学方面改进在用户视野内提供虚拟叠加的方法。例如，期望将虚拟叠加定位在视野内，使之易于为用户识别，而虚拟叠加不会导致视野混乱或甚至遮挡现实世界的感兴趣区域。此外，本专利技术的目的是改进对虚拟叠加所提供的附加信息的感知，以便例如在操作具有显示在虚拟叠加中的虚拟对应物的医疗器械或设备时改进手眼协调。
[0004]本专利技术可用于涉及通过例如与图像指导手术系统(诸如和皆产自Brainlab AG公司)和/或增强现实设备(诸如Magic Leap产自Magic Leap Inc.公司)相关的医务人员的视野增强来提供协助的任何医疗过程。
[0005]下文公开了本专利技术各个方面、实例和示例性步骤及其实施例。只要技术上适宜且可行，便能根据本专利技术组合本专利技术的不同示例性特征。

技术实现思路

[0006]在下文中，给出对本专利技术具体特征的简要描述，其不应理解为将本专利技术仅限于本部分中描述的特征或特征组合。
[0007]本公开的方法包括确定由增强现实设备提供的视野的重建图像增强，其中至少一个二维重建图像在视野内的图像定位和/或至少一个图像定向取决于至少一个对象的空间位置，特别是增强现实设备和至少一个对象的相对空间位置。
[0008]在本部分中，例如通过参照本专利技术的可行实施例给出对本专利技术的一般特征的描述。
[0009]总体而言，为了达成上述目的，本专利技术第一方面提供了一种确定由增强现实设备提供的视野内重建图像增强的计算机实施的医学方法。上述方法包括在至少一台计算机(例如，至少一台计算机作为导航系统的一部分)的至少一个处理器上执行以下由至少一个处理器执行的示例性步骤。
[0010]在(例如第一)示例性步骤中，获取描述患者身体部位的至少一个三维图像数据集的3D图像数据。
[0011]在(例如第二)示例性步骤中，基于3D图像数据来确定描述至少一个二维重建图像的重建图像数据。
[0012]在(例如第三)示例性步骤中，获取描述至少一个对象的空间位置和增强现实设备的空间位置的对象位置数据。
[0013]在(例如第四)示例性步骤中，基于重建图像数据和对象位置数据来确定图像增强数据，该图像增强数据描述由增强现实设备提供的视野内的至少一个二维重建图像，其中至少一个二维重建图像的图像定位和/或至少一个图像定向取决于至少一个对象的空间位置。
[0014]换言之，本专利技术的目的是在提供给用户的视野内显示已根据患者的三维图像数据集计算/重建的一个或多个图像，其中这些图像的空间定位和/或空间定向取决于至少一个对象的空间定位和/或空间定向，特别是至少一个对象相对于增强现实设备或其视线的空间位置。
[0015]通过如此操作，不仅可在不遮挡用户需要看到的现实世界重要区域和对象的定位处提供重建图像，而且可在相对于现实世界的可预测定位处和/或以相对于现实世界的可预测定向提供这些图像。此外，本专利技术提供了一种在人机工程学方面得以改进的增强现实显示器，具体是在现实中以及虚拟叠加(即至少一个重建图像)中看到用户操作的对象或设备或其部分时促进手眼协调。
[0016]在根据第一方面的方法的某一实例中，获取3D图像数据包括使用成像模态生成患者身体部位的三维图像数据集，或者获取使用成像模态生成的患者身体部位的三维图像数据集，其中该成像模态选自下组：
[0017]–
CT成像模态；
[0018]–
MRI成像模态；
[0019]–
超声成像模态。
[0020]因此，可以根据通过任何期望的成像模态获取的三维数据集来计算重建图像。此外，重建图像可以包括由通过多个成像模态、特别是从两个或更多个上述成像模态获取的图像信息组成的图像信息。
[0021]此外，可以将通过这些成像模态中的一个或多个获取的图像数据集与人工图像数据配准并用人工图像数据对其进行补充，该人工图像数据特别是从解剖图谱中检索所得。例如，然后可以很容易在虚拟叠加中显示给用户的重建图像中识别和突出显示图像中显示的感兴趣解剖结构或其某些部分。
[0022]在更具体实例中，借助设备获取重建图像数据，该设备可相对于患者身体部位移动并具有定义设备定位和至少一个设备定向的设备主体，其中基于相对于患者身体部位的设备定位来确定至少一个重建图像相对于患者身体部位的三维图像表示的定位，特别地，至少一个重建图像的图像平面在分配给图像数据集的坐标系中的位置矢量是基于设备定位，和/或基于相对于患者身体部位的至少一个设备定向来确定至少一个重建图像相对于患者身体部位的三维图像表示的至少一个定向，特别地，至少一个重建图像的图像平面在分配给图像数据集的坐标系中的至少一个方向矢量是基于至少一个设备定向，和/或基于患者的至少一个解剖方向、特别是内外方向、头尾方向和/或前后方向来确定至少一个重建图像相对于患者身体部位的三维图像表示的至少一个定向。
[0023]一般而言，一个或多个重建图像可以代表患者解剖结构的三维虚拟图像表示的二维“切片”，其中借助可由用户操作的设备或器械(例如手持式指针器械或手术工具或器械)选择该切片相对于三维图像表示的定位及定向。例如，可以将患者身体部位的3D图像表示与实际的患者解剖结构配准，以便通过操作(即相对于真实患者移动真实医疗器械)选择稍后将在虚拟叠加中显示的一个或多个图像或切片。附加地或替代地，这些选择的图像中的一个或多个相对于三维表示的定向可以取决于由患者解剖结构定义的方向，即一个或多个解剖方向。
[0024]此外，所选择的重建图像相对于三维图像表示的定位和/或定向可以定义如下：图像平面相对于三维图像表示的定位可以由自分配给三维图像表示的坐标系的原点延伸的位置矢量来定义。此外，图像平面的定向可以由相对于彼此正交定向的两个方向矢量来定义，其中至少一个方向矢量可以定义为定向于可移动设备的纵轴，和/或至少一个方向矢量可以定义为平行于解剖方向或定向于分配给三维图像表示的坐标系内定义的垂直或水平方向。
[0025]为了确定至少一个对象的空间位置，特别是至少一个对象与增强现实设备的相对位置，本专利技术的方法可以利用：外部医学跟踪系统，其适配为在特别是分配给手术室的静态坐标系内跟踪至少一个对象的空间位置和增强现实设备的空间位置；和/或跟踪系统，其特别是本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种确定由增强现实设备(7)提供的视野的重建图像增强的计算机实施的医学方法，所述方法包括以下步骤：
–
获取(S11)3D图像数据，所述3D图像数据描述患者身体部位(8)的至少一个三维图像数据集；
–
基于所述3D图像数据，确定(S12)重建图像数据，所述重建图像数据描述至少一个二维重建图像(9、10)；
–
获取(S13)对象位置数据，所述对象位置数据描述至少一个对象(8、11、12)的空间位置和所述增强现实设备(7)的空间位置；
–
基于所述重建图像数据和所述对象位置数据，确定(S14)图像增强数据，所述图像增强数据描述由所述增强现实设备(7)提供的视野内的至少一个二维重建图像(9、10)，其中，所述至少一个二维重建图像(9、10)的图像定位和/或至少一个图像定向取决于所述至少一个对象(8、11、12)的空间位置。2.根据权利要求1所述的方法，其中，获取3D图像数据包括使用成像模态生成所述患者身体部位的三维图像数据集，或者获取使用成像模态所生成的所述患者身体部位的三维图像数据集，所述成像模态选自下组：
–
CT成像模态；
–
MRI成像模态；
–
超声成像模态。3.根据权利要求1和2中任一项所述的方法，其中，将所述图像数据集与人工图像数据配准并用人工图像数据对其进行补充，所述人工图像数据特别是从解剖图谱中检索所得。4.根据权利要求1至3中任一项所述的方法，其中，获取重建图像数据包括使用能相对于所述患者身体部位(8)移动并具有设备主体的设备，所述设备主体定义设备定位和至少一个设备定向，其中
–
基于相对于所述患者身体部位的设备定位，确定所述至少一个重建图像(9、10)相对于所述患者身体部位(8)的三维图像表示的定位，特别是其中，所述至少一个重建图像(9、10)的图像平面在分配给所述图像数据集的坐标系中的位置矢量是基于所述设备定位；和/或
–
基于相对于所述患者身体部位(8)的至少一个设备定向，确定所述至少一个重建图像(9、10)相对于所述患者身体部位的三维图像表示的至少一个定向，特别是其中，所述至少一个重建图像(9、10)的图像平面在分配给所述图像数据集的坐标系中的至少一个方向矢量是基于所述至少一个设备定向；和/或
–
基于所述患者的至少一个解剖方向，特别是内外方向、头尾方向和/或前后方向，确定所述至少一个重建图像(9、10)相对于所述患者身体部位(8)的三维图像表示的至少一个定向。5.根据权利要求1至4中任一项所述的方法，其中，通过以下系统获取所述对象位置数据：
–
外部医学跟踪系统，适配为在特别是分配给手术室的静态坐标系内跟踪所述至少一个对象(8、11、12)的空间位置和所述增强现实设备(7)的空间位置；和/或
–
跟踪系统，特别是集成到所述增强现实设备(7)中，并适配为在耦合到所述增强现实
设备(7)的坐标系内相对于所述增强现实设备的空间位置跟踪所述至少一个对象(8、11、12)的空间位置。6.根据权利要求1至5中任一项所述的方法，其中，所述至少一个对象(8、11、12)选自下列：
–
手术室的至少暂时静态的设施(12)、特别是包括手术室的墙壁、天花板、地板、家具和固定附物的一个或多个部分；
–
医疗设备或器械(11)、特别是手动引导的医疗设备或器械、具体是根据权利要求3所述的可移动设备(11)的一个或多个部分；
–
医疗设备或医疗装置、特别是移动式医疗设备或医疗装置、具体是机动化医疗设备或医疗装置的一个或多个部分；
–
包括一个或多个解剖方向的患者解剖结构的一个或多个部分。7.根据权利要求1至6中任一项所述的方法，其中，确定图像增强数据包括将所述至少一个二维重建图像(9、10)的图像定位和/或至少一个图像定向与所述至少...

【专利技术属性】
技术研发人员：克里斯蒂安，
申请(专利权)人：博医来股份公司，
类型：发明
国别省市：