用于计算机辅助干预的空间感知显示器制造技术

本文描述了用于计算机辅助干预的空间感知显示器的系统、方法和技术。固定视见平截头体技术使用基于具有面向所述显示器的视场的虚拟相机的视角在所述显示器上渲染计算机图像，并且响应于调整所述显示器的位姿而自动更新所述虚拟相机的虚拟位置。动态镜像视见平截头体技术使用基于具有位于所述显示设备后面的虚拟位置的虚拟相机的视场的视角在所述显示器上渲染计算机图像。所述虚拟相机的所述虚拟位置响应于位于所述显示设备的前面的用户的视点的移动而动态更新。本文还描述了用于与固定视见平截头体技术和动态镜像视见平截头体技术一起使用的切片可视化技术。体技术一起使用的切片可视化技术。体技术一起使用的切片可视化技术。

【技术实现步骤摘要】
【国外来华专利技术】用于计算机辅助干预的空间感知显示器
[0001]相关申请的交叉引用
[0002]本国际专利申请要求于2020年6月9日提交的美国临时专利申请号63/036,559的优先权，所述文献的全部内容据此以引用的方式并入。

技术介绍

[0003]在X射线透视检查的极早期，放射科医师使用荧光手持屏幕，所述荧光手持屏幕被放置到穿过患者的从X射线源发出的光束中。图像与X射线源、患者、屏幕和观察者具有直接相关性，因为在产生图像的位置直接观察图像。随着成像和显示技术的进步，可以在可以定位监视器的任何位置处查看患者解剖结构的静态或实时图像。这具有患者和显示器定位更实用以及介入科医师承受的剂量减少的优点，但是失去了对X射线源、患者、屏幕与查看者之间的空间配置的直观感知。
[0004]本质上为3D的CT或MRI扫描通常可视化为沿患者的解剖轴线或沿器械的轴线的一组三个正交切片。直到最近才通常除切片可视化之外在手术室中的显示器上渲染3D图像。这些通常是来自视点的体积渲染，所述体积渲染可以由用户定义和控制。许多外科医生更喜欢2D图像而不是3D图形渲染，因为他们已在解释2D图像方面受到良好的训练，并且因此这定义了当前临床标准。
[0005]外科手术中的导航自1990年代初以来已被引入并且利用了不同的可视化技术。许多系统显示具有带另外的注释的术前或术中数据的切片。这些注释涉及需要在外科手术中实施的外科手术计划。此类注释通常是基于术前图像使深层解剖目标和外科医生到达它们的安全路径可视化的尝试。在此类系统中，当渲染图像时，不考虑外科医生的位置和显示器的位置。因此显示器的位置不影响可视化，观察者的位置也不影响可视化。
[0006]一系列相关工作通常称为增强现实窗口(AR窗口)。现有技术跟踪用于医疗原位增强的半透明显示器，所述半透明显示器结合头部跟踪器和立体眼镜。此类半透明显示器包括半镀银玻璃板，所述半镀银玻璃板反映来自计算机显示器的图像。其他技术已经解决在患者与外科医生之间使用半透明显示器在患者解剖结构上创建AR窗口的相同问题。然而，此类现有技术用有源矩阵LCD替换半镀银玻璃板。后来的尝试再次利用半镀银玻璃板解决所述问题，所述半镀银玻璃板拒绝生成高对比度图像的两个DLP投影仪的投影。其他系统由跟踪的移动不透明屏幕组成，其中屏幕的位置影响可视化。再一次，此类现有系统被放置在外科医生与患者之间，显示解剖结构的切片视图。然而，在此系统中，不考虑用户的视角，即屏幕上的图像仅是二维的，独立于外科医生的视点。
[0007]其他技术已提出AR可视化，所述AR可视化受牙科医生用于在不改变其视点的情况下检查患者口腔的方法启发。此类技术认定，在一些AR应用中，使对象旋转或在其周围移动是不可能的。建议生成另外的虚拟镜像视图，以在AR视图内提供对虚拟对象的辅助视角。空间跟踪的操纵杆用于在头戴式设备(HMD)的AR视图内使反映虚拟数据的虚拟镜像像真实镜像一样移动。

技术实现思路

[0008]本
技术实现思路
以简化的形式介绍以下在下文具体实现方式中进一步描述的概念选择。本
技术实现思路
并非意图限制所要求保护的主题的范围，并且不一定标识所要求保护的主题的各个和每一个关键或本质特征。
[0009]在第一方面，提供了一种用于帮助与物理对象交互的系统，所述系统包括：显示设备，所述显示设备限定平面并且位于所述物理对象的第一侧；以及导航系统，所述导航系统耦接到控制系统并且被配置为：将计算机图像与所述物理对象配准；跟踪所述物理对象和所述显示设备在公共坐标系中的位姿；并且控制所述显示设备以根据所述物理对象和所述显示设备的所跟踪的位姿渲染所配准的计算机图像；并且其中所述渲染的视角是基于虚拟相机，所述虚拟相机具有位于所述物理对象的与所述第一侧相反的第二侧的虚拟位置，并且其中所述虚拟相机具有面向所述显示设备的所述平面的视场，并且其中所述虚拟相机的所述虚拟位置响应于对所述显示设备的所述位姿的调整而自动更新。
[0010]在第二方面，提供了第一方面的系统的导航系统。
[0011]在第三方面，提供了一种操作用于帮助与物理对象交互的系统的方法，所述系统包括：显示设备，所述显示设备限定平面并且位于所述物理对象的第一侧；以及导航系统，所述导航系统耦接到控制系统，所述方法包括：将计算机图像与所述物理对象配准；跟踪所述物理对象和所述显示设备在公共坐标系中的位姿；以及控制所述显示设备以根据所述物理对象和所述显示设备的所跟踪的位姿渲染所配准的计算机图像；并且其中所述渲染的视角是基于虚拟相机，所述虚拟相机具有位于所述物理对象的与所述第一侧相反的第二侧的虚拟位置，并且其中所述虚拟相机具有面向所述显示设备的所述平面的视场，并且响应于调整所述显示设备的所述位姿而自动更新所述虚拟相机的所述虚拟位置。
[0012]在第四方面，提供了一种用于帮助与物理对象交互的计算机程序产品，所述计算机程序产品可与系统一起使用，所述系统包括：显示设备，所述显示设备限定平面并且位于所述物理对象的第一侧；以及导航系统，所述导航系统耦接到控制系统，所述计算机程序产品包括指令，所述指令在由一个或多个处理器执行时被配置为：将计算机图像与所述物理对象配准；跟踪所述物理对象和所述显示设备在公共坐标系中的位姿；并且控制所述显示设备以根据所述物理对象和所述显示设备的所跟踪的位姿渲染所配准的计算机图像；并且其中所述渲染的视角是基于虚拟相机，所述虚拟相机具有位于所述物理对象的与所述第一侧相反的第二侧的虚拟位置，并且其中所述虚拟相机具有面向所述显示设备的所述平面的视场，并且其中所述虚拟相机的所述虚拟位置响应于对所述显示设备的所述位姿的调整而自动更新。
[0013]在第五方面，提供了一种用于帮助与物理对象交互的系统，所述系统包括：显示设备，所述显示设备限定平面，其中所述物理对象位于所述平面的前面；导航系统，所述导航系统耦接到控制系统并且被配置为：将计算机图像与所述物理对象配准；跟踪所述物理对象、所述显示设备和用户的视点在公共坐标系中的位姿；并且控制所述显示设备以用于根据所述物理对象、所述显示设备和所述用户的视点的所跟踪的位姿渲染所配准的计算机图像；并且其中所述渲染的视角是基于具有位于所述平面的后面的虚拟位置的虚拟相机的视场，并且其中所述虚拟相机的所述虚拟位置响应于所述用户的视点的所跟踪的位姿的移动而自动更新。
[0014]在第六方面，提供了第五方面的系统的导航系统。
[0015]在第七方面，提供了一种操作用于帮助与物理对象交互的系统的方法，所述系统包括：显示设备，所述显示设备限定平面，其中所述物理对象位于所述平面的前面；以及导航系统，所述导航系统耦接到控制系统，所述方法包括：将计算机图像与所述物理对象配准；跟踪所述物理对象、所述显示设备和用户的视点在公共坐标系中的位姿；以及控制所述显示设备以用于根据所述物理对象、所述显示设备和所述用户的视点的所跟踪的位姿渲染所配准的计算机图像；并且其中所述渲染的视角是基于具有位于所述平面的后面的虚拟位置的虚拟相机的视场，并且响应于所述用户的视点的所跟踪的位姿的移动而自动更新所述虚拟相机的所述虚拟位置本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于帮助与物理对象交互的系统，所述系统包括：显示设备，所述显示设备限定平面并且位于所述物理对象的第一侧；以及导航系统，所述导航系统耦接到控制系统并且被配置为：将计算机图像与所述物理对象配准；跟踪所述物理对象和所述显示设备在公共坐标系中的位姿；并且控制所述显示设备以根据所述物理对象和所述显示设备的所跟踪的位姿渲染所配准的计算机图像；并且其中所述渲染的视角是基于虚拟相机，所述虚拟相机具有位于所述物理对象的与所述第一侧相反的第二侧的虚拟位置，并且其中所述虚拟相机具有面向所述显示设备的所述平面的视场，并且其中所述虚拟相机的所述虚拟位置响应于对所述显示设备的所述位姿的调整而自动更新。2.如权利要求1所述的系统，其中所述物理对象的所述计算机图像源自3D模型，并且所述控制系统被配置为控制所述显示设备以根据所述物理对象和所述显示设备的所跟踪的位姿显示所述3D模型的一个或多个切片。3.如权利要求2所述的系统，其中所述一个或多个切片在平行于所述显示设备的所述平面的平面处进行切片。4.如权利要求2
‑
3中任一项所述的系统，其中所述控制系统被配置为控制所述显示设备以响应于以下项中的一者或多者而将所述一个或多个切片自动改变为其他切片：所述显示设备的所跟踪的位姿；所述物理对象的所跟踪的位姿；外科手术器械的所跟踪的位姿；以及用户的视点的所跟踪的位姿。5.如任一前述权利要求所述的系统，其中所述虚拟相机的所述虚拟位置位于距所述显示设备的平面的预定距离处，其中所述预定距离自动更新。6.如权利要求5所述的系统，其中所述预定距离响应于以下项中的至少一者或多者而自动更新：所述显示设备的所跟踪的位姿、所述物理对象的所跟踪的位姿、外科手术工具的所跟踪的位姿；用户的视点的所跟踪的位姿；外科手术规程的类型；以及外科手术规程的特定步骤。7.如权利要求1
‑
4中任一项所述的系统，其中所述虚拟相机的所述虚拟位置位于距所述显示设备的平面的预定距离处，并且其中所述预定距离是固定的。8.如任一前述权利要求所述的系统，其中所述虚拟相机的所述虚拟位置相对于所述显示设备的所述平面的X
‑
Y布置自动更新。9.如权利要求8所述的系统，其中所述X
‑
Y布置响应于以下项中的至少一者或多者而自动更新：所述显示设备的所跟踪的位姿、所述物理对象的所跟踪的位姿、外科手术工具的所跟踪的位姿；用户的视点的所跟踪的位姿；外科手术规程的类型；以及外科手术规程的特定步骤。10.如权利要求1
‑
7中任一项所述的系统，其中所述虚拟相机的所述虚拟位置相对于所述显示设备的所述平面的X
‑
Y布置是固定的。11.如任一前述权利要求所述的系统，其中所述显示设备的所述位姿是可手动调整的，并且所述虚拟相机的所述虚拟位置响应于对所述显示设备的所述位姿的手动调整而自动更新。
12.如任一前述权利要求所述的系统，其包括：耦接到所述显示设备的一个或多个致动器，并且所述控制系统被配置为控制所述一个或多个致动器以调整所述显示设备的所述位姿。13.如权利要求12所述的系统，其包括：耦接到所述控制系统的输入设备，并且所述控制系统被配置为接收来自所述输入设备的命令并且控制所述一个或多个致动器以根据所述命令调整所述显示设备的所述位姿。14.如权利要求12
‑
13中任一项所述的系统，其包括：外科手术器械，所述外科手术器械包括一个或多个可跟踪的特征，并且其中所述导航系统被配置为跟踪所述外科手术器械在所述公共坐标系中的位姿并且控制所述显示设备以显示所述外科手术器械的图像，并且其中所述控制系统被配置为控制所述一个或多个致动器以基于所述外科手术器械的所跟踪的位姿来调整所述显示设备的所述位姿。15.如权利要求12
‑
14中任一项所述的系统，其包括：视点跟踪系统，所述视点跟踪系统耦接到所述导航系统并且被配置为跟踪用户的视点在所述公共坐标系中的位姿，并且其中所述控制系统被配置为控制所述一个或多个致动器以基于所述用户的视点的所跟踪的位姿来调整所述显示设备的所述位姿。16.如任一前述权利要求所述的系统，其中在所述虚拟相机的所述虚拟位置与所述显示设备的所述平面之间限定的线横向于所述显示设备的所述平面。17.如任一前述权利要求所述的系统，其中在所述虚拟相机的所述虚拟位置与所述显示设备的所述平面之间限定的线正交于所述显示设备的所述平面。18.如权利要求16
‑
17中任一项所述的系统，其中所述线落在所述显示设备的几何中心。19.如权利要求16
‑
17中任一项所述的系统，其中所述线落在偏离所述显示设备的几何中心的位置处。20.一种操作用于帮助与物理对象交互的系统的方法，所述系统包括：显示设备，所述显示设备限定平面并且位于所述物理对象的第一侧；以及导航系统，所述导航系统耦接到控制系统，所述方法包括：将计算机图像与所述物理对象配准；跟踪所述物理对象和所述显示设备在公共坐标系中的位姿；以及控制所述显示设备以根据所述物理对象和所述显示设备的所跟踪的位姿渲染所配准的计算机图像；并且其中所述渲染的视角是基于虚拟相机，所述虚拟相机具有位于所述物理对象的与所述第一侧相反的第二侧的虚拟位置，并且其中所述虚拟相机具有面向所述显示设备的所述平面的视场，并且响应于调整所述显示设备的所述位姿而自动更新所述虚拟相机的所述虚拟位置。21.一种用于帮助与物理对象交互的计算机程序产品，所述计算机程序产品能够与系统一起使用，所述系统包括：显示设备，所述显示设备限定平面并且位于所述物理对象的第一侧；以及导航系统，所述导航系统耦接到控制系统，所述计算机程序产品包括指令，所述指令在由一个或多个处理器执行时被配置为：将计算机图像与所述物理对象配准；
跟踪所述物理对象和所述显示设备在公共坐标系中的位姿；并且...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：慕尼黑工业大学，
类型：发明
国别省市：