用于实时更新穿行摄像机放置的方法和系统技术方案

虚拟内窥镜视图示出了外科手术区域和周围的解剖结构，并且还可示出在外科手术期间使用的外科器械的位置，从而允许外科医生在直接查看或实际内窥镜视图不完整、被阻挡或以其他方式不可用或不期望时虚拟地查看外科手术区域。为了渲染内窥镜视图，IGS导航系统可被配置为基于用户输入在3D空间内具有观察者点和观察者取向。用于限定这些点的用户界面允许用户在提供输入的同时实时查看虚拟内窥镜预览，从而改善所得的虚拟内窥镜视图是用户所期望的可能性；以及减少重新限定和重新配置虚拟内窥镜视图所花费的时间。虚拟内窥镜预览可提供静态图像和动态图像的组合以示出所提供的输入的空间关系。

【技术实现步骤摘要】
【国外来华专利技术】用于实时更新穿行摄像机放置的方法和系统优先权本申请要求2018年10月22日提交的名称为“MethodforRealTimeUpdateofFly-ThroughCameraPlacement”的美国临时专利62/748,571的优先权，该美国临时专利的公开内容以引用方式并入本文。
技术介绍
图像引导外科手术(IGS)为一种这样的技术：其中使用计算机来获得已经插入患者体内的器械的位置与手术前获得的图像集合(例如，CT或MRI扫描、3-D标测图等)的实时相关性，使得计算机系统可在手术前获得的图像上叠加器械的当前位置。可用于IGS手术中的电磁IGS导航系统的示例为由Biosense-Webster,Inc.(Irvine,California)提供的3系统。在一些IGS规程中，在外科手术之前获得手术区的数字断层扫描(例如，CT或MRI、3-D标测图等)。然后使用专门编程的计算机将数字断层扫描数据转化成数字地图。在外科手术过程中，具有传感器(例如，发出电磁场和/或响应于外部生成电磁场的电磁线圈)的特殊器械用于执行手术，同时传感器向指示每个外科器械的当前位置的计算机发送数据。该计算机将从传感器接收的数据与由手术前断层扫描生成的数字地图相关联。断层扫描图像连同指示器(例如，十字准线或照亮点等)一起示于视频监视器上，从而示出每个外科器械相对于扫描图像中所示解剖结构的实时位置。即使外科医生不能直接在体内器械当前位置处目视查看其本身，但外科医生能够通过查看视频监视器而了解每个配备传感器的器械的确切位置。为了提供上述虚拟内窥镜视图，IGS导航系统可能需要虚拟“摄像机”的“放置”以限定由虚拟内窥镜视图呈现的视点。此类放置可能需要限定观察者点(即，沿着虚拟内窥镜视图的观察者所处的3-D空间中的x、y和z轴的点)和观察者取向(即，限定观察者所面向的3-D空间中的方向的欧拉角)的配置或输入。当使用常规2D界面和工具代替具有3-D能力的界面和工具时，在虚拟3-D空间中限定位置和取向可能是困难的。作为例示潜在困难的示例，当使用3-D界面和工具时，诸如能够在房间规模移动并查看具有六个自由度的3-D虚拟环境的虚拟现实头戴式显示器，虚拟摄像机的放置可简单到围绕控制器行走或使用控制器在虚拟3-D空间内移动(即，沿着x轴、y轴和z轴移动)，然后在期望的方向上(即，旋转偏航、俯仰和翻滚)观看。当使用2D界面诸如计算机显示器和鼠标时，导航和查看相同的3-D虚拟环境以便限定观察者点和取向可不太直观并且更容易出错。常规2D界面可能需要用户使用键盘和鼠标浏览数字地图的多个单独图像，然后手动选择第一图像上的点作为观察者位置或取向，然后选择第二图像上的点作为剩余点。第一图像和第二图像可能不落在Z轴(即，第三维度)上的同一点上，使得作为2D观察者难以判断它们彼此的关系。因此，在IGS导航期间配置虚拟内窥镜视图的过程可能是不准确的(例如，用户可以选择第一点和第二点，然后在渲染虚拟内窥镜视图之后决定其不是期望的)和低效的(例如，用户可能需要多次重新限定第一点和第二点以便实现期望的视角)。此类不准确性和低效率可对外科手术的结果产生负面影响，包括降低通过内窥镜视图可用的视点的质量或可用性，以及增加完成手术所需的总时间。因此，可能有利的是提供具有用于限定虚拟内窥镜视图内的视点和视角的改进特征的IGS导航系统。尽管已研制出若干系统和方法并用于外科手术，但是据信，本专利技术人之前尚未有人研制出或使用所附权利要求书中所描述的专利技术。附图说明虽然在说明书之后提供了特别指出和清楚地要求保护本专利技术的权利要求书，但是据信通过对下面某些示例的描述并结合附图可以更好地理解本专利技术，附图中类似的附图标记表示相同元件，并且其中：图1示出了在坐在示例性医疗手术椅中的患者上使用的示例性手术导航系统的示意图；图2示出了可由图1的外科手术导航系统执行或利用图1的外科手术导航系统执行以放置虚拟摄像机的一组示例性高级步骤；图3示出了可由外科手术导航系统执行或利用外科手术导航系统执行以在放置虚拟摄像机期间提供实时虚拟内窥镜预览的一组示例性步骤；图4示出了可由外科手术导航系统执行或利用外科手术导航系统执行以查看、修改和确认虚拟摄像机的放置的一组示例性步骤；图5示出了示例性放置界面的模拟屏幕截图；图6示出了提供第一预览的图5的放置界面的模拟屏幕截图；图7示出了提供第二预览的图5的放置界面的模拟屏幕截图；图8示出了提供第三预览的图5的放置界面的模拟屏幕截图；图9示出了提供第四预览的图5的放置界面的模拟屏幕截图；图10示出了提供第一预览的另选示例性放置界面的模拟屏幕截图；图11示出了提供第二预览的图10的另选放置界面的模拟屏幕截图；图12示出了提供第三预览的图10的另选放置界面的模拟屏幕截图；并且图13示出了提供第四预览的图10的另选放置界面的模拟屏幕截图。附图并非旨在以任何方式进行限制，并且可以设想本专利技术的各种实施方案可以多种其他方式来执行，包括那些未必在附图中示出的方式。并入本说明书中并构成其一部分的附图示出了本专利技术的若干方面，并与说明书一起用于解释本专利技术的原理；然而，应当理解，本专利技术并不限于所示出的明确布置方式。具体实施方式本专利技术的某些示例的以下说明不应用于限定本专利技术的范围。根据以举例的方式示出的以下说明，本专利技术的其他示例、特征、方面、实施方案和优点对于本领域的技术人员而言将是显而易见的，一种最佳方式被设想用于实施本专利技术。如将认识到，本专利技术能够具有其他不同且明显的方面，所有这些方面均不脱离本专利技术。因此，附图和说明应被视为实质上是例示性的而非限制性的。应当理解，本文使用的术语“近侧”和“远侧”是相对于握持手持件组件的临床医生而言的。因此，端部执行器相对于较近的手持件组件而言处于远侧。还应当理解，为方便和清晰起见，本文关于临床医生握持手持件组件的情况也使用空间术语诸如“顶部”和“底部”。然而，外科器械在许多取向和位置中使用，并且这些术语并非旨在为限制性的和绝对的。还应当理解，本文所述的教导内容、表达、型式、示例等中的任何一者或多者可与本文所述的其他教导内容、表达、型式、示例等中的任何一者或多者相结合。因此下述教导内容、表达、型式、示例等不应被视为彼此分离。参考本文的教导内容，本文的教导内容可进行组合的各种合适方式对于本领域的技术人员而言将显而易见。此类修改和变型旨在包括在权利要求书的范围内。I.示例性图像引导外科手术导航系统图1示出了能够利用图像引导执行ENT规程的示例性IGS导航系统(100)。除了具有本文所述的部件和可操作性之外或者代替本文所述的部件和可操作性，IGS导航系统(100)可根据以下专利的教导内容中的至少一些来构造和操作：2010年5月18日公布的名称为“MethodsandDevicesforPerformingProcedureswithintheEar,Nose,ThroatandParanasalSinuses”的美国专本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n(a) 显示器；/n(b) 用户输入；/n(c) 与患者相关联的手术前图像集合；和/n(d) 处理器，所述处理器被配置为经由所述显示器向用户提供虚拟摄像机放置界面并且经由所述用户输入来接收输入；所述虚拟摄像机放置界面包括手术前图像窗格集合和虚拟摄像机视图，其中所述手术前图像窗格集合中的每一个手术前图像窗格包括来自所述手术前图像集合的手术前图像，并且其中所述用户输入能够操作以将光标移动到所述手术前图像窗格集合上方并且从所述手术前图像窗格集合作出选择，/n其中所述处理器还被配置为：/n(i) 基于经由所述用户输入接收的第一选择来限定第一点，其中所述第一选择包括所述手术前图像窗格集合中的一个手术前图像窗格上的点，/n(ii) 基于所述光标在所述手术前图像窗格集合中的一个手术前图像窗格上的光标位置来限定第二点，以及/n(iii) 基于所述第一点和所述第二点在所述虚拟摄像机视图中显示实时虚拟内窥镜预览。/n

【技术特征摘要】
【国外来华专利技术】20181022 US 62/748,571;20190920 US 16/577,0191.一种系统，包括：
(a)显示器；
(b)用户输入；
(c)与患者相关联的手术前图像集合；和
(d)处理器，所述处理器被配置为经由所述显示器向用户提供虚拟摄像机放置界面并且经由所述用户输入来接收输入；所述虚拟摄像机放置界面包括手术前图像窗格集合和虚拟摄像机视图，其中所述手术前图像窗格集合中的每一个手术前图像窗格包括来自所述手术前图像集合的手术前图像，并且其中所述用户输入能够操作以将光标移动到所述手术前图像窗格集合上方并且从所述手术前图像窗格集合作出选择，
其中所述处理器还被配置为：
(i)基于经由所述用户输入接收的第一选择来限定第一点，其中所述第一选择包括所述手术前图像窗格集合中的一个手术前图像窗格上的点，
(ii)基于所述光标在所述手术前图像窗格集合中的一个手术前图像窗格上的光标位置来限定第二点，以及
(iii)基于所述第一点和所述第二点在所述虚拟摄像机视图中显示实时虚拟内窥镜预览。


2.根据权利要求1所述的系统，其中所述处理器还被配置为：
(i)当所述光标移动并且所述光标位置改变时改变所述第二点的值，并且
(ii)随着所述第二点改变，更新所述实时虚拟内窥镜预览。


3.根据权利要求1所述的系统，其中所述处理器还被配置为：
(i)在显示所述实时虚拟内窥镜预览之后，经由所述用户输入接收第二选择，其中所述第二选择包括基于所述第二点确定的选择的第二点，以及
(ii)基于所述第一点和所述选择的第二点创建虚拟摄像机定义，其中所述虚拟摄像机定义被配置为能够由图像引导外科手术导航系统使用，以在外科手术期间产生虚拟内窥镜视图。


4.根据权利要求3所述的系统，其中所述系统包括所述图像引导外科手术导航系统，并且其中所述用户输入包括指向设备。


5.根据权利要求1所述的系统，其中所述处理器被进一步配置为当显示所述实时虚拟内窥镜预览时：
(i)确定所述第一点与所述第二点之间的空间关系，
(ii)基于所述空间关系来创建通过所述手术前图像集合的路线，以及
(iii)基于所述路线在所述虚拟摄像机视图中显示穿行图像序列。


6.根据权利要求5所述的系统，其中所述穿行图像序列包括从所述手术前图像集合中选择的多个顺序图像，并且所述多个顺序图像按照在遍历所述路线时其将被查看的顺序布置。


7.根据权利要求5所述的系统，其中所述虚拟摄像机放置界面包括导航控件集合，并且其中所述处理器被进一步配置为响应于经由所述导航控件集合的输入，调整显示所述穿行图像序列所处的速度和顺序。


8.根据权利要求7所述的系统，其中所述处理器被进一步配置为响应于经由所述导航控件集合的输入：
(i)暂停对所述穿行图像序列的显示，
(ii)基于指示所述视图位置和取向中的一者或两者从由所述路线提供的初始视图位置和取向的改变的输入，在所述虚拟摄像机视图中显示来自所述手术前图像集合的新图像，以及
(iii)基于所述新图像来改变所述第一点和所述第二点中的一者或两者的值。


9.根据权利要求8所述的系统，其中所述处理器被进一步配置为当显示所述新图像时，更新所述手术前图像窗格中的一个或多个手术前图像窗格以包括来自所述手术前图像集合的新手术前图像，其中针对每个手术前图像窗格的所述新手术前图像基于其与所述新图像的接近度和关系来确定。


10.根据权利要求5所述的系统，其中所述第一点与虚拟摄像机的位置相关联，并且所述第二点与所述虚拟摄像机的取向相关联，并且其中所述路线包括基于所述第一点确定的起点和基于所述第二点确定的终点。


11.根据权利要求5所述的系统，其中所述第二点与虚拟摄像机的位置相关联，并且所述第一点与所述虚拟摄像机的取向相关联，并且其中所述路线包括基于所述第二点确定的起点和基于所述第一点确定的终点。


12.根据权利要求1所述的系统，其中所述处理器还被配置为：
(i)在显示所述实时虚拟内窥镜预览之后，经由所述用户输入接收第二选择，其中所述第二选择包括基于所述第二点确定的选择的第二点，
(ii)基于经由所述用户输入接收的交换选择，交换所述第一点和所述选择的第二点的值，以及
(iii)基于所述第一点和所述选择的第二点的变化值在所述虚拟摄像机视图中显示所述实时虚拟内窥镜预览。
...

【专利技术属性】
技术研发人员：J·帕鲁士，H·F·萨拉萨尔，J·R·特罗特，M·列维，I·布斯坦，Y·平斯基，N·拉切利，A·帕帕达基斯，
申请(专利权)人：阿克拉伦特公司，伯恩森斯韦伯斯特以色列有限责任公司，
类型：发明
国别省市：美国;US