使用实时图像处理在视频引导临床手术期间改变视向的系统和方法技术方案

关节镜和腹腔镜有几种镜头切口以覆盖不同的临床情况，为了改变摄像机的视向，外科医生必须更换光学器件。当前公开的实施例公开了使用户能够任意改变外科手术摄像机的视向的实时图像处理系统和方法，其优点在于避免了由所述光学器件的物理更换引起的工作流中断。另外，当前公开的实施例公开了沿任意观察方向进行变焦(定向变焦)，使得能够增加所关注区的比例而不会减小总视场或损失图像内容。例而不会减小总视场或损失图像内容。例而不会减小总视场或损失图像内容。

【技术实现步骤摘要】
【国外来华专利技术】使用实时图像处理在视频引导临床手术期间改变视向的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2019年10月7日提交的第62/911，986号美国临时专利申请(
“′
986申请”)和2019年10月7日提交的第62/911，950号美国申请(
“′
950申请”)的优先权和权益。
′
986申请和
′
950申请在此以其全文引用的方式并入本文中以用于所有目的。


[0003]本公开大体上涉及计算机视觉和图像处理领域，且具体地但非限制性地，呈现的所公开实施例可用于增强外科手术和诊断的视频引导微创临床手术中的可视化，例如关节镜、腹腔镜或内窥镜，以用于用内窥镜镜头改变外科手术摄像机的视向的目的，在这种情况下，系统再现通过具有与实际上使用的镜头切口不同的镜头切口的物理观测仪器获取的视图，或沿任意视向执行变焦而不会减小图像视场或损失图像内容。

技术介绍

[0004]在例如关节镜或腹腔镜的视频引导手术中，通过指定为手术口的小切口进入所关注解剖腔。这些口中的一个允许接入配备有硬性内窥镜的摄像机，所述硬性内窥镜使外科医生能够使腔的内部可见，以便在外科手术或诊断过程中提供指导。硬性内窥镜是插入到体腔中的细长管状结构。内窥镜通常包括远端的物镜、例如一系列间隔开的镜头的图像转发系统以及近端的目镜，近端通常安装有摄像机构件，例如电荷耦合装置(CCD)芯片。图像转发系统用于将图像从远端转发到近端。摄像机接收此图像并产生供外科医生观察的视频显示器的信号。
[0005]在本文中也称为镜头观测仪器或内窥镜镜头的硬性内窥镜在不同专业中使用，并且根据其特征和应用领域可替代地命名为关节镜(矫形外科学)、腹腔镜(腹部手术)、膀胱镜(膀胱)、鼻窦镜(耳鼻喉科)、神经镜等。由硬性内窥镜与摄像机构件组合产生的内窥镜摄像机具有常规摄像机中不常见的特定特征。为了便于消毒，光学器件通常是可更换的，外科医生在开始手术前将内窥镜组装在摄像头中。使用通常允许用户将观测仪器相对于摄像头旋转角度α的连接器将内窥镜近端的目镜(或接目镜)组装到摄像机。这是围绕内窥镜的纵向轴线的方位角旋转，所述纵向轴线因此被称为机械轴线，其与管状结构的对称轴线接近但不一定重合。
[0006]硬性内窥镜通常在沿着图像转发系统的某处具有场阻掩模(FSM)，所述FSM使所获取的图像在圆区中具有有意义的内容，所述圆区由黑色帧包围(所述黑色帧在本申请的附图中以对角线示出)。FSM的设计使得在由图像
‑
帧转换限定的圆边界中通常存在标记，所述标记使外科医生能够推断方位角的角度α。此后，圆图像周边的此标记将被称为凹口。
[0007]另外，内窥镜远端镜头的安装方式通常使整个镜头系统的光学轴线与观测仪器的纵向或机械轴线具有角偏移。光学轴线与机械轴线之间的此角度β通常被称为内窥镜的镜头切口。如果镜头切口不是零，则光学轴线和机械轴线未对准，并且外科医生可以通过围绕
机械轴线旋转观测仪器来改变方位角的视向，而不必移动摄像头。
[0008]可变视向(DoV)使外科医生能够改变内窥镜观察方向，而不必改变内窥镜本身的位置。当内窥镜轴由于解剖约束或手术区域中其它外科手术器械施加的约束而无法轻易移动时，这有助于查看内窥镜尖端旁边或后面的结构。因此，可变DoV无疑是为外科医生的手术接近过程提供更大灵活性的期望特征。如所讨论的，目前临床上使用的硬性内窥镜使外科医生能够通过在镜头观测仪器的方位角中进行旋转来改变DoV，从而使光学轴线在空间中描述具有靠近投影中心O(DoV的锥体)的顶点的圆锥体(DoV的圆锥体)。此圆锥体的半角由外科医生预先确定且已知的镜头切口β限定。外科医生在很大程度上依赖于对特定内窥镜的镜头切口的先验知识来可靠地了解解剖结构应该是什么样。
[0009]有一些内窥镜与纵向或机械轴线的角偏移不同，其中最常用的镜头切口是0
°
、30
°
、45
°
和70
°
。外科手术通常需要具有大多数这些切口角的内窥镜，特别强调其中一种切口角。例如，在膝关节镜检查中，首选的是30
°
的镜头切口，其既能提供良好的前视效果又能提供一定的侧视效果，而在髋关节镜检查中，由于解剖腔要窄得多，所以选择的镜头切口通常为70
°
。以类似方式，腹腔镜检查中的首选镜头切口可以在0
°
(前视观测仪器)或30
°
之间变化。然而，尽管强调特定的镜头切口角，但大多数手术在外科手术的不同时刻或步骤都可受益于不同侧向和部分后视角度。遗憾的是，由于DoV中的侧向变化需要将内窥镜物理地更换成具有不同镜头切口的内窥镜，因此即使外科医生意识到这种更换能改善可视化以完成手中的任务，他们在实践中也很少这样做。手术中途更换内窥镜是繁琐的(灯和摄像机线缆都必须断开连接并重新连接)、耗时的且有时是危险的。例如，插入斜角内窥镜可能是危险的，因为它们不朝向它们被插入的方向，而神经外科医生经常避免使用带45
°
或70
°
镜头切口的内窥镜，因为他们害怕盲目地将内窥镜推入脆弱的组织。
[0010]总之，医学中常用的硬性内窥镜使外科医生能够改变方位角(角度α)而不是倾角或仰角(角度β)的DoV，在这种情况下，光学轴线被约束在对称轴线与机械轴线对齐且角度由镜头切口β限定的圆锥(DoV圆锥)中移动。从讨论中可以看出，DoV的不受约束的变化将非常有益，即允许外科医生改变侧视角(镜头切口β)而不必在手术中途物理地更换内窥镜。已经公开了允许在方位角和倾角上改变视向的角偏移的几种特别设计的内窥镜(US2016/02.09A1、US20050177026A1、US2012/0078049、US9,307,892)。遗憾的是，这些内窥镜使用远端处的可移动图像传感器或光学元件来改变镜头切口β。由于这些移动部件，制造这些观测仪器是复杂且昂贵的，并且此类观测仪器不如传统的固定镜头切口观测仪器那么坚固。而且，它们通常提供较低的照明和图像质量。
[0011]用于实现DoV的不受约束变化的替代方式是采用计算手段来处理内窥镜图像或视频。在计算机视觉领域中众所周知，DoV的改变对应于摄像机围绕穿过其投影中心的轴线的旋转，并且可以通过通常被称为无限平面的准直的合适单应映射来扭曲真实源图像而再现将由这种旋转的摄像机获取的虚拟图像。所述方法在专利申请US005313306A、US 20154/0065799A1和EP3130276A1中使用，前述专利申请公开了具有用于半球视场(FoV)的广角镜头的硬性内窥镜，所述内窥镜与计算机构件组合以利用覆盖FoV的选定部分的可变DoV来再现图像。其结果是，摄像机系统具有可控的摇摄和倾斜方向，用户可以使用电子手段在X(方位角)和Y(仰角)上控制观察方向。
[0012]这些系统的一个问题是，在内窥镜和视频引导的临床手术的背景下，外科医生习
惯通过简单地相对于摄像头旋本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于基于由真实源摄像机捕获的源图像I
i
再现虚拟目标摄像机的图像的方法，所述源摄像机包括摄像头和具有镜头切口β的硬性内窥镜，所述硬性内窥镜围绕与所述图像在点Q相交的机械轴线以一方位角旋转，对于所述点，焦距f、径向畸变ξ和某一方位角α0处的主点O是已知的，所述方法包括：通过围绕Q旋转O达方位角的角位移δ
i
＝α
i
‑
α0，在所述源图像I
i
中找到具有方位角α
i
的主点O
i
的位置；根据所述焦距f、径向畸变ξ和所述主点O
i
的位置，更新所述源摄像机的将规范图像中的点x映射到像素图像中的点u的摄像机模型c
s
；通过找到并反投影线n
i
，确定包含或靠近所述源摄像机的所述机械轴线和光学轴线的竖直平面Π
i
的3D位置，其中Π
i
与所述源图像I
i
相交；将所述目标摄像机与所述源摄像机之间的3D运动m定义为围绕垂直于所述竖直平面Π
ii
的方向成角度的旋转，使得其中是所述目标摄像机的所述规范图像中的点；计算所述目标摄像机的主点的焦距和位置，并且根据所述主点的所述焦距和所述位置，导出将所述目标图像的规范图像中的点映射到所述目标图像的像素图像中的点的摄像机模型c
t
；以及通过使用映射函数w将中的多个像素映射到所述源图像I
i
中的点u来生成所述目标图像所述映射函数是所述源摄像机的所述摄像机模型c
s
、所述3D运动m和所述目标摄像机的摄像机模型c
t
的逆模型的组合。2.根据权利要求1所述的方法，其中所述方位角α0对应于第一凹口位置P，所述方法还包括：处理所述源图像I
i
以检测具有中心C
i
和第二凹口位置P
i
的边界；其中通过围绕Q旋转O达方位角的角位移包括根据所述第一凹口位置P、所述第二凹口位置P
i
和所述点Q估计所述方位角的角位移；其中所述线n
i
由点O
i
和P
i
限定。3.根据权利要求2所述的方法，还包括处理再现的目标图像以产生限定具有中心和直径的图像区的黑色帧，并且通过在圆边界中的点处放置视觉标记来产生凹口，其中v
i
是图像线n
i
的2D单位方向。4.根据权利要求3所述的方法，其中所述图像区包括圆形形状、圆锥形形状、矩形形状、六边形形状或另一多边形形状中的一种或多种。5.根据权利要求2所述的方法，其中所述源图像I
i
包括两个或更多个源图像帧，其中通过检测所述两个或更多个帧中的连续帧中的点P
i
或点C
i
中的一个或多个来确定点Q。6.根据权利要求2所述的方法，其中处理所述源图像I
i
以检测具有中心C
i
和第二凹口位置P
i
的边界包括检测多个第二凹口位置P
i
，其中所述多个第二凹口位置中的一个用于确定所述方位角的角位移δ
i
。7.根据权利要求1所述的方法，其中所述方位角α0对应于第一凹口位置P，所述方法还包
括：处理所述源图像I
i
以检测具有中心C
i
和第二凹口位置P
i
的边界；其中通过围绕Q旋转O达方位角的角位移包括根据所述第一凹口位置P、所述第二凹口位置P
i
和所述点Q估计所述方位角的角位移；其中线n
i
由以下限定：点O
i
和Q；或点O
i
和C
i
。8.根据权利要求1所述的方法，其中所述主点的所述位置在设置于所述内窥镜中或附接到所述内窥镜的归一化参考帧中给出。9.根据权利要求1所述的方法，其中所述源摄像机配备有传感器，所述传感器测量所述内窥镜相对于所述摄像头的旋转并估计所述方位角的角位移δ
i
。10.根据权利要求1所述的方法，其中所述主点O与旋转中心Q重合。11.根据权利要求1所述的方法，其中所述目标摄像机的畸变被设定为零。12.根据权利要求1所述的方法，其中使用图像扭曲或像素值插补来执行生成所述目标图像所述像素值插补包括由最接近相邻方进行的插补、双线性插补或双三次插补中的一个或多个。13.根据权利要求1所述的方法，其中所述主点与所述虚拟图像的边界的中心重合，并且计算所述焦距包括求解其中Φ是将焦距、径向畸变、图像距离和反投影射线之间的角度相关的数学表达。14.根据权利要求1所述的方法，其中所述主点与所述虚拟图像的边界的中心重合，所述方法包括：通过作为所述摄像机模型c
s
和所述运动m的组合的函数g转换所述源图像的起点[0，0]
T
，以找到所述源图像中映射到所述主点的位置确定和所述圆边界中最靠近的点的反投影射线之间的限制视角当时，将摄像机视场减少到并且通过求解方程获得的值，其中Φ是将焦距、径向畸变、图像距离和反投影射线之间的角度相关的数学表达；当时，通过求解方程获得的值，其中Φ是将焦距、径向畸变、图像距离和反投影射线之间的角度相关的数学表达，所有这些都是相依参数。15.根据权利要求1所述的方法，还包括：通过作为所述摄像机模型c
s
和所述运动m的组合的函数g转换所述源图像的起点[0，0]
T
，以找到所述源图像中映射到所述主点的位置确定和所述圆边界中最靠近的点的反投影射线之间的限制视角当时，关于焦距和λ求解以下方程组：
并获得主点，为当时，设定并通过求解确定其中Φ是将焦距、径向畸变、图像距离和反投影射线之间的角度相关的数学表达，所有这些都是相依参数。16.根据权利要求15所述的方法，其中：选择所述源摄像机，使得所述硬性内窥镜的切口角约为且视场约为其中和分别是第一虚拟目标摄像机的镜头切口和视场，并且和分别是第二虚拟目标摄像机的镜头切口和视场，其中所述虚拟目标摄像机是所述第一虚拟目标摄像机或所述第二...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：Samp，amp，N奥瑞恩普瑞姆股份公司，
类型：发明
国别省市：