用于描述内窥镜和自动校准内窥镜摄像机系统的系统和方法技术方案

用于确定内窥镜摄像机的校准的系统和方法，所述内窥镜摄像机由配备可更换、可旋转的光学器件(硬性内窥镜)的摄像头组成，所述校准是在手术室中无需用户干预的情况下完成的，首先通过一组参数描述所述硬性内窥镜，接着使用此镜头描述子作为实时软件的输入，所述实时软件处理配备所述硬性内窥镜的任意摄像头获取的图像，用以在每一帧时刻提供对完整内窥镜摄像机布置的校准，而不考虑镜头窥镜相对于所述摄像头的相对旋转或变焦设定。还公开了一种图像软件方法，其检测所述镜头描述子是否与所使用的所述硬性内窥镜不兼容，以防止错误并警告用户错误情况。警告用户错误情况。警告用户错误情况。

【技术实现步骤摘要】
【国外来华专利技术】用于描述内窥镜和自动校准内窥镜摄像机系统的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2019年10月7日提交的第62/911,950号美国临时专利申请(
“′
950申请”)以及于2019年10月7日提交的第62/911,986号美国申请(
“′
986申请”)的优先权和权益。
′
950申请和
′
986申请的全部内容特此以引用的方式并入本文中以用于所有目的。


[0003]本公开大体上涉及计算机视觉和摄影测量领域，且具体地但非限制性地，当前公开的实施例用于外科手术和诊断的临床处理的背景中，以用于利用可更换、可旋转的光学器件(硬性内窥镜)校准内窥镜摄像机系统，标识特定的内窥镜是否正在使用中，或验证所述内窥镜是否正确组装到摄像头。这些内窥镜检查系统用于多种医学领域，例如矫形(关节镜检查)或腹部外科手术(腹腔镜检查)，并且摄像机校准使得能够应用于计算机辅助手术(CAS)并增强可视化。

技术介绍

[0004]例如关节镜检查和腹腔镜检查的视频引导处理利用具备硬性内窥镜的摄像机，所述硬性内窥镜使得外科医生能够使所关注的解剖腔的内部可见。取决于医学专业性，硬性内窥镜可以是关节镜、腹腔镜、神经镜等，与包括摄像头和摄像机控制单元(CCU)的摄像机组合以形成内窥镜摄像机。这些摄像机与常规摄像机的不同之处主要在于两个特性。第一特性是，为了便于消毒，硬性内窥镜(也称为镜头窥镜或光学器件)通常是可更换的，外科医生在开始医疗处理之前在手术室(OR)中将内窥镜附接到摄像头。利用连接器来实现这一附接，所述连接器允许内窥镜镜头围绕其对称轴线(图2中的机械轴线)相对于摄像头旋转，从而允许外科医生在无需平移内窥镜摄像机的情况下改变观察方向。内窥镜摄像机的第二独特特性是，其通常在沿着图像转发系统的某处包含场阻掩模(FSM)，所述FSM使所获取的图像在由黑色帧包围的圆区域中具有有意义的内容。FSM通常在圆边界上包含标记，其目的是允许外科医生推断向下方向。圆图像周边上的这一标记此后将被称为凹口(图2)。
[0005]计算机辅助关节镜检查或腹腔镜检查的一个重要启用步骤是摄像机校准，使得2D图像信息可与3D场景相关，以用于增强可视化、改善感知、测量和/或导航。校准在这种情况下包括具备镜头窥镜的摄像头的摄像机系统包含确定将3D中的投影光线映射为图像中像素坐标中的点的投影模型的参数，反之亦然(图1)。在医学内窥镜检查的背景下，校准的应用是广泛的——从对虚拟视图进行畸变校正和再现用于增强可视化到手术导航，其中摄像机用于测量3D点和距离并且相关信息通常涵盖了患者的身体结构。
[0006]在具有可旋转光学器件的内窥镜摄像机中，硬性内窥镜与摄像机传感器之间的运动引起摄像机系统的校准参数的变化，这意味着投影模型不会像在常规摄像机中那样随时间保持恒定。由于对光学器件相对于摄像头的每一可能位置执行独立校准是不切实际的，因此必须根据考虑这种相对运动的摄像机模型更新校准参数。有文献已提出用于确定这种相对旋转并相应地更新校准的解决方案，实例包含使用附接到摄像头的旋转编码器[1]，或
采用用于确定附接到窥镜镜筒的光学标记的位置的光学跟踪系统[2]。这些方法存在一个严重的缺点，即需要额外的设备和仪器，所述设备和仪器成本高昂，会占用OR中的空间，且会扰乱既定的手术流程。
[0007]第9,438,897号美国专利公开了一种解决一些上述问题的方法，用于在不需要任何额外仪器的情况下完成内窥镜摄像机校准。使用图像处理在每一帧时刻估计镜头窥镜的旋转，并且将结果用作模型的输入，所述模型在给定镜头窥镜相对于摄像头的特定角度位置(参考位置)处的摄像机校准的情况下，输出当前角度位置处的校准。然而，这种方法存在以下缺点：(i)参考位置处的校准需要在OR中获取已知棋盘格图案(校准网格)的一个或多个帧，除了需要用户干预之外，这通常还是必须利用无菌网格执行的耗时过程，因此是不希望的且应避免，(ii)所公开的方法不允许在操作过程中改变光学变焦，因为它无法将校准参数更新到不同的变焦水平，以及(iii)所述方法需要镜头窥镜相对于摄像头仅旋转而不发生平移，其中必须明确地确定机械轴线与图像相交的点。
[0008]当前公开的实施例涉及一种方法，所述方法避免了在将硬性窥镜组装到摄像头中之后需要在OR中在特定角度位置处校准内窥镜摄像机。本专利公开了用于描述硬性内窥镜的模型、方法和设备，描述方式为使得能够确定任何内窥镜摄像机系统的校准，所述内窥镜摄像机系统包括独立于正在使用的摄像头的内窥镜，确定所述摄像头引入的变焦量，以及确定特定帧时刻时窥镜与摄像头之间的相对旋转或平移。这允许外科医生在外科手术中更换内窥镜和/或摄像头，并根据需要调整变焦，以便在不会对手术流程造成任何干扰的情况下更好地显示某些图像内容。
[0009]本公开示出了如何单独校准硬性内窥镜以获得充分描述光学器件的一组参数——镜头描述子。提前(例如在制造时)执行镜头校准，接着将描述子加载到摄像机控制单元(CCU)中用作实时软件中的输入，所述实时软件在每一帧时刻自动提供完整内窥镜摄像机装置(包括摄像头和镜头)的校准，而不考虑两个组件之间的相对旋转。这是以对于用户无缝的方式实现的。
[0010]由于这一描述子描述一个镜头或一批镜头，因此其也可用于进行标识和质量控制。因此，在这一功能性的基础上，还公开了一种用于检测加载到CCU中的镜头描述子与组装在摄像头中的实际硬性内窥镜之间的不一致性的方法。这种方法有助于在所使用的镜头不正确和/或镜头损坏或未正确组装在摄像头中的情况下警告用户。
[0011]本公开可具体地但非限制性地与第9,438,897号美国专利中公开的方法结合使用以校正图像径向畸变并增强视觉感知，或与US 20180071032 A1中公开的方法结合使用以在关节镜检查期间提供指导和导航，以便在每一帧时刻完成摄像机校准，这是这些方法奏效的一个要求。

技术实现思路

[0012]用于确定内窥镜摄像机的校准的系统、方法和设备，所述内窥镜摄像机由配备可更换、可旋转的光学器件(硬性内窥镜)的摄像头组成，以使得2D图像点可与计算机辅助手术应用中的3D投影光线相关，并且其中硬性内窥镜预先(例如，在制造时在工厂中)进行了描述以完成摄像机校准，而无需用户在手术室(OR)中进行任何干预。
[0013]一种用于通过一组参数描述硬性内窥镜的方法，所述参数接着用作实时软件的输入，所述实时软件处理由配备硬性内窥镜的任意摄像头获取的图像，用以在每一帧时刻提供对完整内窥镜摄像机布置的校准，而不管镜头窥镜与摄像头之间的相对旋转或变焦设定。
[0014]图像软件方法检测镜头描述子是否与所使用的硬性内窥镜不兼容，这可用于防止错误并警告用户错误情况，所述情况例如使用错误的镜头、镜头或摄像头中的缺陷或镜头在摄像头中的不当组装。
附图说明
[0015]为了更全面地理解本公开，参考结合附图考虑的示例性实施例的以下详细描述。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于校准内窥镜摄像机的方法，所述内窥镜摄像机包括硬性内窥镜和摄像机，所述摄像机包括摄像头，所述硬性内窥镜包括镜头窥镜，其中所述硬性内窥镜或所述镜头窥镜具有再现具有中心C和凹口P的图像边界的场阻掩模(FSM)，并且能围绕与所述图像平面在点Q相交的机械轴线相对于所述摄像头旋转角度δ，其中C、P和主点O围绕Q经历相同角度δ的2D旋转，所述方法包括：利用所述内窥镜摄像机在参考角度位置处获取校准对象的一个或多个第一校准图像；针对每一第一校准图像确定所述内窥镜摄像机相对于所述摄像机的焦距f、畸变ξ、旋转中心Q和主点O0的第一估计值；根据图像处理方法在所述校准图像上检测具有中心C
i
和凹口P
i
的边界；执行迭代过程，包括迭代执行以下操作一次或多次：利用所述内窥镜摄像机在所述镜头窥镜相对于所述摄像头的另外角度位置处获取校准对象的一个或多个另外校准图像；确定所述参考角度位置与所述另外角度位置之间的角度移位的估计值；针对所述迭代的每一另外校准图像确定所述内窥镜摄像机相对于所述摄像机的所述焦距f、所述畸变ξ、所述旋转中心Q和所述主点O0的另外估计值；和根据所述图像处理方法在所述迭代的所述另外校准图像上检测具有中心C
i
和凹口P
i
的边界；以及根据所述焦距f、所述畸变ξ、所述旋转中心Q和所述主点O0的所述另外估计值并根据所估计的角度移位来改进f、ξ和O0。2.根据权利要求1所述的方法，进一步包括：针对每一第一校准图像确定所述校准对象的3D姿态的第一估计值，所述3D姿态包括旋转和平移；其中所述迭代过程进一步包括：针对所述迭代的每一另外校准图像确定所述校准对象的3D姿态的另外估计值，所述3D姿态包括旋转和平移；其中进一步根据所述校准对象的所述3D姿态的所述另外估计值来改进f、ξ和O0。3.根据权利要求1所述的方法，其中所述校准对象包括以下各项中的一个或多个：具有棋盘格图案的2D平面；具有已知图案的2D平面；或已知3D对象。4.根据权利要求1所述的方法，其中改进所述校准参数包括以下各项中的一个或多个：(a)重新投影误差的迭代非线性最小化；(b)相片几何误差的迭代非线性最小化；或(c)不是(a)且不是(b)的成本函数最小化。5.根据权利要求1所述的方法，其中所述校准参数的所述第一估计值包括畸变模型，所述畸变模型包括以下各项中的一个或多个：布朗多项式模型；合理模型；鱼眼模型；或
具有一个或多个参数的分割模型。6.一种用于更新内窥镜摄像机的校准参数的方法，所述内窥镜摄像机包括硬性内窥镜和摄像机，所述摄像机包括摄像头和摄像机控制单元(CCU)，其中所述硬性内窥镜或镜头窥镜具有再现具有中心C和凹口P的图像边界的场阻掩模(FSM)，且能围绕与所述图像平面在点Q相交的机械轴线相对于所述摄像头旋转角度δ，其中C、P和主点O围绕Q经历相同角度δ的2D旋转，并且其中对于所述镜头窥镜相对于所述摄像头的参考角度位置i＝0，所述校准参数焦距f、畸变ξ、旋转中心Q和主点O0以及具有中心C0和凹口P0的边界是已知的，所述方法包括：利用所述内窥镜摄像机获取新帧j；检测所述新帧j中的边界中心C
j
和凹口P
j
；根据凹口P0、凹口P
j
和Q估计内窥镜镜头相对于所述摄像头的角度移位δ；以及通过执行所述主点O0围绕Q以角度δ进行2D旋转来估计所述内窥镜摄像机的更新后主点O
j
。7.根据权利要求6所述的方法，其中通过利用所述镜头窥镜在所述参考位置校准所述内窥镜摄像机或通过从所述CCU检索来获得所述参考角度位置i＝0处的所述焦距f、畸变ξ、旋转中心Q和主点O0以及具有中心C0和凹口P0的边界。8.根据权利要求6所述的方法，其中所述旋转中心Q是使用以下各项中的一个或多个来确定的：三个或更多边界中心C
j
；三个或更多个凹口P
j
；或至少一个边界中心C
j
和至少一个凹口P
j
。9.根据权利要求6所述的方法，进一步包括：根据递归滤波器或时间滤波器中的一个或多个对所述旋转中心Q和所述角度移位δ的估计值进行滤波。10.一种用于通过获得包括归一化焦距畸变ξ、归一化主点和归一化旋转中心的描述子来利用引起具有中心C和凹口P的图像边界的场阻掩模(FSM)来描述硬性内窥镜的方法，所述方法包括：在参考位置处估计描述摄像机的校准参数(焦距f、畸变ξ、主点O0和旋转中心Q)，所述描述摄像机包括所述硬性内窥镜和摄像机；在所述参考位置处检测具有中心C0和凹口P0的边界；以及根据中心C0、凹口P0、焦距f主点O0和旋转中心Q确定归一化焦距归一化主点和归一化旋转中心11.根据权利要求10所述的方法，其中所述归一化焦距是从计算而得的，其中r是中心C0＝[C
x
，C
y
，1]
T
与凹口P0之间的距离，并且所述归一化主点和旋转中心是分别通过计算和而获得的，其中
和β是线段与向下方向之间的角度。12.一种用于校准内窥镜摄像机的方法，所述内窥镜摄像机包括硬性内窥镜和摄像机，所述摄像机包括摄像头和摄像机控制单元(CCU)，其中所述硬性内窥镜具有包括归一化焦距畸变ξ、归一化主点和归一化旋转中心的描述子且具有再现具有中心C和凹口P的图像边界的场阻掩模(FSM)，所述方法包括：利用所述内窥镜摄像机获取图像帧i；检测所述图像帧i中的边界中心C
i

【专利技术属性】
技术研发人员：J，
申请(专利权)人：Samp，amp，N奥瑞恩普瑞姆股份公司，
类型：发明
国别省市：