本发明专利技术提供一种空间取向确定系统，该空间取向确定系统包括：成像设备，该成像设备被配置用于获得外科手术部位的图像；外科手术工具，该外科手术工具限定中心轴线；处理器；和存储器。该外科手术工具被配置用于在该外科手术部位处操作并且在该外科手术工具上设置有由机器学习网络生成的基准标记物。该基准标记物包括不同图案。该存储器包括指令，该指令在由该处理器执行时，致使该系统：访问来自该成像设备的图像，该图像包括该基准标记物的一部分；至少基于该基准标记物的可见部分和该不同图案确定该外科手术工具的空间定位；基于该空间定位确定该外科手术工具的定位、取向和/或旋转角度。旋转角度。旋转角度。
【技术实现步骤摘要】
【国外来华专利技术】用于确定工具定位及其基准标记物的系统和方法
[0001]本公开整体涉及外科手术工具，具体地，涉及确定在腹腔镜式外科手术中使用的工具的空间定位。
技术介绍
[0002]内窥镜式器械已被外科医生广泛用于内窥镜式外科手术规程中，因为与外科医生需要切开大面积身体组织的传统开放式外科手术规程相比，内窥镜式器械使得外科手术的侵入性能够更小。其直接结果是，内窥镜式外科手术使患者的创伤降到最低并且减少患者康复时间和住院成本。
[0003]在标准内窥镜式规程中，使用内窥镜或腹腔镜来观察外科手术区域并使用工作工具来执行外科手术。此类工具通常由外科医生操作工具的外部手柄、连接轴和端部执行器组成，该端部执行器可包括抓钳、夹具、剪刀、缝合器、持针器、血管密封设备等。
[0004]内窥镜式外科手术中还经常利用与手术室显示器通信的内窥镜式相机，以使外科医生能够在端部执行器组件被操纵到位并被操作以执行期望的外科手术任务时可视化外科手术部位。在这种类型的手术中，外科医生不能依赖眼
‑
心
‑
手的协调。需要专门的训练来补偿腹腔镜式器械的不同感知和有限的自由度。确定工具定位具有以下挑战，例如，光线变化、阴影、镜面反射、噪声、图像中的运动模糊和/或视角。
[0005]因此，持续需要确定外科手术图像中的工具空间定位。
技术实现思路
[0006]根据本公开，提出了一种空间取向和维度确定系统。该空间取向和维度确定系统包括：成像设备，该成像设备被配置用于获得外科手术部位的图像；外科手术工具，该外科手术工具限定中心轴线；处理器；和存储器。该外科手术工具被配置用于在外科手术部位处操作并在其上设置有由机器学习网络生成的基准标记物。该基准标记物包括不同图案。该存储器包括指令，该指令在由该处理器执行时，致使该空间取向和维度确定系统：访问来自该成像设备的图像，该图像包括该基准标记物的至少一部分；基于该基准标记物的可见部分和该不同图案确定该外科手术工具的空间定位；以及基于该外科手术工具的空间参数确定该外科手术工具的位置、维度和/或取向中的至少一者。
[0007]在一个方面，该外科手术工具是内窥镜式外科手术工具，其具有被配置成执行外科手术功能的功能延伸部。该功能延伸部可包括抓钳、缝合器和/或血管密封器。该功能延伸部可包括钳口。
[0008]在一方面，该指令在由该处理器执行时，还致使该系统：基于所确定的该外科手术工具的位置、维度或取向确定该功能延伸部的开口程度；以及基于该功能延伸部的该钳口的该开口程度，确定该功能延伸部的该钳口之间夹持的组织的量，和/或该组织在该功能延伸部的该钳口之间被夹持的程度。
[0009]在另一方面，该功能延伸部具有可限定平面的第一固定钳口和相对于该平面移动
的第二活动钳口。
[0010]在一方面，该外科手术工具还可包括具有纵向轴线的轴，该外科手术工具被配置用于至少围绕该中心轴线旋转并且包括位于该轴上的至少一个基准标记物。
[0011]该指令在由该处理器执行时，还可致使该空间取向确定系统提取以下物理量中的至少任一个物理量：钳口开度、到内窥镜的距离、沿着该轴的距离和/或与该轴正交的距离。
[0012]在另一方面，该基准标记物可围绕该中心轴线沿着该轴的弯曲外表面延伸，使得该外科手术工具的图像仅显露该基准标记物的一部分。
[0013]在又一方面，该基准标记物的该部分可足以确定该外科手术工具的该空间定位。
[0014]在再一方面，该基准标记物可包括对应于该外科手术工具的已知点的固定点，由此识别该基准标记物的对该成像设备可见的该部分允许该外科手术工具的该取向的该确定。
[0015]在再一方面，该基准标记物可具有颜色、大小、聚类、颜色梯度和/或突起的独特布置。
[0016]在另一方面，该基准标记物可包括具有不同特性的四乘四正方形的图案。
[0017]根据本公开的各方面，提出了一种被配置用于在外科手术部位处操作的外科手术工具。该外科手术工具包括抓钳，该抓钳包括钳口和设置在该抓钳上的由机器学习网络生成的至少一个基准标记物。该至少一个基准标记物包括不同图案。
[0018]在一方面，该外科手术工具还可包括被配置成执行外科功能的至少一个功能延伸部。
[0019]在另一方面，该至少一个功能延伸部可以是肠抓钳、缝合器和/或血管密封器。
[0020]在又一方面，该基准标记物可包括被配置成可由分析由成像设备获得的图像的软件识别的该图像和/或图案。
[0021]在再一方面，该基准标记物可具有颜色、大小、聚类、颜色梯度和/或突起的独特布置。
[0022]在再一方面，该外科手术工具还可包括限定中心轴线的轴。该基准标记物围绕该中心轴线沿着该轴延伸，使得该外科手术工具的图像仅显露该基准标记物的一部分。
[0023]在再一方面，该基准标记物的该部分可足以确定该外科手术工具的空间定位。
[0024]在再一方面，该基准标记物可包括具有不同特性的四乘四正方形的图案。
[0025]在再一方面，该基准标记物可为QR码的形式。
[0026]根据本公开的其他方面，基准标记物被配置用于与该外科手术工具结合使用。该基准标记物可具有被配置用于由处理单元识别以确定该外科手术工具的空间取向的独特图案。
附图说明
[0027]本文参考附图描述了本公开的各个方面，其中：
[0028]图1是根据本公开的示例性可视化或内窥镜系统的图；
[0029]图2是图1的可视化或内窥镜系统的示意性配置；
[0030]图3是示出图1系统的光学系统的另一示意性配置的图；
[0031]图4是根据本公开的方面的可视化或内窥镜系统的示意性配置；
[0032]图5是根据本公开的用于生成基准物的机器学习网络的框图；
[0033]图6是根据本公开的用于图1的系统的外科手术工具的空间取向的方法的流程图；
[0034]图7是根据本公开的外科手术期间肠抓钳的图像；
[0035]图8是根据本公开的图1的系统的肠抓钳的透视图；
[0036]图9是根据本公开的用作虚拟卷尺的肠抓钳的透视图；
[0037]图10是演示根据本公开的测量肠抓钳与观测仪器之间的距离的示意图；
[0038]图11A是演示根据本公开的基于ICG标记进行深度学习的步骤的外科手术图像；
[0039]图11B是演示根据本公开的利用经典计算机视觉进行解码的步骤的示意性外科手术图像；
[0040]图12是演示根据本公开的3D重建的外科手术图像；
[0041]图13是演示根据本公开的3D重建的计算机模型；
[0042]图14是演示根据本公开的基于从基准标记物获得的数据而进行的外科手术工具的视觉增强的外科手术图像；并且
[0043]图15是演示根据本公开的通过预测已知对象的大小进行准确度估计的增强外科手术图像。
[0044]应当理解，为了说明简单和清楚起见，附本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种空间取向维度和位置确定系统，所述空间取向维度和位置确定系统包括：成像设备，所述成像设备被配置用于获得外科手术部位的图像；外科手术工具，所述外科手术工具被配置用于在所述外科手术部位处操作，所述外科手术工具限定中心轴线和设置在所述外科手术工具上的由机器学习网络生成的至少一个基准标记物，其中所述至少一个基准标记物包括不同图案；处理器；和存储器，所述存储器包括存储在其上的指令，所述指令在由所述处理器执行时，致使所述空间维度和位置取向确定系统：访问来自所述成像设备的图像，所述图像包括所述基准标记物的至少一部分；至少基于所述基准标记物的可见部分和所述不同图案确定所述外科手术工具的空间定位；以及基于所述外科手术工具的空间参数确定所述外科手术工具的位置、维度或取向中的至少一者。2.根据权利要求1所述的空间取向确定系统，其中所述外科手术工具是内窥镜式外科手术工具，所述内窥镜式外科手术工具具有被配置成执行外科手术功能的功能延伸部，所述功能延伸部包括抓钳、缝合器或血管密封器中的至少一者，其中所述功能延伸部包括钳口。3.根据权利要求2所述的空间取向确定系统，其中所述指令在由所述处理器执行时，还致使所述系统：基于所确定的所述外科手术工具的位置、维度或取向确定所述功能延伸部的开口程度；以及基于所述功能延伸部的所述钳口的所述开口程度，确定所述功能延伸部的所述钳口之间夹持的组织的量或所述组织在所述功能延伸部的所述钳口之间被夹持的程度中的至少一者。4.根据权利要求3所述的空间取向确定系统，其中所述功能延伸部具有限定平面的第一固定钳口和相对于所述平面移动的第二活动钳口。5.根据权利要求1所述的空间取向确定系统，其中所述外科手术工具还包括具有纵向轴线的轴，所述外科手术工具被配置用于至少围绕所述中心轴线旋转并且包括位于所述轴上的至少一个基准标记物，并且其中所述指令在由所述处理器执行时，还致使所述空间取向确定系统提取以下物理量中的至少任一个物理量：钳口开度、到内窥镜的距离、沿着所述轴的距离或者与所述轴正交的距离。6.根据权利要求5所述的空间取向确定系统，其中所述基准标记物围绕所述中心轴线沿着所述轴的弯曲外表面延伸，使得所述外科手术工具的图像仅显露所述基准标记物的一部分。7.根据权利要求6所述...
【专利技术属性】
技术研发人员：A，
申请(专利权)人：视觉感知有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。