用于外科手术的工具类型不可知辅助功能制造技术

本发明专利技术涉及用于控制用于对患者进行外科手术的辅助功能的技术。使用机器学习算法来获取操作区的地图(76)。该地图可以用于控制外科手术背景中的辅助功能。该地图指示一个或多个活动区域(101

【技术实现步骤摘要】
【国外来华专利技术】用于外科手术的工具类型不可知辅助功能


[0001]本披露内容的不同示例涉及用于基于手术显微镜的显微镜图像来控制与手术干预相关的辅助功能的技术。

技术介绍

[0002]现有技术已经披露了在目镜中向用户(通常是外科医生)提供非常不同的信息的手术显微镜。举例来说，DE 10203215 A1描述了一种手术显微镜，该手术显微镜包括产生电子图像信号的相机。图像信号显示在电子目镜上，该电子目镜包括用于电子图像数据的对应的显示装置。还可以在电子目镜上输出更多的信息。从DE 10 2014 113 935 A1中也已知一种手术显微镜。
[0003]典型的手术显微镜具有多种可能的设置。在手术过程中选择好的设置可能通常需要很多费用。
[0004]文件EP 3593704的披露内容是已知的，该披露内容尤其披露了一种辅助内窥镜，该辅助内窥镜基于图像处理以及先前手术的数据库得出动作。在这种情况下，使用手动创建的数据库。这种技术通常灵活性有限并且因此有时不准确。

技术实现思路

[0005]因此，需要改进的技术来控制与手术干预相关的辅助功能。特别地，需要控制与手术干预期间使用的手术显微镜的控制相关的辅助功能。
[0006]这个目的通过独立专利权利要求的特征来实现。从属专利权利要求的特征限定了实施例。
[0007]下面描述了借助于计算机实施的算法在手术干预期间，特别是在显微手术干预期间(例如，在头部区域、眼部区域、心脏区域、脊柱(神经科)、耳鼻喉区域或牙区域)提供辅助的技术。
[0008]为此目的，以适当的方式控制辅助功能。辅助功能可以以自动化方式控制在手术干预期间使用的一件或多件装备。可以控制手术显微镜。辅助功能还可以提供用户交互(例如，给出指令等)。
[0009]在不同示例中，例如，可以启动辅助功能的一个或多个动作。可以确定启动一个或多个动作的时间点。还可以确定动作的类型。
[0010]为了控制辅助功能的目的，使用手术显微镜的显微镜图像，以便获取由显微镜图像成像的干预区的地图。
[0011]一般而言，该地图可以指示基于显微镜图像在干预区中识别的一个或多个活动区域的时间背景和/或空间背景。与干预区内的其他区域相比，可以弄清活动区域中增加的活动。换言之，地图可以具有多个区域，其中，如果一些区域与地图的其他区域相比具有增加的活动或动态特性，则可以将这一些区域确定为活动区域。特别是通过手术器械在对应的活动区域中的移动，可以带来增加的动态特性。
[0012]这种技术基于以下认识：显微镜图像中随时间的变化可能特别是由手术器械(也称为工具)的移动引起的。本文描述的不同示例基于以下认识：可能没有必要显式地识别为了控制与手术干预相关的辅助功能所使用的手术器械的类型。而是，可以仅仅例如根据以下原则基于显微镜图像的比较来确定在干预区的不同区域中手术器械的存在或不存在：“某物正在移动的地方是手术器械所处的潜在位置”。换言之，地图可能是工具类型不可知的，即，例如不区分不同类型的手术器械。因此，以这种方式，可以基于显微镜图像的时间背景来确定地图，该地图确定一个或多个活动区域。于是可以基于该地图来控制辅助功能。特别地，例如，可以对手术显微镜进行重新定位。这可以在显微镜图像中识别手术器械的前提下发生。
[0013]根据一个示例，一种用于控制用于对患者进行手术干预的辅助功能的方法包括应用机器学习算法。这是基于借助于手术显微镜捕获的至少两个显微镜图像。该至少两个显微镜图像对手术干预的干预区进行成像。该至少两个显微镜图像是在不同的时间点捕获的，也就是说，例如是在两个或更多个时间点捕获的。在应用机器学习算法的基础上，获取干预区的地图。该地图指示干预区中的一个或多个活动区域。该一个或多个活动区域与手术器械存在的增加的概率相关联。该方法另外包括使用该地图，以便控制与手术干预相关的辅助功能。
[0014]作为一般规则，可以设想要确定一个或多个地图。为了简单起见，在下文中针对单个地图描述这些技术。然而，可以针对多个地图复制对应的技术。作为一般规则，可以设想通过使用例如多个地图来考虑多个干预区(例如，每个干预区一个地图)。
[0015]该至少两个显微镜图像可以例如从包括以下项的组中选择：单色图像；立体图像；对深度信息进行编码的图像。立体图像可以对深度信息进行编码。因此，一般而言，该至少两个显微镜图像可以任选地对进一步的信息(例如，深度信息)进行编码。为此目的，可以使用合适的成像模态。例如，可以借助于飞行时间成像和/或结构化照明和/或立体成像来捕获对应的信息。在结构化照明的情况下，可以将照明图案投影到干预区上，并且可以基于由于干预区的形貌引起的照明图案的失真来弄清深度信息。举例来说，在预处理步骤中，可以基于这种编码的深度信息在各自情况下为每个显微镜图像生成对应的形貌图像，该形貌图像既而可以用作机器学习算法的输入。
[0016]在此描述的不同示例中，可以使用不同类型的机器学习算法。特别地，例如可以使用深度神经网络，例如卷积神经网络。
[0017]捕获显微镜图像的不同时间点之间的时间间隔可以对应于外科医生通常移动手术器械的时间标尺。也就是说，时间间隔可以例如在秒的范围内，即可以例如在200毫秒(ms)到5秒的范围内。
[0018]因此，活动区域可以表示与干预区内的其他区域相比手术器械被定位的概率增加的这种区域。
[0019]这种技术基于以下认识：手术器械根据时间而移动，从而导致显微镜图像中的时间可变的对比度。活动区域可以通过考虑时间可变的对比度来确定。背景(患者的解剖特征)通常典型地可能是相对静态的。
[0020]一般而言，地图可以表示由从用于捕获显微镜图像的手术显微镜的成像模态中提取的、由至少两个显微镜图像描绘的语义语境中的特定特征。因此，地图可以从至少两个显
微镜图像并且任选地基于机器学习算法中的进一步的输入而提取特征。可以例如校正地调节地图，使得包括在至少两个显微镜图像中的噪声或干扰不被用作地图的特征。显微镜图像的对比度通常取决于所使用的成像模态。地图可以提取对比度。
[0021]地图和至少两个显微镜图像可以在公共参考坐标系中定义。这使得可以实现由地图指示的特征的位置(例如，活动区域)与至少两个显微镜图像中的对应位置之间的分配。显微镜图像对手术显微镜的视场进行成像。所述视场可以包含干预区。
[0022]这种技术基于以下认识：可以有助于基于对一个或多个活动区域的识别来控制辅助功能。为了控制辅助功能，通常特别有帮助的是，手术器械在干预区中的存在以及特别是定位被用作决策的基础。不同示例特别地基于以下认识：相比于区分不同类型的手术器械，在干预区中的特定活动区域中存在手术器械对于辅助功能的精确控制可能更重要。
[0023]在这方面，在不同示例中，地图关于不同类型的手术器械可能是不可知的，即不区分不同类型的手术器械(工具类型不可知地图)。在这种情况下，手术器械的类型意味着例如由手术器械可能实现的几何形状、外观和功能。手术器械的类型例如可以是：刀具、剪刀、夹本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于控制用于对患者进行手术干预的辅助功能的方法，其中，该方法包括：
–
基于至少两个显微镜图像(71，72)，应用机器学习算法(82)以便获取该手术干预的干预区(50)的地图(76)，该至少两个显微镜图像是借助于手术显微镜(801)捕获的，并且该至少两个显微镜图像对该干预区(50)成像，并且该至少两个显微镜图像是在不同的时间点捕获的，以及
–
使用该地图(76)以便控制与该手术干预相关的辅助功能，其中，该地图(76)指示该干预区(50)中的一个或多个活动区域(101，102，103)，该一个或多个活动区域具有增加的活动并且由于该增加的活动而与手术器械(51，52)存在的增加的概率相关联。2.如权利要求1所述的方法，其中，该地图(76)关于不同类型的手术器械(51，52)是不可知的，其中，关于这些不同类型的手术器械(51，52)，该辅助功能被不可知地控制。3.如权利要求1或2所述的方法，其中，该地图(76)包括针对该干预区(50)的多个区域的手术器械(51，52)的存在或不存在的概率值(152)，其中，该一个或多个活动区域(101，102，103)定位在具有增加的概率值(152)的区域处。4.如前述权利要求中任一项所述的方法，其中，该地图(76)包括用于该一个或多个活动区域(101，102，103)的掩模(151)。5.如前述权利要求中任一项所述的方法，其中，该地图(76)包括指示该一个或多个活动区域(101，102，103)的背景信息的一个或多个特征(111，112)。6.如权利要求5所述的方法，其中，包括该一个或多个活动区域(101，102，103)的背景信息的一个或多个特征(111)指示由该一个或多个活动区域(101，102，103)的活动区域组实现一个或多个空间邻域关系；和/或其中，包括该一个或多个活动区域(101，102，103)的背景信息的该一个或多个特征(112)指示该一个或多个活动区域(101，102，103)的活动区域的一个或多个解剖邻域关系的实现；和/或其中，包括该一个或多个活动区域(101，102，103)的背景信息的该一个或多个特征指示该一个或多个活动区域(101，102，103)中的手术器械(51，52)的数量；和/或其中，包括该一个或多个活动区域(101，102，103)的背景信息的该一个或多个特征指示该一个或多个活动区域(101，102，103)中的动态特性。7.如权利要求5或6所述的方法，其中，该方法还包括：
–
基于包括该一个或多个活动区域(101，102，103)的背景信息的该一个或多个特征，确定该一个或多个活动区域(101，102，...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：卡尔蔡司医疗技术股份公司，
类型：发明
国别省市：