使用深度学习的机器人手术期间用户就位/离位识别制造技术

本公开的发明专利技术名称是“使用深度学习的机器人手术期间用户就位/离位识别”。本文公开了基于深度学习的各类用户就位/离位识别技术。更具体地，各类用户就位/离位识别技术包括在各种临床相关条件/情况下基于从外科医生控制台的用户就座区收集的训练图像来构建/训练包括用户就位/离位分类器的基于CNN的图像识别模型。然后，经训练的用户就位/离位分类器可在远程操作/外科手术期间用于监视/追踪外科医生控制台的用户就座区的用户，并持续将用户就座区的实时视频图像分类为用户就位状态或用户离位状态。在一些实施方案中，当检测到第一用户已离开用户就座区之后检测到第二用户已进入用户就座区时，所公开的技术可用于检测在外科医生控制台处的用户变换事件。如果第二用户被识别为新用户，则所公开的技术可触发针对新用户的重新校准程序。用户的重新校准程序。用户的重新校准程序。

【技术实现步骤摘要】
【国外来华专利技术】使用深度学习的机器人手术期间用户就位/离位识别


[0001]本公开总体上涉及机器人外科系统，并且更具体地，涉及用于在机器人手术期间自动识别用户/外科医生在外科医生控制台处就位或离位的系统、装置和技术。

技术介绍

[0002]内窥镜式外科手术涉及在患者体内查看并使用内窥镜和其他外科工具在患者体内执行外科手术。例如，腹腔镜式外科手术可使用腹腔镜来进入和观察腹腔。内窥镜式外科手术可使用手动工具和/或具有机器人辅助工具的机器人外科系统执行。
[0003]外科医生可远程操作机器人外科系统以指挥位于手术台的机器人辅助工具。由外科医生远程对机器人辅助工具进行控制的这种操作通常可被称为远程操作。例如，外科医生可使用位于手术室中的计算机控制台(或其可位于不同城市)指挥机器人操纵安装在手术台上的外科工具。机器人辅助工具可包括安装在机器人臂上的内窥镜。因此，远程外科医生可使用外科机器人系统来执行内窥镜式外科手术。
[0004]机器人外科系统的外科医生控制台通常包括眼球追踪机构，该眼球追踪机构被配置为在外科手术期间追踪用户/外科医生的视线。对于在新的外科手术期间使用外科医生控制台的特定外科医生，在开始新的外科手术之前，眼球追踪机构需要针对该外科医生进行校准或以其他方式予以配置。在随后的外科手术期间，该外科医生可能由于多种原因需要离开控制台，例如为了帮助实施手术。在该外科医生离开控制台之后，新的外科医生可能进入并接管该外科手术。当此类用户变换事件发生时，机器人外科系统需要确保眼球追踪设置针对新的外科医生进行重新校准或予以重新配置，因为不同用户通常具有不同的眼球追踪设置。然而，现有的机器人手术系统不包括在手术期间检测此类用户变换事件的机构。因此，现有的机器人外科系统将继续使用针对之前负责新手术的外科医生的眼球追踪设置，这可能导致不准确的眼球追踪控制信号，进一步导致不安全/非预期的机器人臂或工具运动。

技术实现思路

[0005]本文公开了基于图像处理和深度学习的各类用户就位/离位识别技术。更具体地，各类用户就位/离位识别技术包括在各种临床相关条件/情况下基于从机器人外科系统内的外科医生控制台的用户就座区收集的训练图像构建/训练包括用户就位/离位分类器的基于神经卷积网络(CNN)的图像识别模型。然后，经训练的用户就位/离位分类器可在远程操作/外科手术期间用于监视/追踪外科医生控制台的用户就座区的用户，并持续将用户就座区的实时视频图像分类为用户就位状态或用户离位状态。
[0006]在一些实施方案中，当在检测到第一用户已离开用户就座区之后检测到第二用户已进入用户就座区时，所公开的用户就位/离位识别技术可用于检测在外科医生控制台处的用户变换事件。用户变换事件的检测可实现提示用户就座区中的第二用户将他/她自己识别为与第一用户相同的用户或不同的用户。如果第二用户被识别为新用户，则所公开的
用户就位/离位识别技术可触发针对新用户的用户控制台设置的重新校准过程，包括但不限于：用户视线追踪设置；用户UID控制设置；用户就座设置(例如，扶手设置)。
[0007]在一个方面，公开了一种用于在机器人手术系统中检测外科医生控制台处的用户就位/离位的过程。该过程可始于：接收捕获外科医生控制台的用户就座区的一组原始视频图像。接下来，在该过程中，处理该组原始视频图像以生成一组训练图像。在该过程中，接下来使用该组训练图像训练卷积神经网络(CNN)模型。更具体地，该CNN模型包括图像分类器，其被配置为针对每个输入图像输出二值分类，其中，该二值分类为用户就位分类或用户离位分类。进一步，在该过程中，接收在外科手术时间期间捕获的该用户就座区的一组实时视频图像。然后，在该过程中，将该经训练的CNN模型应用到该组实时视频图像，以将该组实时视频图像中的每个视频图像自动分类为该用户就位分类或该用户离位分类。
[0008]在一些实施方案中，在该过程中，通过以下处理该组原始视频图像以生成该组训练图像：对于该组原始视频图像中的每个原始视频图像，使用一组图像增强技术生成该原始视频图像的多个增强图像；以及将该多个增强图像中的一个或多个增强图像包括在该组训练图像中。
[0009]在一些实施方案中，在该过程中，通过首先在该原始视频图像的边框内放置第一预先确定尺寸的限位框，使用该组图像增强技术生成该多个增强图像。然后，在该过程中，使用限位框裁剪该原始图像以生成原始图像的具有第一预先确定尺寸的第一增强图像。
[0010]在一些实施方案中，该方法还包括：使用随机放大因子放大第一增强图像以生成原始图像的具有第一预先确定尺寸的第二增强图像。
[0011]在一些实施方案中，该方法还包括：水平翻转第二增强图像以生成原始图像的具有第一预先确定尺寸的第三增强图像。
[0012]在一些实施方案中，第一预先确定尺寸包括均等于该原始图像的较小尺寸的竖直尺寸和水平尺寸。
[0013]在一些实施方案中，在生成该组训练图像之后，该方法还包括：用指示训练图像中用户就位的用户就位标签或指示训练图像中任何用户离位的用户离位标签自动注释该组训练图像中每个训练图像。
[0014]在一些实施方案中，在该过程中，通过首先使用图像识别技术检测该训练图像内的座位对象自动注释该组训练图像中的训练图像。在该过程中，接下来确定所检测到的座位对象的一部分是否被该训练图像中的另一对象阻挡。如果是，则用该用户就位标签标记该训练图像。否则，在该过程中，用该用户离位标签标记该训练图像。
[0015]在一些实施方案中，在该过程中，如果该图像识别技术未能检测到座位对象，通过用该用户就位标签标记该训练图像注释该组训练图像中的训练图像。
[0016]在一些实施方案中，该CNN模型由特征提取层的堆叠组成，该特征提取层的堆叠包括具有第一组参数的一系列池化层和一系列卷积层。该特征提取层的堆叠之后是具有第二组参数的全连接层，所述全连接层之后进一步是最终输出层。
[0017]在一些实施方案中，为了使用该组训练图像训练该CNN模型，在该过程中，使用该特征提取层的堆叠提取该组训练图像中的每个训练图像的一组二维(2D)特征图，同时固定该第一组参数。在该过程中，然后，至少基于从该组训练图像中提取的多组提取的2D特征图训练该全连接层的第二组参数，以获得经训练的全连接层。在该过程中，然后，固定该CNN模
型中的第一组参数和经训练的第二组参数，以获得经训练的CNN模型。
[0018]在一些实施方案中，该特征提取层的堆叠包括从输入层直到瓶颈层的Inception
‑
v3图像识别模型的一部分。此外，该Inception
‑
v3图像识别模型先前经过训练以检测和识别与检测外科医生控制台处的用户就位/离位无关的对象。
[0019]另一方面，公开了一种用于在机器人手术系统中检测外科医生控制台处的用户就位/离位的设备。该设备包括：一个或多个处理器；和存储器，该存储器耦合到该一个或多个处理器。该设备的存储器存储指令，指令当由一个或多个处理器执行时，使得该设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在机器人外科系统中检测外科医生控制台处的用户就位/离位的计算机实现的方法，所述方法包括：接收捕获所述外科医生控制台的用户就座区的一组原始视频图像；处理所述一组原始视频图像以生成一组训练图像；使用所述一组训练图像训练卷积神经网络(CNN)模型，其中，所述CNN模型包括图像分类器，所述图像分类器被配置为针对每个输入图像输出二值分类，并且其中，所述二值分类为用户就位分类或用户离位分类；接收在外科手术时间期间捕获的所述用户就座区的一组实时视频图像；以及将所经训练的CNN模型应用到所述一组实时视频图像，以将所述一组实时视频图像中的每个视频图像自动分类为用户就位分类或用户离位分类。2.根据权利要求1所述的计算机实现的方法，其中，处理所述一组原始视频图像以生成所述一组训练图像包括：对于所述一组原始视频图像中的每个原始视频图像：使用一组图像增强技术生成所述原始视频图像的多个增强图像；以及将所述多个增强图像中的一个或多个增强图像包括在所述一组训练图像中。3.根据权利要求2所述的计算机实现的方法，其中，使用所述一组图像增强技术生成所述原始视频图像的所述多个增强图像包括：在所述原始视频图像的边框内放置第一预先确定尺寸的限位框；使用所述限位框裁剪所述原始图像以生成所述原始图像的具有所述第一预先确定尺寸的第一增强图像。4.根据权利要求3所述的计算机实现的方法，其中，所述方法还包括：使用随机放大因子放大所述第一增强图像以生成所述原始图像的具有所述第一预先确定尺寸的第二增强图像。5.根据权利要求4所述的计算机实现的方法，其中，所述方法还包括：水平翻转所述第二增强图像以生成所述原始图像的具有所述第一预先确定尺寸的第三增强图像。6.根据权利要求3所述的计算机实现的方法，其中，所述第一预先确定尺寸包括均等于所述原始图像的较小尺寸的竖直尺寸和水平尺寸。7.根据权利要求1所述的计算机实现的方法，其中，在生成所述一组训练图像之后，所述方法还包括：用指示所述训练图像中用户就位的用户就位标签或指示所述训练图像中任何用户离位的用户离位标签自动注释所述一组训练图像中的每个训练图像。8.根据权利要求7所述的计算机实现的方法，其中，所述自动注释所述一组训练图像中的所述训练图像包括：使用图像识别技术检测所述训练图像内的座位对象；确定所检测到的座位对象的一部分是否被所述训练图像中的另一对象阻挡；并且如果是，用所述用户就位标签标记所述训练图像；否则，用所述用户离位标签标记所述训练图像。9.根据权利要求7所述的计算机实现的方法，其中，注释所述一组训练图像中的所述训
练图像还包括：如果所述图像识别技术未能检测到座位对象，则用所述用户就位标签标记所述训练图像。10.根据权利要求1所述的计算机实现的方法，其中，所述CNN模型包括特征提取层的堆叠，所述特征提取层的堆叠包括具有第一组参数的一系列池化层和一系列卷积层，所述特征提取层的堆叠之后是具有第二组参数的全连接层，所述全连接层之后进一步是最终输出层，并且其中使用所述一组训练图像训练所述CNN模型包括：对于所述一组训练图像中的每个训练图像，使用所述特征提取层的堆叠提取所述训练图像的一组二维(2D)特征图，同时固定所述第一组参数；以及至少基于从所述一组训练图像中提取的多组提取的2D特征图来训练所述全连接层的所述第二组参数，以获得经训练的全连接层；以及固定所述CNN模型中的所述第一组参数和经训练的第二组参数两者，以获得经训练的CNN模型。11.根据权利要求10所述的计算机实现的方法，其中，所述特征提取层的堆叠包括从所述输入层直到瓶颈层的Inception
‑
v3图像识别模型的一部分，并且其中，所述Inception
‑
v3图像识别模型先前经过训练以检测和识别与检测外科医生控制台处的用户就位/离位无关的对象。12.一种用于在机器人手术系统中检测外科医生控制台处的用户就位/离位的设备，所述设备包括：一个或多个处理器；存储器，所述存储器耦合到所述一个或多个处理器，所述存储器存储指令，所述指令在由所述一个或多个处理器执行时，使所述设备：接收捕获所述外科医生控制台的用户就座区的一组原始视频图像；处理所述一组原始视频图像以生成一组训练图像；使用所述一组训练图像训练深度学习图像分类器，其中，所述深度学习图像分类器被配置为接收输入图像，处理所述输入图像，以及针对所述输入图像输出二值分类，并且其中，所述二值分类为用户就位分类或用户离位分类；接收在外科...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：威博外科公司，
类型：发明
国别省市：