基于深度学习的实时剩余外科手术持续时间（RSD）估计制造技术

本文所述的实施方案提供了一种外科持续时间估计系统，用于基于给定外科规程的实况外科时间的实时内窥镜视频连续地预测该实况外科时间的实时剩余外科持续时间(RSD)。在一个方面，该过程在该实况外科时间的当前时间接收该内窥镜视频的当前帧，其中该当前时间在用于在该实况外科时间期间进行连续RSD预测的预测时间点的序列之中。该过程接下来在对应于该实况外科时间的开始的该内窥镜视频的开始和对应于该当前时间的该当前帧之间，随机采样对应于该实况外科时间的已过去部分的该内窥镜视频的N

【技术实现步骤摘要】
【国外来华专利技术】基于深度学习的实时剩余外科手术持续时间(RSD)估计


[0001]本公开整体涉及构建基于机器学习的外科规程分析工具，并且更具体地涉及用于基于内窥镜视频馈送在外科规程的实况外科时间期间执行基于深度学习的实时剩余外科手术持续时间(RSD)估计的系统、装置和技术。

技术介绍

[0002]手术室(OR)成本是最高的医疗保健相关成本之一。随着医疗保健支出的飙升，旨在降低OR成本和提高OR效率的OR成本管理已成为越来越重要的研究课题。OR成本通常基于每分钟的成本结构来衡量。例如，2005年的一项研究表明OR成本在从每分钟22美元到133美元的范围内，平均成本为每分钟62美元。在这种每分钟的成本结构中，给定外科规程的OR成本与外科规程的持续时间/时长成正比。因此，准确的外科手术持续时间估计对于构建有效的OR管理系统起着重要作用。需注意，如果OR团队高估外科手术持续时间，则将导致价格高昂的OR资源利用不足。另一方面，如果低估外科手术持续时间，则将导致其他OR团队和患者的等待时间较长。然而，由于患者的多样性、外科医生的技术和其他不可预测的因素，准确预测外科手术持续时间非常具有挑战性。
[0003]上述问题的一个解决方案是使用机器学习根据腹腔镜视频馈送来自动地估计剩余外科手术持续时间(RSD)。例如，现有的RSD估计技术用预定义的外科阶段手动地标记训练数据集的每个帧。然后基于训练数据集来训练监督式机器学习模型，以估计训练数据集中的每个时间戳处的外科阶段。接下来，通过利用训练数据集中的每个外科阶段的统计数据，可以估计完成当前外科阶段的剩余时间。将该估计与在当前时间戳处已完成的阶段的估计相结合以用于估计RSD。遗憾的是，这种技术需要手动地标记训练集中的每个帧，这既费力又成本高昂。
[0004]另一种现有的RSD估计技术不依赖于外科阶段标注。在这种方法中，机器学习模型的输入是单帧。然而，机器学习模型仅从单帧本身来预测单帧之前已经发生的事情是极其困难的。为了解决这个问题，在非监督式方法中利用递归神经网络的不同变型，以将先前的帧隐式封装到隐藏状态中。遗憾的是，这种方法的RSD预测准确度仍然很差，因为外科视频通常很长，并且教导机器学习模型将数千帧表示为多个隐藏状态并非易事。

技术实现思路

[0005]本文所述的一些实施方案提供了外科持续时间估计系统的各种示例，用于基于给定外科规程的实况外科时间的实时内窥镜视频连续地实时预测该实况外科时间的剩余外科持续时间(RSD)。在具体实施方案中，所公开的RSD预测系统在实况外科时间的当前时间接收内窥镜视频的当前帧，其中当前时间在用于在实况外科时间期间进行连续RSD预测的预测时间点的序列之中。RSD预测系统接下来在对应于实况外科时间的开始的内窥镜视频的开始和对应于当前时间的当前帧之间，随机采样对应于实况外科时间的已过去部分的内窥镜视频的N
‑
1个附加帧。RSD预测系统然后将N
‑
1个随机采样的帧和当前帧按时间顺序组
合以获得N个帧的集合。接下来，系统将N个帧的集合馈送到用于给定外科规程的经过训练的机器学习模型中。RSD预测系统随后基于N个帧的集合输出当前RSD预测。
[0006]在一些实施方案中，N被选择为足够大，使得N
‑
1个随机采样的帧提供在实况外科时间的已过去部分期间已经发生的各种事件的足够准确的快照。
[0007]在一些实施方案中，对实况外科时间的已过去部分进行随机采样允许在进行连续RSD预测时在不同的预测时间点对内窥镜视频中的给定帧进行不止一次的采样。
[0008]在一些实施方案中，RSD预测系统还基于N个帧的集合，使用经过训练的RSD ML模型生成实况外科时间的完成百分比的预测。
[0009]在一些实施方案中，RSD预测系统通过多次重复以下步骤生成当前RSD预测的集合来改进当前时间的当前RSD预测：(1)在对应于实况外科时间的开始的内窥镜视频的开始和对应于当前时间的当前帧之间，随机采样对应于实况外科时间的已过去部分的内窥镜视频的N
‑
1个附加帧；将N
‑
1个随机采样的帧和当前帧按时间顺序组合以获得N个帧的集合；将N个帧的集合馈送到经过训练的RSD ML模型中；以及基于N个帧的集合，从经过训练的RSD ML模型生成当前RSD预测。接下来，RSD预测系统计算当前RSD预测的集合的平均值和方差值。随后，RSD预测系统通过使用所计算的平均值和方差值作为当前RSD预测来改进当前RSD预测。
[0010]在一些实施方案中，RSD预测系统通过以下方式进一步改进RSD预测：生成与内窥镜视频中的预测时间点的序列相对应的实时RSD预测的连续序列；以及将低通滤波器应用于实时RSD预测的序列，以通过移除实时RSD预测的序列中的高频抖动来平滑RSD预测。
[0011]在一些实施方案中，RSD预测系统通过以下方式来生成训练数据集：首先接收外科规程的训练视频的集合，其中训练视频的集合中的每个视频对应于由熟练于外科规程的外科医生执行的外科规程的执行。接下来，对于训练视频的集合中的每个训练视频，RSD预测系统通过根据预先确定的时间间隔在整个训练视频中的等间隔时间点序列处执行训练数据生成步骤序列来构建经标记训练数据的集合。更具体地，时间点序列中的对应的时间点的训练数据生成步骤序列中的每个训练数据生成步骤包括：(1)在对应的时间点接收训练视频的当前帧；(2)在训练视频的开始和当前帧之间，随机采样对应于外科时间的已过去部分的训练视频的N
‑
1个附加帧；(3)将N
‑
1个随机采样的帧和当前帧按时间顺序组合以获得N个帧的集合；以及(4)用与当前帧相关联的标签来标记N个帧的集合。最后，RSD预测系统输出与训练视频的集合相关联的多个经标记训练数据的集合。
[0012]在一些实施方案中，RSD预测系统通过以下方式建立经过训练的RSD ML模型：(1)接收卷积神经网络(CNN)模型；(2)用包括多个经标记训练数据的集合的训练数据集来训练CNN模型；以及(3)基于经过训练的CNN模型来获得经过训练的RSD ML模型。
[0013]在一些实施方案中，在生成训练数据集之前，RSD预测系统被进一步配置为通过以下方式来标记训练视频的集合中的每个训练视频：对于训练视频中的每个视频帧，自动地确定从该视频帧到训练视频结束的剩余外科持续时间；以及用所确定的剩余外科持续时间作为视频帧的标签来自动地标注视频帧。
[0014]在一些实施方案中，与当前帧相关联的标签包括以分钟为单位的相关联的剩余外科持续时间。
[0015]在一些实施方案中，CNN模型包括被配置为接收视频帧序列作为单个输入的动作
识别网络架构(I3d)。
[0016]在一些实施方案中，用训练数据集训练CNN模型包括在验证数据集上评估CNN模型。
[0017]本文所述的一些实施方案还提供了用于构建经过训练的RSD预测模型以进行实时RSD预测的RSD预测模型训练系统的各种示例。在具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，用于基于外科规程的实况外科时间的实时内窥镜视频连续地实时预测所述实况外科时间的剩余外科持续时间(RSD)，所述方法包括：在所述实况外科时间的当前时间接收所述内窥镜视频的当前帧，其中所述当前时间在用于在所述实况外科时间期间进行连续RSD预测的预测时间点的序列之中；在对应于所述实况外科时间的开始的所述内窥镜视频的开始和对应于所述当前时间的所述当前帧之间，随机采样对应于所述实况外科时间的已过去部分的所述内窥镜视频的N
‑
1个附加帧；将所述N
‑
1个随机采样的帧和所述当前帧按时间顺序组合以获得N个帧的集合；将所述N个帧的集合馈送到用于所述外科规程的经过训练的RSD机器学习(ML)模型中；以及基于所述N个帧的集合，从所述经过训练的RSD ML模型输出当前RSD预测。2.根据权利要求1所述的计算机实现的方法，其中N被选择为足够大，使得所述N
‑
1个随机采样的帧提供在所述实况外科时间的所述已过去部分期间已经发生的各种事件的足够准确的快照。3.根据权利要求1所述的计算机实现的方法，其中对所述实况外科时间的所述已过去部分进行随机采样允许在进行连续RSD预测时在不同的预测时间点对所述内窥镜视频中的给定帧进行不止一次的采样。4.根据权利要求1所述的计算机实现的方法，其中所述方法还包括基于所述N个帧的集合，使用所述经过训练的RSD ML模型生成所述实况外科时间的完成百分比的预测。5.根据权利要求1所述的计算机实现的方法，其中所述方法还包括通过以下方式改进所述当前时间的所述当前RSD预测：多次重复以下步骤以生成当前RSD预测的集合：在对应于所述实况外科时间的开始的所述内窥镜视频的开始和对应于所述当前时间的所述当前帧之间，随机采样对应于所述实况外科时间的所述已过去部分的所述内窥镜视频的N
‑
1个附加帧；将所述N
‑
1个随机采样的帧和所述当前帧按时间顺序组合以获得N个帧的集合；将所述N个帧的集合馈送到经过训练的RSD ML模型中；以及基于所述N个帧的集合，从所述经过训练的RSD ML模型生成当前RSD预测；以及计算所述当前RSD预测的集合的平均值和方差值；以及通过使用所计算的平均值和方差值作为所述当前RSD预测来改进所述当前RSD预测。6.根据权利要求1所述的计算机实现的方法，其中所述方法还包括通过以下方式来改进所述RSD预测：生成与所述内窥镜视频中的所述预测时间点的序列相对应的实时RSD预测的连续序列；以及将低通滤波器应用于所述实时RSD预测的序列，以通过移除所述实时RSD预测的序列中的高频抖动来平滑所述RSD预测。7.根据权利要求1所述的计算机实现的方法，其中所述方法还包括通过以下方式生成训练数据集：接收所述外科规程的训练视频的集合，其中所述训练视频的集合中的每个视频对应于
由熟练于所述外科规程的外科医生执行的所述外科规程的执行；对于所述训练视频的集合中的每个训练视频，通过根据预先确定的时间间隔在整个所述训练视频中的等间隔的时间点序列执行训练数据生成步骤序列来构建经标记训练数据的集合，其中在所述时间点序列中对应的时间点的所述训练数据生成步骤序列中的每个训练数据生成步骤包括：在所述对应的时间点接收所述训练视频的当前帧；在所述训练视频的开始和所述当前帧之间，随机采样对应于所述外科时间的所述已过去部分的所述训练视频的N
‑
1个附加帧；将所述N
‑
1个随机采样的帧和所述当前帧按时间顺序组合以获得N个帧的集合；以及用与所述当前帧相关联的标签来标记所述N个帧的集合；以及输出与所述训练视频的集合相关联的多个经标记训练数据的集合。8.根据权利要求7所述的计算机实现的方法，其中所述方法还包括通过以下方式建立所述经过训练的RSD ML模型：接收卷积神经网络(CNN)模型；用包括所述多个经标记训练数据的集合的所述训练数据集来训练所述CNN模型；以及基于所述经过训练的CNN模型来获得所述经过训练的RSD ML模型。9.根据权利要求7所述的计算机实现的方法，其中在生成所述训练数据集之前，所述方法还包括通过以下方式标记所述训练视频的集合中的每个训练视频：对于所述训练视频中的每个视频帧，自动地确定从所述视频帧到所述训练视频的结束的剩余外科持续时间；以及用所确定的剩余外科持续时间作为所述视频帧的所述标签来自动地标注所述视频帧。10.根据权利要求7所述的计算机实现的方法，其中与所述当前帧相关联的所述标签包括以分钟为单位的相关联的剩余外科持续时间。11.根据权利要求8所述的计算机实现的方法，其中所述CNN模型包括被配置为接收视频帧序列作为单个输入的动作识别网络架构(I3d)。12.根据权利要求8所述的计算机实现的方法，其中用所述训练数据集训练所述CN...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：威博外科公司，
类型：发明
国别省市：