【技术实现步骤摘要】
【国外来华专利技术】用于对外科手术视频分段的系统和方法
本公开一般涉及用于执行外科手术的系统，并且特别但非专门地，涉及用于对外科手术视频分段的系统和方法。
技术介绍
机器人或计算机辅助外科手术使用机器人系统来辅助外科手术过程。机器人外科手术是作为一种克服预先存在的外科手术治疗的限制(例如，与外科医生的手相关联的空间限制、人类移动固有的不稳定性以及人类工作产品的不一致性等)的方法而发展起来的。近年来，该领域在限制切口大小和缩短患者恢复时间方面取得了巨大进步。在开放式外科手术的情况下，机器人控制的器械可以代替传统的工具来执行外科手术运动。反馈控制的运动可以允许比人类执行的外科手术步骤更平滑的外科手术步骤。例如，使用外科机器人进行诸如肋骨扩张的步骤，与由外科医生的手执行的步骤相比，可能对患者的组织造成更少的损伤。此外，外科手术机器人可以通过需要较少的步骤来完成手术过程，从而减少在手术室的时间量。然而，机器人外科手术可能仍然受到与传统外科手术相关联的限制。例如，外科医生可能仍然需要查看外科手术视频，以便适应手术过程。外科医生可能需要几天或几周的时间来查看足够的片段，以便精通特定类型的手术。
技术实现思路
描述了用于对外科手术视频分段(segmenting)的系统和方法的各种示例。用于对外科手术视频分段的一种示例方法包括：由计算设备的处理器接收外科手术视频，该外科手术视频包括外科手术过程的至少一系列视频帧；响应于接收到视频帧的标识，由该处理器基于视频帧生成书签；由该处理器将书签与视频帧相关联；以及由该处理器将书...
【技术保护点】
1.一种方法，包括：/n由计算设备的处理器接收外科手术视频，所述外科手术视频包括外科手术过程的至少一系列视频帧；/n响应于接收到视频帧的标识，由所述处理器基于所述视频帧生成书签；/n由所述处理器将所述书签与所述视频帧相关联；以及/n由所述处理器将所述书签存储在非暂时性计算机可读介质中。/n
【技术特征摘要】
【国外来华专利技术】20171017 US 62/573,3271.一种方法，包括：
由计算设备的处理器接收外科手术视频，所述外科手术视频包括外科手术过程的至少一系列视频帧；
响应于接收到视频帧的标识，由所述处理器基于所述视频帧生成书签；
由所述处理器将所述书签与所述视频帧相关联；以及
由所述处理器将所述书签存储在非暂时性计算机可读介质中。
2.根据权利要求1所述的方法，还包括：
由所述处理器从麦克风接收音频信息；
基于所述音频信息确定所述视频帧的标识。
3.根据权利要求2所述的方法，还包括由所述处理器使用语音识别技术从所述音频信息中识别一个或多个口说字词；以及
基于一个或多个口说字词确定所述视频帧的标识。
4.根据权利要求3所述的方法，其中，所述音频信息在外科手术过程期间被接收，并且其中，确定所述视频帧的标识在外科手术过程期间基本上实时地发生。
5.根据权利要求1所述的方法，还包括：
由所述处理器从输入设备接收输入信息；
由所述处理器基于所述输入信息检测手势；以及
基于所述手势确定所述视频帧的标识。
6.根据权利要求5所述的方法，其中，所述输入设备包括用于外科手术机器人的外科手术工具的控制设备。
7.根据权利要求5所述的方法，其中，所述输入设备包括触敏输入设备。
8.根据权利要求1所述的方法，还包括：
由所述处理器接收对图形用户界面GUI内的外科手术过程的选择；
由所述处理器接收对GUI内的外科手术过程的步骤的选择；以及
在对外科手术过程和外科手术过程的步骤的选择之后接收所述视频帧的标识；
其中，生成所述书签包括：
由所述处理器基于外科手术过程和外科手术过程的步骤生成标识符，以及
由所述处理器基于所述标识符生成元数据；并且
其中，存储所述书签包括存储所述元数据。
9.根据权利要求1所述的方法，其中，存储所述书签包括在所述外科手术视频内插入元数据。
10.根据权利要求1所述的方法，其中，将书签与所述视频帧相关联包括生成标识所述视频帧的元数据，并且其中，存储所述书签包括将所述元数据存储在与所述外科手术视频分开的文件中。
11.根据权利要求1所述的方法，还包括：
由所述处理器使用第一经训练的机器学习ML技术来识别在所述外科手术视频中执行的外科手术过程的类型；
在识别到所述外科手术过程的类型之后，由所述处理器使用第二经训练的ML技术来识别所述外科手术视频的一个或多个步骤；并且
其中，接收所述视频帧的标识包括标识所述外科手术视频的与识别到的步骤相对应的视频帧。
12.根据权利要求11所述的方法，其中，所述第一经训练的ML技术是与所述第二经训练的ML技术相同的经训练的ML技术。
13.根据权利要求1所述的方法，其中，所述书签是第一书签，并且还包括：
接收外科手术步骤的标识；
接收第二视频帧的标识，所述第二视频帧与所述外科手术步骤的子步骤或与所述外科手术步骤相关联的事件相关联；
接收所述子步骤或所述事件的标识；
基于第二视频帧和所述子步骤或所述事件生成第二书签；
将所述第二书签与所述第一书签和所述第二视频帧相关联，所述关联包括生成书签层级信息并将所述第二书签关联为所述第一书签的子书签；以及
将所述第二书签和所述书签层级信息存储在所述非暂时性计算机可读介质中。
14.根据权利要求13所述的方法，其中：
所述第一书签包括标识所述外科手术步骤的元数据；并且
所述第二书签包括标识所述子步骤或所述事件的元数据。
15.根据权利要求1所述的方法，还包括：
生成包括(i)所述外科手术视频的标识和(ii)所述书签的消息；以及
将所述消息发送给接收者。
16.一种方法，包括：
接收外科手术视频和至少一个书签，每个书签标识所述外科手术视频内的不同视频帧；
接收第一书签的标识；
接收提取所述外科手术视频的一部分的指示；
提取所述外科手术视频的所述部分，所述外科手术视频的所述部分从所述第一书签开始；以及
将所述外科手术视频的所述部分存储在非暂时性计算机可读介质中。
17.根据权利要求16所述的方法，其中，所述至少一个书签是多个书签，并且还包括：
接收所述多个书签中的第二书签的标识；并且
其中，所述外科手术视频的所述部分在所述第二书签处结束。
18.根据权利要求16所述的方法，其中：
所述至少一个书签是多个书签；
接收所述第一书签的标识包括接收所述多个书签的书签子集的标识，所述多个书签中的每个书签对应于所述外科手术视频的不同视频帧；
提取所述外科手术视频的所述部分包括提取所述外科手术视频的多个部分，所述多个部分中的每个不同部分在所述多个书签中的相应的不同书签处开始；以及
存储所述外科手术视频的所述部分包括将所述外科手术视频的所述多个部分中的每个部分存储在所述非暂时性计算机可读介质中的单独文件中。
19.根据权利要求18所述的方法，其中，所述多个部分中的每个部分在所述多个书签中的相应的不同书签处开始，并且在所述多个书签内的下一个书签处结束。
20.根据权利要求16所述的方法，其中，所述至少一个书签各自具有以下之一：(i)所述外科手术过程的关联的步骤、(ii)所述外科手术过程的关联的子步骤、或(iii)所述外科手术过程的关联的事件；并且还包括：
接收对以下之一的选择：(i)所述外科手术过程的步骤、(ii)所述外科手术过程的子步骤、或(iii)事件；
标识与所述选择相关联的一个或多个书签；以及
基于所标识的一个或多个书签提取所述视频的所述部分。
21.一种方法，包括：
接收包括搜索参数的搜索命令，所述搜索参数包括以下之一：(i)外科手术过程的步骤、(ii)所述外科手术过程的子步骤、或(iii)所述外科手术过程的事件；
访问多个外科手术视频的书签信息；
使用所述搜索参数标识多个书签，所述多个书签中的每个书签与所述外科手术视频之一相关联；以及
响应于所述搜索命令提供所述多个书签的子集。
22.一种系统，包括：
非暂时性计算机可读介质；和
与所述非暂时性计算机可读介质通信的处理器，所述处理器被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收外科手术视频，所述外科手术视频包括外科手术过程的至少一系列视频帧；
响应于接收到视频帧的标识，基于所述视频帧生成书签；
将所述书签与所述视频帧相关联；以及
存储所述书签。
23.根据权利要求22所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
从麦克风接收音频信息；
基于所述音频信息确定所述视频帧的标识。
24.根据权利要求23所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
由所述处理器使用语音识别技术从所述音频信息中识别一个或多个口说字词；以及
基于一个或多个口说字词确定所述视频帧的标识。
25.根据权利要求24所述的系统，还包括外科手术机器人系统和所述麦克风，并且其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以在所述外科手术过程期间接收所述音频信息，并且确定所述视频帧的标识在外科手术过程期间基本上实时地发生。
26.根据权利要求22所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
从输入设备接收输入信息；
基于所述输入信息检测手势；以及
基于所述手势确定所述视频帧的标识。
27.根据权利要求26所述的系统，其中，所述输入设备包括用于外科手术机器人的外科手术工具的控制设备。
28.根据权利要求26所述的系统，其中，所述输入设备包括触敏输入设备。
29.根据权利要求22所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收对图形用户界面GUI内的外科手术过程的选择；
接收对GUI内的所述外科手术过程的步骤的选择；以及
在选择所述外科手术过程和所述外科手术过程的步骤之后接收所述视频帧的标识；
基于所述外科手术过程和所述外科手术过程的步骤生成标识符，以及
基于所述标识符生成元数据；以及
存储所述元数据。
30.根据权利要求22所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以在所述外科手术视频内插入元数据。
31.根据权利要求22所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以生成标识所述视频帧的元数据，并且将所述元数据存储在与所述外科手术视频分开的文件中。
32.根据权利要求22所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
使用第一经训练的机器学习ML技术来识别在所述外科手术视频中执行的外科手术过程的类型；
在识别到所述外科手术过程的类型之后，使用第二经训练的ML技术来识别所述外科手术视频的一个或多个步骤；以及
标识所述外科手术视频的对应于识别到的步骤的视频帧。
33.根据权利要求32所述的系统，其中，所述第一经训练的ML技术是与所述第二经训练的ML技术相同的经训练的ML技术。
34.根据权利要求22所述的系统，其中，所述书签是第一书签，并且其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收外科手术步骤的标识；
接收第二视频帧的标识，所述第二视频帧与所述外科手术步骤的子步骤或与所述外科手术步骤相关联的事件相关联；
接收所述子步骤或所述事件的标识；
基于第二视频帧和所述子步骤或所述事件生成第二书签；
将所述第二书签与所述第一书签和所述第二视频帧相关联，
生成书签层级信息并将所述第二书签关联为所述第一书签的子书签；以及
将所述第二书签和所述书签层级信息存储在所述非暂时性计算机可读介质中。
35.根据权利要求34所述的系统，其中：
所述第一书...
【专利技术属性】
技术研发人员：J巴拉尔，M哈贝克，A克鲁明斯，M莱文，T泰塞雷，
申请(专利权)人：威里利生命科学有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。