医疗环境中的视频内容搜索制造技术

一种在视频内容中搜索特定感兴趣主题的方法用同时收集的非图像数据的分析来增强传统图像数据分析方法。一种应用涉及使用医疗设备执行的医疗手术的视频记录。当用户想要定位视频记录的显示了兴趣医疗事件的部分时，从一个或多个手术事件日志中识别可能与所述感兴趣医疗事件的发生相对应的一个或多个医疗设备系统事件。与这些系统事件相关联的时间戳用于从所述手术视频记录中识别候选视频片段。对所述候选视频片段执行图像数据分析以便确定每个候选视频片段是否包含所述感兴趣医疗事件。

【技术实现步骤摘要】
【国外来华专利技术】医疗环境中的视频内容搜索版权声明本专利文件的公开内容的一部分包含受版权保护的材料。当该专利文献或专利公开内容出现在专利商标局专利文档或记录中时，版权所有者并不反对任何人对本专利文献或专利披露内容进行复制再现，但是在其他情况下保留所有版权权利。相关申请的交叉引用本专利申请要求于2015年6月09日提交的题为“COMBINEDVIDEOMETADATAANDIMAGEANALYSISINASURGICALCONTEXT(在外科手术背景下进行组合视频元数据和图像分析)”的美国临时专利申请62/173,187的申请日的优先权和权益，所述美国临时专利申请的全部内容通过引用结合在此。
技术介绍
1.
专利技术性方面总体上涉及视频内容搜索。具体地，所述专利技术性方面涉及对某些感兴趣的主题搜索医疗手术视频记录，以及对显示了感兴趣主题的视频片段进行检索。2.技术期望能够在不知道视频记录存在显示了所寻找主题的确切点的情况下在视频记录中定位某个兴趣主题。因此，期望必须具有使用户能够对视频记录执行关键字或关键短语主题搜索的视频搜索能力。对视频记录的主题搜索通常涉及仅依赖于对图像数据的分析的算法方法。参见例如授权给格林(Gering)的题为“MethodandSystemforSegmentingImageData(用于分割图像数据的方法和系统)”的美国专利7,623,709。一般而言，对图像数据的分析试图识别存在于被确定为指示各种感兴趣主题的图像(例如，视频的帧)的各个像素当中的某些图案。用于执行这些分析的图像特性可以包括像素颜色、像素强度、图像中由相邻像素形成的线条或轮廓等的图案。通过对图像数据的分析来确定图像的主题是有挑战性的且计算密集的，这是与美国专利7,623,709一致的观察结果。另外地，所返回的结果经常是不准确的。鉴于与仅使用图像数据分析来确定图像的主题相关联的限制，一种用于对视频记录执行主题搜索的改进系统和方法是令人期望的。一方面，视频记录与在医疗系统上发生的各种系统事件相关联。与在医疗系统上发生的系统事件有关的信息提供了可以指示在视频记录中发生的某些事件的附加数据集。当在所记录的视频中搜索特定兴趣主题时，对此附加数据集的分析可以用于增强对视频记录的图像数据分析。相比于仅依赖于图像数据分析的搜索方式，如果这种搜索方式可以使搜索的计算强度最小化并提高搜索准确性，则这种搜索方式将是优选的。
技术实现思路
以下概述介绍了专利技术性主题的某些方面，以便提供基本理解。此概述并非对专利技术性主题的全面概览，并且其并不旨在确定关键性或决定性元件或界定专利技术性主题的范围。尽管此概述包含与专利技术性主题的各个方面和实施例相关的信息，但是其唯一目的是以一般形式将一些方面和实施例呈现为以下更详细描述的前序。公开了一种对所记录的视频进行搜索的方法。所述方法涉及接收用于从一个或多个手术视频记录中定位显示了感兴趣医疗事件的一个或多个视频片段的用户命令。接下来，从一个或多个手术事件日志中识别可能与所述感兴趣医疗事件的发生相对应的一个或多个系统事件。使用与所述一个或多个系统事件中的每一个相对应的一个或多个时间戳，从所述一个或多个手术视频记录中识别一个或多个候选视频片段。通过执行对图像数据的分析，作出关于所述一个或多个候选视频段中的每一个是否为包含所述感兴趣医疗事件的识别到的视频段的确定。向用户呈现至少一个识别到的视频段。公开了一种用于执行视频搜索的计算设备。所述计算设备包括用户接口和处理单元，所述处理单元包括一个或多个处理器。所述处理单元可操作地耦合至所述用户接口，并且其被配置用于接收用于从一个或多个手术视频记录中定位显示了感兴趣医疗事件的一个或多个视频片段的用户命令。所述处理单元被进一步配置用于从一个或多个手术事件日志中识别可能与所述感兴趣医疗事件的发生相对应的一个或多个系统事件。使用与所述一个或多个系统事件中的每一个相对应的一个或多个时间戳，所述处理单元被配置用于从所述一个或多个手术视频记录中识别一个或多个候选视频片段。所述处理单元执行对图像数据的分析来确定所述一个或多个候选视频段中的每一个是否为包含所述感兴趣医疗事件的识别到的视频段。所述处理单元(例如，在显示器上)向用户呈现至少一个识别到的视频段。附图说明图1是微创遥控外科手术系统的平面图。图2是外科医生控制台的透视图。图3是电子设备推车(electronicscart)的透视图。图4是遥控外科手术系统的图解说明。图5是患者侧推车的透视图。图6是医疗系统的图解说明。图7A是医疗系统的成像算法的流程图。图7B是用于创建医疗系统的事件日志的算法的流程图。图7C是用于使用医疗系统的算法的流程图。图8是示出了医疗系统的事件日志的数据结构的图示。图9是数据库维护算法的流程图。图10是用于对视频内容进行搜索的算法的流程图。具体实施方式本说明书以及展示了专利技术性方面、实施例、实施方式或应用的附图不应当视为是限制性的——权利要求书限定了受保护的专利技术。在不脱离本说明书和权利要求书的精神的情况下，可以做出各种机械、组成、结构、电气和操作改变。在一些情况下，为了不模糊本专利技术，未详细示出或描述众所周知的电路、结构或技术。两个或更多个图中的相似编号表示相同或类似的元件。进一步地，本说明书的术语不旨在限制本专利技术。例如，如“下方”、“下面”、“下部”、“上面”、“上部”、“近端”、“远端”等空间相关术语可以用于描述如图中所展示的一个元件或特征与另一个元件或特征的关系。除了在图中示出的位置和取向之外，这些空间相关术语用于在使用中或运行中涵盖设备的不同方位(即，位置)和取向(即，旋转放置)。例如，如果附图中的设备翻转，则被描述为在其他元件或特征“下面”或“下方”的元件将位于其他元件或特征“上面”或“上方”。因此，示例性术语“下面”可以涵盖上面和下面的方位和取向两者。设备可以以其他方式来取向(旋转90度或处于其他取向)，并且本文中所使用的空间相关描述语可以被相应解释。同样，对沿着或围绕各个轴的运动的描述包括各种具体设备方位和取向。另外，除非上下文另外指示，否则单数形式“一种(a)”、“一种(an)”和“所述(the)”旨在同样包括复数形式。并且，术语“包括(comprises)”、“包括(comprising)”以及“包含(includes)”等规定所陈述的特征、步骤、操作、元件和/或部件的存在，而不排除一个或多个其他特征、步骤、操作、元件、部件和/或组的存在或者添加。被描述为被耦合的部件可以被直接电气或机械耦合，或者所述部件可以经由一个或多个中间部件被间接耦合。在切实可行的时候，参照一个实施例、实施方式或应用而详细描述的元件可以被包括在所述元件未被具体示出或描述的其他实施例、实施方式或应用中。例如，如果参照一个实施例而详细描述了某个元件而未参照第二实施例对其进行描述，则仍然可以声称所述元件被包括在第二实施例中。因此，为了避免以下说明中的不必要重复，关于一个实施例、实施方式或应用而示出和描述的一个或多个元件可以结合到其他实施例、实施方式或方面中，除非用其他方式特别描述，除非所述一个或多个元件将使实施例或实施方式不起作用或者除非所述元件中的两个或更多个元件提供相冲突的功能。主要就使用由加利福尼亚州森尼维耳市直观外科公司(Intuitiv本文档来自技高网...

【技术保护点】
一种方法，包括：接收用于从一个或多个手术视频记录中定位显示了感兴趣医疗事件的一个或多个视频片段的用户命令；从一个或多个手术事件日志中识别可能与所述感兴趣医疗事件的发生相对应的一个或多个系统事件；使用与所述一个或多个识别到的系统事件中的每一个相对应的一个或多个时间戳来从所述一个或多个手术视频记录中识别一个或多个候选视频片段；通过分析所述一个或多个候选视频片段的图像数据来确定所述一个或多个候选视频段中的每一个是否为包含所述感兴趣医疗事件的识别到的视频段；以及向用户呈现至少一个识别到的视频段。

【技术特征摘要】
【国外来华专利技术】2015.06.09 US 62/173,1871.一种方法，包括：接收用于从一个或多个手术视频记录中定位显示了感兴趣医疗事件的一个或多个视频片段的用户命令；从一个或多个手术事件日志中识别可能与所述感兴趣医疗事件的发生相对应的一个或多个系统事件；使用与所述一个或多个识别到的系统事件中的每一个相对应的一个或多个时间戳来从所述一个或多个手术视频记录中识别一个或多个候选视频片段；通过分析所述一个或多个候选视频片段的图像数据来确定所述一个或多个候选视频段中的每一个是否为包含所述感兴趣医疗事件的识别到的视频段；以及向用户呈现至少一个识别到的视频段。2.如权利要求1所述的方法，其中，接收用于定位显示了感兴趣医疗事件的一个或多个视频片段的用户命令包括：呈现多个感兴趣医疗事件以便经由用户接口选择；接收用户对所呈现的多个感兴趣医疗事件之一的选择。3.如权利要求1所述的方法，其中，接收用于定位显示了感兴趣医疗事件的一个或多个视频片段的用户命令包括在所述用户正在执行医疗手术的同时，在手术中接收所述用户命令。4.如权利要求1所述的方法，其中，接收用于定位显示了感兴趣医疗事件的一个或多个视频片段的用户命令包括在手术前或手术后接收所述用户命令。5.如权利要求1所述的方法，其中，识别可能与所述感兴趣医疗事件的发生相对应的一个或多个系统事件包括搜索查找表。6.如权利要求5所述的方法，其中，周期性地自动更新所述查找表以便解释通过机器学习得知的系统事件与感兴趣医疗事件之间的关联性。7.如权利要求1所述的方法，其中，可能与所述感兴趣医疗事件的发生相对应的所述一个或多个系统事件包括单独系统事件的发生。8.如权利要求1所述的方法，其中，可能与所述感兴趣医疗事件的发生相对应的所述一个或多个系统事件包括与特定图案相应的两个或更多个系统事件的发生。9.如权利要求1所述的方法，其中，可能与所述感兴趣医疗事件的发生相对应的所述一个或多个系统事件包括单独系统事件发生达延长的持续时间。10.如权利要求1所述的方法，其中，使用与所述一个或多个识别到的系统事件中的每一个相对应的一个或多个时间戳来识别一个或多个候选视频段包括识别手术视频记录的在两个时间戳之间发生的视频段。11.如权利要求1所述的方法，其中，使用与所述一个或多个识别到的系统事件中的每一个相对应的一个或多个时间戳来识别一个或多个候选视频段包括识别手术视频记录的在时间戳的时间窗口内发生的视频段。12.如权利要求1所述的方法，其中，向所述用户呈现至少一个识别到的视频段包括在显示器上向所述用户播放所述至少一个识别...

【专利技术属性】
技术研发人员：C·J·莫尔，B·E·米勒，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国,US