手术流程和手术器械联合检测方法、介质及电子设备技术

本发明专利技术提供一种基于视频的手术流程和手术器械联合检测方法、介质及电子设备。所述联合检测方法包括：获取手术视频；利用图像特征提取网络对所述手术视频进行处理以获取手术视频的图像域特征；利用时间域信息融合网络将所述手术视频的图像域特征与时间域特征相融合并检测手术流程和手术器械。所述联合检测方法具有较高的检测准确度。法具有较高的检测准确度。法具有较高的检测准确度。

【技术实现步骤摘要】
手术流程和手术器械联合检测方法、介质及电子设备


[0001]本专利技术涉及一种视频处理方法，特别是涉及一种基于视频的手术流程和手术器械联合检测方法、介质及电子设备。

技术介绍

[0002]手术视频分析旨在实时评估、跟踪手术过程，允许外科医生跟踪手术室(Operating Room，OR)中发生的多种事件的详细信息以提升外科手术的质量和安全。在自动手术流程分析过程中，手术阶段识别和手术器械检测是理解手术过程中多种术中状态的基础。通过视频识别正在进行的手术阶段和手术器械，可以向医生提供多种相关信息以优化术前规划、术中指导和术后评估。然而，现有技术通常采用单任务识别方式分别识别手术阶段和手术器械，此种方式准确率较低。

技术实现思路

[0003]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种手术流程和手术器械联合检测方法、介质及电子设备，用于解决现有技术中手术阶段和手术器械识别准确度低的问题。
[0004]为实现上述目的及其他相关目的，本专利技术的第一方面提供一种基于视频的手术流程和手术器械联合检测方法，所述联合检测方法包括：获取手术视频；利用图像特征提取网络对所述手术视频进行处理以获取手术视频的图像域特征；利用时间域信息融合网络将所述手术视频的图像域特征与时间域特征相融合并检测手术流程和手术器械。
[0005]于所述第一方面的一实施例中，对于所述手术视频中的一帧手术图像：获取该帧手术图像的图像域特征包括：利用所述图像特征提取网络对该帧手术图像进行处理以获取该帧手术图像的图像域特征；检测该帧手术图像的手术流程和手术器械包括：利用时间域信息融合网络对该帧手术图像的图像域特征及其之前若干帧手术图像的图像域特征进行处理，以实现该帧手术图像的图像域特征与时间域特征的融合并检测该帧手术图像的手术流程和手术器械。
[0006]于所述第一方面的一实施例中，所述时间域信息融合网络采用条形注意力因果掩膜。
[0007]于所述第一方面的一实施例中，所述图像特征提取网络的训练方法包括：构建所述图像特征提取网络；获取训练视频，所述训练视频包括多帧训练图像；对所述训练图像进行预处理；利用预处理后的所述训练图像对所述图像特征提取网络进行训练。
[0008]于所述第一方面的一实施例中，所述图像特征提取网络的训练方法还括：获取测试图像；采用中心裁剪法对所述测试图像进行处理；利用所述测试图像对所述特征提取网络的性能进行测试。
[0009]于所述第一方面的一实施例中，所述时间域信息融合网络的训练方法包括：构建所述时间域信息融合网络，并为所述时间域信息融合网络配置约束网络；获取训练数据；利
用所述训练数据对所述时间域信息融合网络进行训练，在训练过程中利用所述约束网络约束所述时间域信息融合网络的预测结果和金标准之间的距离。
[0010]于所述第一方面的一实施例中，利用所述约束网络约束所述时间域信息融合网络的预测结果和金标准之间的距离包括：利用所述约束网络将所述时间域信息融合网络的预测结果和金标准编码为多个高斯分布，并约束所述时间域信息融合网络的预测结果和金标准之间的距离最小。
[0011]于所述第一方面的一实施例中，在获取所述手术视频的图像域特征之前，所述联合检测方法还包括：对所述手术视频进行预处理。
[0012]本专利技术的第二方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术第一方面任一项所述的联合检测方法。
[0013]本专利技术的第三方面提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本专利技术第一方面任一项所述的联合检测方法。
[0014]如上所述，本专利技术一个或多个实施例中提供的手术流程和手术器械联合检测方法、介质及电子设备具有以下有益效果：
[0015]所述联合检测方法采用双任务同时识别手术器械和手术流程，在此过程中能够充分考虑手术流程以及手术器械之间的相关性，因而具有较高的精确度。
[0016]此外，所述联合检测方法利用两阶段网络，从图像域和时间域分别进行特征提取和融合，可以进一步提升手术流程以及手术器械检测的精确度，并且识别结果具有良好的鲁棒性。
[0017]再者，所述联合检测方法中采用的时间域信息融合网络可以使用条形注意力因果掩膜，该条形因果掩码使得后发生的视频图像不会用于预测先前视频图像的手术流程和手术器械，因而能够适用于实时预测。
[0018]进一步地，所述联合检测方法所采用的信息融合网络在训练过程中可以采用约束机制，有利于进一步提升手术流程以及手术器械检测的精确度。
附图说明
[0019]图1显示为本专利技术所述联合检测方法于一具体实施例中的流程图。
[0020]图2A显示为本专利技术所述联合检测方法于一具体实施例中时间域信息融合网络的局部结构示意图。
[0021]图2B显示为本专利技术所述联合检测方法于一具体实施例中注意力因果掩膜的示意图。
[0022]图3A显示为本专利技术所述联合检测方法于一具体实施例中图像特征提取网络的训练方法流程图。
[0023]图3B显示为本专利技术所述联合检测方法于一具体实施例中图像特征提取网络的测试方法流程图。
[0024]图4显示为本专利技术所述联合检测方法于一具体实施例中时间域信息融合网络的训练方法流程图。
[0025]图5显示为本专利技术所述电子设备于一具体实施例中的结构示意图。
[0026]元件标号说明
[0027]500
ꢀꢀꢀꢀꢀꢀꢀꢀ
电子设备
[0028]510
ꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
[0029]520
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0030]530
ꢀꢀꢀꢀꢀꢀꢀꢀ
显示器
[0031]S11～S13
ꢀꢀꢀ
步骤
[0032]S31a～S34a 步骤
[0033]S31b～S33b 步骤
[0034]S41～S43
ꢀꢀꢀ
步骤
具体实施方式
[0035]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0036]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，图示中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的手术流程和手术器械联合检测方法，其特征在于，所述联合检测方法包括：获取手术视频；利用图像特征提取网络对所述手术视频进行处理以获取手术视频的图像域特征；利用时间域信息融合网络将所述手术视频的图像域特征与时间域特征相融合并检测手术流程和手术器械。2.根据权利要求1所述的联合检测方法，其特征在于，对于所述手术视频中的一帧手术图像：获取该帧手术图像的图像域特征包括：利用所述图像特征提取网络对该帧手术图像进行处理以获取该帧手术图像的图像域特征；检测该帧手术图像的手术流程和手术器械包括：利用时间域信息融合网络对该帧手术图像的图像域特征及其之前若干帧手术图像的图像域特征进行处理，以实现该帧手术图像的图像域特征与时间域特征的融合并检测该帧手术图像的手术流程和手术器械。3.根据权利要求2所述的联合检测方法，其特征在于，所述时间域信息融合网络采用条形注意力因果掩膜。4.根据权利要求1至3任一项所述的联合检测方法，其特征在于，所述图像特征提取网络的训练方法包括：构建所述图像特征提取网络；获取训练视频，所述训练视频包括多帧训练图像；对所述训练图像进行预处理；利用预处理后的所述训练图像对所述图像特征提取网络进行训练。5.根据权利要求4所述的联合检测方法，其特征在于，所述图像特征提取网络的训练方法还括：获取测试图像；采用中心裁剪...

【专利技术属性】
技术研发人员：陶蓉，郑国焱，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：