手术流程识别方法、装置、系统及计算机可读存储介质制造方法及图纸

本申请实施例公开了一种手术流程识别方法、装置、系统及计算机可读存储介质，属于计算机技术领域。在本申请实施例中，手术阶段分为多个主阶段，且存在主阶段包括子阶段，基于此，先参考手术视频中在第一图像之前已经历的手术阶段，确定第一图像所属的手术主阶段，如果识别出的手术主阶段还细分子阶段，再参考第一图像中存在的器械，确定第一图像所属的手术子阶段。可以看出，本方案通过粗识别和细识别相结合，且利于粗识别和细识别各自的特性，有效提高了手术流程识别的精细度和准确率。若在手术过程中进行手术流程识别，本方案能够为手术提供准确信息，有效减少手术失误，提高手术成功率。功率。功率。

【技术实现步骤摘要】
手术流程识别方法、装置、系统及计算机可读存储介质


[0001]本申请实施例涉及计算机
，特别涉及一种手术流程识别方法、装置、系统及计算机可读存储介质。

技术介绍

[0002]手术流程识别包括对手术视频进行手术阶段的分段和识别，手术流程识别对内窥镜手术具有非常重大的意义。在手术实施过程中，手术流程自动识别可以提醒医生注意并发症的发生，减少医生在手术中的操作失误，也可以为手术室外的临床工作人员提供相关手术进展的信息，为手术后续相关工作的安排也起到一个参考作用。在手术复盘或者规培阶段，手术流程识别可以方便医生以及实习生从手术视频中搜索特定的手术阶段。
[0003]以腹腔手术为例，腹腔镜手术的基本模式，是通过气腹制造腹腔内操作空间，医生通过监视器观察手术视野，使用各种长柄器械经腹壁通道伸入腹腔，进行分离、结扎、缝合等各种手术操作。腹腔镜手术中医生不能直接触摸腹内脏器，缺乏直接探查的手感，只能通过视频图像和器械间接感觉来判断。在腹腔镜手术过程中，通过手术流程自动识别为医生进行手术提供重要信息，可以减少手术失误，提高手术成功率。

技术实现思路

[0004]本申请实施例提供了一种手术流程识别方法、装置、系统及计算机可读存储介质，能够准确识别手术阶段，在手术过程中为医生进行手术提供准确的手术阶段信息，减少手术失误，提高手术成功率。所述技术方案如下：
[0005]一方面，提供了一种手术流程识别方法，所述方法包括：
[0006]获取手术视频中的第一图像；
[0007]根据所述第一图像对应的第一空间信息和历史阶段信息，确定所述第一图像所属的目标手术主阶段，所述目标手术主阶段为手术过程涉及的多个主阶段中的一个，所述历史阶段信息用于表征在采集所述第一图像之前经历的手术阶段，所述第一空间信息用于表征所述第一图像的语义特征；
[0008]在确定所述目标手术主阶段之后，根据所述第一图像对应的器械存在信息，确定所述第一图像所属的手术子阶段，所述器械存在信息用于表征所述第一图像中存在的器械，所述手术子阶段为所述目标手术主阶段包括的子阶段中的一个。
[0009]可选地，所述多个主阶段中至少一个主阶段包括子阶段，任一子阶段的图像具有对应的器械；
[0010]所述多个主阶段包括观察搜索阶段、术野暴露分离阶段、手术主体阶段、标本取出阶段、冲洗与引流阶段、关闭套管口阶段；
[0011]其中，所述手术主体阶段包括切除子阶段、结扎子阶段、吻合与钉合子阶段、缝合子阶段；
[0012]所述切除子阶段的图像对应的器械包括电刀类工具，所述结扎子阶段的图像对应
的器械包括血管夹和纱条类工具，所述吻合与钉合子阶段的图像对应的器械包括疝钉类工具，所述缝合子阶段的图像对应的器械包括缝合针和缝合线。
[0013]可选地，所述根据所述第一图像对应的第一空间信息和历史阶段信息，确定所述第一图像所属的第一手术阶段之前，包括：
[0014]将所述第一图像输入第一空间信息提取子模型，输出所述第一图像对应的第一空间信息，所述第一空间信息提取子模型为第一深度学习模型包括的一个子模型；
[0015]所述根据第一图像对应的第一空间信息和历史阶段信息，确定所述第一图像所属的目标手术主阶段，包括：
[0016]将所述第一图像对应的第一空间信息和历史阶段信息输入第一分类子模型，输出所述第一图像所属的目标手术主阶段，所述第一分类子模型为所述第一深度学习模型包括的一个子模型，所述第一深度学习模型包括所述第一空间信息提取子模型与所述第一分类子模型串联而成的一个分支；或者，
[0017]将所述第一图像对应的第一空间信息输入第一时序信息提取子模型，通过所述第一时序信息提取子模型对所述第一图像对应的第一空间信息和第一历史图像对应的空间信息进行处理，输出所述第一图像对应的第一时序信息，将所述第一图像对应的第一时序信息和历史阶段信息输入所述第一分类子模型，输出所述第一图像所属的目标手术主阶段，所述第一时序信息提取子模型为所述第一深度学习模型包括的一个子模型，所述第一深度学习模型包括所述第一空间信息提取子模型、所述第一时序信息提取子模型与所述第一分类子模型串联而成的一个分支；
[0018]其中，所述第一历史图像包括所述手术视频中在所述第一图像之前的图像，所述第一历史图像对应的空间信息基于所述第一空间信息提取子模型得到，所述第一时序信息用于表征从所述第一历史图像到所述第一图像的空间信息变化情况。
[0019]可选地，所述根据所述第一图像对应的第一空间信息和历史阶段信息，确定所述第一图像所属的目标手术主阶段之前，还包括：
[0020]将所述第一图像对应的第一空间信息输入第二分类子模型，通过所述第二分类子模型包括的全连接层输出所述第一图像对应的历史阶段信息，所述第二分类子模型为所述第一深度学习模型的一个子模型，所述第一深度学习模型还包括所述第一空间信息提取子模型与所述第二分类子模型串联而成的一个分支。
[0021]可选地，所述根据所述第一图像对应的器械存在信息，确定所述第一图像所属的手术子阶段之前，包括：
[0022]将所述第一图像输入第二空间信息提取子模型，输出所述第一图像对应的第二空间信息，所述第二空间信息提取子模型为第二深度学习模型的一个子模型；
[0023]所述根据所述第一图像对应的器械存在信息，确定所述第一图像所属的手术子阶段，包括：
[0024]将所述第一图像对应的第二空间信息和器械存在信息输入第三分类子模型，输出所述第一图像所属的手术子阶段，所述第三分类子模型为所述第二深度学习模型包括的一个子模型，所述第二深度学习模型包括所述第二空间信息提取子模型与所述第三分类子模型串联而成的一个分支；或者，
[0025]将所述第一图像对应的第二空间信息输入第二时序信息提取子模型，通过所述第
二时序信息提取子模型对所述第一图像对应的第二空间信息和第二历史图像对应的空间信息进行处理，输出所述第一图像对应的第二时序信息，将所述第一图像对应的第二时序信息和器械存在信息输入所述第三分类子模型，输出所述第一图像所属的手术子阶段，所述第二时序信息提取子模型为所述第二深度学习模型包括的一个子模型，所述第二深度学习模型包括所述第二空间信息提取子模型、所述第二时序信息提取子模型与所述第三分类子模型串联而成的一个分支；
[0026]其中，所述第二历史图像包括所述手术视频中在所述第一图像之前的图像，所述第二历史图像对应的空间信息基于所述第二空间信息提取子模型得到。
[0027]可选地，所述根据所述第一图像对应的器械存在信息，确定所述第一图像所属的手术子阶段之前，还包括：
[0028]将所述第一图像对应的第二空间信息输入第四分类子模型，通过所述第四分类子模型包括的全连接层输出所述第一图像对应的器械存在信息，所述第四分类子模型为所述第二深度学习模型的一个子模型，所述第二深度学习模型还包括所述第一空间信息提取子模型与所述第四分类子模型串联而成的一个分支。...

【技术保护点】

【技术特征摘要】
1.一种手术流程识别方法，其特征在于，所述方法包括：获取手术视频中的第一图像；根据所述第一图像对应的第一空间信息和历史阶段信息，确定所述第一图像所属的目标手术主阶段，所述目标手术主阶段为手术过程涉及的多个主阶段中的一个，所述历史阶段信息用于表征在采集所述第一图像之前经历的手术阶段，所述第一空间信息用于表征所述第一图像的语义特征；在确定所述目标手术主阶段之后，根据所述第一图像对应的器械存在信息，确定所述第一图像所属的手术子阶段，所述器械存在信息用于表征所述第一图像中存在的器械，所述手术子阶段为所述目标手术主阶段包括的子阶段中的一个。2.根据权利要求1所述的方法，其特征在于，所述多个主阶段中至少一个主阶段包括子阶段，任一子阶段具有对应的器械；所述多个主阶段包括观察搜索阶段、术野暴露分离阶段、手术主体阶段、标本取出阶段、冲洗与引流阶段、关闭套管口阶段；其中，所述手术主体阶段包括切除子阶段、结扎子阶段、吻合与钉合子阶段、缝合子阶段；所述切除子阶段对应的器械包括电刀类工具，所述结扎子阶段对应的器械包括血管夹和纱条类工具，所述吻合与钉合子阶段对应的器械包括疝钉类工具，所述缝合子阶段对应的器械包括缝合针和缝合线。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像对应的第一空间信息和历史阶段信息，确定所述第一图像所属的第一手术阶段之前，包括：将所述第一图像输入第一空间信息提取子模型，输出所述第一图像对应的第一空间信息，所述第一空间信息提取子模型为第一深度学习模型包括的一个子模型；所述根据第一图像对应的第一空间信息和历史阶段信息，确定所述第一图像所属的目标手术主阶段，包括：将所述第一图像对应的第一空间信息和历史阶段信息输入第一分类子模型，输出所述第一图像所属的目标手术主阶段，所述第一分类子模型为所述第一深度学习模型包括的一个子模型，所述第一深度学习模型包括所述第一空间信息提取子模型与所述第一分类子模型串联而成的一个分支；或者，将所述第一图像对应的第一空间信息输入第一时序信息提取子模型，通过所述第一时序信息提取子模型对所述第一图像对应的第一空间信息和第一历史图像对应的空间信息进行处理，输出所述第一图像对应的第一时序信息，将所述第一图像对应的第一时序信息和历史阶段信息输入所述第一分类子模型，输出所述第一图像所属的目标手术主阶段，所述第一时序信息提取子模型为所述第一深度学习模型包括的一个子模型，所述第一深度学习模型包括所述第一空间信息提取子模型、所述第一时序信息提取子模型与所述第一分类子模型串联而成的一个分支；其中，所述第一历史图像包括所述手术视频中在所述第一图像之前的图像，所述第一历史图像对应的空间信息基于所述第一空间信息提取子模型得到，所述第一时序信息用于表征从所述第一历史图像到所述第一图像的空间信息变化情况。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像对应的第一空间信
息和历史阶段信息，确定所述第一图像所属的目标手术主阶段之前，还包括：将所述第一图像对应的第一空间信息输入第二分类子模型，通过所述第二分类子模型包括的全连接层输出所述第一图像对应的历史阶段信息，所述第二分类子模型为所述第一深度学习模型的一个子模型，所述第一深度学习模型还包括所述第一空间信息提取子模型与所述第二分类子模型串联而成的一个分支。5.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像对应的器械存在信息，确定所述第一图像所属的手术子阶段之前，还包括：将所述第一图像输入第二空间信息提取子模型，输出所述第一图像对应的第二空间信息，所述第二空间信息提取子模型为第二深度学习模型的一个子模型；所述根据所述第一图像对应的器械存在信息，确定所述第一图像所属的手术子阶段，包括：将所述第一图像对应的第二空间信息和器械存在信息输入第三分类子模型，输出所述第一图像所属的手术子阶段，所述第三分类子模型为...

【专利技术属性】
技术研发人员：王亦菲，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：