一种腹腔镜手术阶段的图像识别方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种腹腔镜手术阶段的图像识别方法、装置及存储介质，方法包括：首先获取实时手术视频流，在所述实时手术视频流中截取关键帧图像；接着将每张所述关键帧图像划分为多个图像块；然后对所述多个图像块进行时空位置编码得到时间维度向量和空间维度向量；最后将所述时间维度向量和空间维度向量输入手术阶段识别模型得到手术阶段识别结果。本发明专利技术实现了对腹腔镜手术阶段的精准识别，并且可以应对复杂多阶段的腹腔镜手术阶段的图像识别，效率高且准确率高，可广泛应用于智慧医疗技术领域。域。域。

【技术实现步骤摘要】
一种腹腔镜手术阶段的图像识别方法、装置及存储介质


[0001]本专利技术的实施方式涉及智慧医疗
，更具体地，本专利技术的实施方式涉及腹腔镜手术阶段的图像识别方法、装置及存储介质。

技术介绍

[0002]在计算机辅助手术领域，外科手术工作流程识别是一个重要的课题，自动化的手术工作流程识别可以解释当前正在进行的具体活动，并且有利于手术程序标准化。随着深度学习在医学领域的应用，近年来已提出利用卷积神经网络来提取手术视频中更多的视觉信息来识别手术阶段。鉴于手术视频实际上是序列数据，为了应对这些挑战，许多研究致力于先从视频帧中提取具有区别性的视觉特征后，对帧之间的时间依赖性进行建模以提高识别精度。然而基于卷积神经网络的自动手术阶段方法，受限于卷积操作本身固有的平移不变性和只能感受局部信息，在视频理解领域不能达到系统所需求的准确区分手术阶段的要求。且现有手术阶段识别方法针对的是简单的手术阶段较少的腹腔镜胆囊切除术，对于复杂地、多阶段腹腔镜手术，其识别效率和准确性都大大降低。

技术实现思路

[0003]鉴于现有技术存在上述问题，本公开的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种腹腔镜手术阶段的图像识别方法，其特征在于，包括：获取实时手术视频流，在所述实时手术视频流中截取关键帧图像；将每张所述关键帧图像划分为多个图像块；对所述多个图像块进行时空位置编码得到时间维度向量和空间维度向量；将所述时间维度向量和空间维度向量输入手术阶段识别模型得到手术阶段识别结果。2.根据权利要求1所述的腹腔镜手术阶段的图像识别方法，其特征在于，所述对所述多个图像块进行时空位置编码得到时间维度向量和空间维度向量，包括：将所述多个图像块利用时间注意力机制进行编码得到时间维度向量；将所述多个图像块利用空间注意力机制进行编码得到空间维度向量。3.根据权利要求1所述的腹腔镜手术阶段的图像识别方法，其特征在于，所述将所述时间维度向量和空间维度向量输入手术阶段识别模型得到手术阶段识别结果，包括：将所述时间维度向量和空间维度向量输入基于transformer模型的手术阶段识别模型；经过基于transformer模型的手术阶段识别模型计算得到手术阶段识别结果。4.根据权利要求3所述的腹腔镜手术阶段的图像识别方法，其特征在于，所述经过基于transformer模型的手术阶段识别模型计算得到手术阶段识别结果，包括：根据所述时间维度向量计算得到当前图像块和相邻时间上图像块的关联信息；根据所述空间维度向量计算得到当前图像块和相邻空间上图像块的关联信息；将所述当前图像块和相邻空间上图像块的关联信息与当前图像块和相邻时间上图像块的关联信息进行拼接得到transformer模型的最终注意力层的输出结果；将最终注意力层的输出结果输入线性层得到手术阶段识别结果。5.根据权利要求4所述的腹腔镜手术阶段的图像识别方法，其特征在于，所述根据所述时间维度向量计算得到当前图像块和相邻时间上图像块的关联信息，包括：根据所述时间维度向量计算transformer模型中注意力机制的query向量、key向量和value向量，所述query向量、key向量和value向量用于表征不同时刻同一位置的图像前后帧之间的关系，所述query向量、key向量和value向量的表达式为：其中，q为query向量，k为key向量，v为value向量;表示l
‑
1层网络在位置p和时间t帧的输出，即第l层的输入，LN表示线性层，a...

【专利技术属性】
技术研发人员：陈豪，李国新，余江，陈浩彬，苟龙飞，陈翊，闫滕，
申请(专利权)人：南方医科大学南方医院，
类型：发明
国别省市：