【技术实现步骤摘要】
本专利技术属于医学信息处理，涉及基于特征提取和任务分割的腹腔镜手术全粒度识别系统及方法。
技术介绍
1、手术场景包括手术器械、患者组织等的状态位置等位置信息，也包括医生的手术行为等动作信息。理解术中的实时手术场景，可以赋予手术机器人智能，使其感知手术场景信息，进而做出下一步行为决策，也可以帮助医生学习手术流程、优化手术质量、预测手术潜在风险。
2、手术场景理解按照粒度级别由粗到细可以具体划分为手术阶段识别，手术步骤识别，手术动作三元体识别，手术场景分割四种。现有的手术场景理解方法往往只能识别出一种粒度，如只能识别出手术步骤或者只能分割出手术场景。如果想要识别出所有的四种粒度，需要构建4个深度学习模型分别识别单一粒度的手术场景，然后再组合到一起。多个深度学习模型会占有大量的计算资源，而且任务之间是独立的，无法互相利用加强，严重阻碍了智能算法在外科手术上的应用进程。
技术实现思路
1、本专利技术的目的是解决现有技术中的问题，提供一种基于特征提取和任务分割的腹腔镜手术全粒度识别系统及...
【技术保护点】
1.基于特征提取和任务分割的腹腔镜手术全粒度识别系统，其特征在于：该系统由多帧空间特征提取模块、单帧特征还原模块、多帧时间特征融合模块组成；其中，多帧空间特征提取模块用于对输入的多帧图像组成的内窥镜视频流提取每帧图像的空间特征；单帧特征还原模块用于将单帧的空间特征通过上采样还原至原始图像尺寸并产生手术场景分割标签；多帧时间特征融合模块用于从多帧空间特征中提取不同时间长度的时间特征，并进行融合，输出手术阶段、手术步骤以及手术三元体的标签；所述多帧空间特征提取模块和单帧特征还原模块采用编码器-解码器形式的图像分割深度学习模型。
2.根据权利要求1所述的基于特征...
【技术特征摘要】
1.基于特征提取和任务分割的腹腔镜手术全粒度识别系统，其特征在于：该系统由多帧空间特征提取模块、单帧特征还原模块、多帧时间特征融合模块组成；其中，多帧空间特征提取模块用于对输入的多帧图像组成的内窥镜视频流提取每帧图像的空间特征；单帧特征还原模块用于将单帧的空间特征通过上采样还原至原始图像尺寸并产生手术场景分割标签；多帧时间特征融合模块用于从多帧空间特征中提取不同时间长度的时间特征，并进行融合，输出手术阶段、手术步骤以及手术三元体的标签；所述多帧空间特征提取模块和单帧特征还原模块采用编码器-解码器形式的图像分割深度学习模型。
2.根据权利要求1所述的基于特征提取和任务分割的腹腔镜手术全粒度识别系统，其特征在于：所述图像分割深度学习模型的训练过程按照如下步骤进行：手术阶段识别任务的训练，以手术阶段的损失作为模型总的损失函数训练模型，直至手术阶段识别任务收敛；手术步骤识别任务的训练，以手术阶段和手术步骤的损失和作为模型总的损失函数训练模型，直至手术步骤识别任务收敛；手术三元体...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。