【技术实现步骤摘要】
本专利技术涉及医学图像识别领域，特别是涉及一种内窥镜手术动作的识别方法、系统及存储介质。
技术介绍
1、自从第一台腹腔镜胆囊切除术成功以来，微创手术凭借其手术创口小、术中出血少、术后恢复快和患者疼痛轻等优点，已经成为外科领域内的通用手术选择。伴随着机器人技术的不断发展，以达芬奇手术机器人为代表的手术设备继承了微创手术所具有的优点，更体现出超越前者的优越性。手术机器人内部集成了超高清的3d内窥镜，极大地便利了医生执行手术时对组织的清晰定位和对手术过程的准确把握，机器人的手臂尖端具有比人手更高的自由度，极大地增加了操作的灵活性，提高了手术动作的精准度。为了及时处理和应对手术中的各种情况，手术机器人需要准确识别手术中的各种关键元素，例如手术器械、手术动作、手术目标等。手术器械是医生和手术机器人与患者交互的媒介，常见的手术器械包括抓取钳、剪刀、钩子、双极钳等；手术动作是整个手术过程中的基础单元，一般用动词表示，例如牵拉、抓取、剖开等；手术目标取决于所执行手术的类别，以腹腔镜胆囊切除术为例，常见的手术目标包括胆囊、胆管、胆动脉等。而手术器械、手术...
【技术保护点】
1.一种内窥镜手术的动作识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种内窥镜手术的动作识别方法，其特征在于，提取内窥镜手术视频图像的不同层次的特征图，对于每一层的特征：
3.根据权利要求1所述的一种内窥镜手术的动作识别方法，其特征在于，手术动作组元特征包括器械特征FI、组织特征FT和动作特征FV，低级视觉特征记为F1，F2，高级语义特征记为F3，Fs，将低级视觉特征、高级语义特征与组元特征融合，具体为：器械特征FI、组织特征FT与较低层级特征F1，F2特征融合，动作特征FV与F3、Fs特征融合。
4.根据权利要求...
【技术特征摘要】
1.一种内窥镜手术的动作识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种内窥镜手术的动作识别方法，其特征在于，提取内窥镜手术视频图像的不同层次的特征图，对于每一层的特征：
3.根据权利要求1所述的一种内窥镜手术的动作识别方法，其特征在于，手术动作组元特征包括器械特征fi、组织特征ft和动作特征fv，低级视觉特征记为f1，f2，高级语义特征记为f3，fs，将低级视觉特征、高级语义特征与组元特征融合，具体为：器械特征fi、组织特征ft与较低层级特征f1，f2特征融合，动作特征fv与f3、fs特征融合。
4.根据权利要求1所述的一种内窥镜手术的动作识别方法，其特征在于，在步骤四中，基于三元组特征fivt，获得关于时间特征的询问向量嵌入q，键值向量嵌入k，值向量嵌入v，q＝fivtuq,k＝fivtuk,v＝fivtuv，q，k，v通过标准自注意力层获得新的嵌入表示显著性得分s＝[s1,s2,…sn]t＝tanh (kus)，其中uq,uk,uv,us都为学习的矩阵，使用softmax层计算采样概率根据余弦相似度匹配键值嵌入通过平均池化层合并fivt，获得的时间特征fivt,t与fivt进行残差连接，获得时空融合特征fivt,st。<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。