【技术实现步骤摘要】
本专利技术属于人工智能辅助手术领域，更具体地，涉及一种囊管自动标记方法、系统、终端设备及储存介质。
技术介绍
1、由于具有发病率和死亡率低、疼痛少、伤口感染少、住院时间短等优点，微创手术已逐渐取代开放手术，成为许多重要外科手术的主流。在过去的十年里，机器人辅助微创手术(ramis)因其比普通微创手术更灵巧和高效而受到欢迎。大多数ramis系统使用机器人驱动的手术设备，这些设备仍由外科医生远程操作。对如何实现自主ramis的探索已经引起了广泛的关注，这就要求在手术过程中更深入地了解患者体内的情况，即手术场景感知。
2、由于腹腔镜提供的视觉信息，天然具有视场有限、视角多变、视野模糊等问题，加之患者体内场景高度复杂，导致各部分组织难以区分，故而会带来手术操作失误几率上升，引起一些术后并发症。针对这个问题，在进行手术时需要一些智能手术辅助方法，把场景中的标志组织标记出来，从而提供操作预警。
3、所述对标志组织进行标记的方法包括人为标记和自动标签生成，以关键的标志组织-囊管为例，辨识难度很大，人为标识方法为临床上采取荧光染色的方法辅助医生分辨囊管；而关于自动标签生成的方法中，主要分为三类方法：标签迁移、主动学习、模仿标记；其中，标签迁移方式主要用于简单的视觉任务，即模型已经在这类任务上检测效果很成熟，再根据一些监督样本做微调，就可以将检测结果作为标记。在此之上，还有主动学习方法，即为对生成的标签进行筛选，对不确定高的标签再人工标记。除了这两类主流的方法，还有一类就是模仿标签制作的过程的方法。比如，已知医生读患者病例
4、对于人为标识方法这种高难度的视觉任务，就需要大量样本来训练模型，训练样本获取是非常困难的。一方面在于人为标记的困难，组织辨识难度大，而且存在标记不确定，另一方面是有效样本在整个手术流程中的数量有限。而关于自动标签生成方法，受到了缺少监督样本和有效的特征提取器的限制，而且患者体内场景高度复杂，导致各部分组织难以区分，造成目标描述困难，因而自动标签生成方法的应用需要克服较多困难。
技术实现思路
1、针对现有技术的以上缺陷或改进需求，本专利技术提供一种囊管自动标记方法，通过模仿人工标记组织的过程,根据完全暴露状态下的囊管,通过逐帧跟踪推理的方式,获取其它场景的囊管信息，摆脱了依赖大量标记数据集和依赖基于深度网络的特征提取器，解决了自动标签生成过程中受到缺少监督样本和有效的特征提取器的限制的问题。
2、为了实现上述目的，本专利技术提供如下技术方案：
3、第一方面，本专利技术提供一种囊管自动标记方法，包括以下步骤：
4、s100、手术影像视频分析：通过手术影像视频分析人工标记囊管的过程，通过倒放视频，从囊管完全暴露的状态逐步往回标记直到初始形态，并在这个过程中分析视频中各个因素的关系；
5、s200、构建时空异构图：根据逆向解剖过程中不同因素的关系，将手术场景抽象为具有多个节点的异构图，并通过在每个时间步通过相同节点串联异构图，将解剖过程建模为时间异构图；
6、s300、提取可解释特征：于复杂手术场景中排除噪声干扰提取出每个节点的可解释特征作为其属性；
7、s400、动态信息传递：将所述时空异构图作为输入，并采用htgnn模型的信息聚合，从而得到时空异构图的特征与囊管属性的时空嵌入；
8、s500、目标组织参数回归：根据s400动态信息传递步骤中得到的囊管属性的时空嵌入，从而获得囊管的表征属性用于标记囊管；
9、进一步的，在s100步骤中，所述各个因素的关系包括手术器械和暴露出的囊管组织之间存在的动态交互关系；
10、当发生手术器械与覆盖在囊管上的粘结组织的相互作用时囊管经常被器械遮挡的空间拓扑关系以及时间动态因素；
11、进一步的，在s200步骤中，所述时间异构图具有的节点包括器械tool,解剖操作int，暴露囊管组织oa和整体囊管结构ga；
12、进一步的，在s200步骤中，所述时间异构图与节点映射为目标节点集{vga,vins,via,voa}，边类型映射为边类型集{eia→ins,eia→oa,eoa→ga,eins→ga}，用于传递空间拓扑关系；
13、进一步的，所述步骤s300中，提取可解释特征包括：
14、s301、视频切片抽帧并转化为图片数据集；
15、s302、语义分割模型maskr-cnn对视频帧进行处理，以分割物体；
16、s303、对分割物体进行后处理，包括人工标记初始化囊管；
17、s304、提取经过后处理的物体可解释特征；
18、进一步的，在s304步骤中，所述可解释特征包括ga的位置、姿态和尺寸；tool的位置、朝向和深度；oa的位置和尺寸以及器械与解剖结构交互的接触状态和接触点；
19、进一步的，在s304步骤中，所述可解释特征的获取方法包括：
20、ga抽象椭圆等价二维高斯分布的原点、特征值和特征向量；oa的region ofinterest中心和覆盖区域；tool的region of interest中心和经过hough transform后的轮廓变化和轮廓夹角；tool和oa的位置及region of interest中心；
21、进一步的，在s400步骤中，所述信息聚合包括步骤：
22、s403、将不同节点类型的特征空间投射到同一空间；
23、s404、根据via的信息更新voa和vins的信息；
24、s405、根据更新后的voa和vins信息推理vga信息；
25、进一步的，所述s404步骤，根据via的信息更新voa和vins的信息，即：
26、
27、其中,为时间步t时的节点类型集表示u为时间步t时的节点类型集的节点；为节点u在时间步t与上一层的嵌入；为经过更新的节点v在时间步t时最后一层的嵌入，且θir为可训练参数；aggir为信息聚合函数，当为第一层即l＝1时，aggir取异构信息处理步骤的输出作为输入；
28、进一步的，所述s404步骤，采用自注意力机制为每个节点分配一个反映其重要性的权重系数，权重系数的获得方法为：
29、
30、其中，为时间步t时l层的节点的权重系数；σ(·)为leakyrelu激活函数；wt,l为可训练变换矩阵，其属于包含d行和d列的实数矩阵，其中d为超参数；at,l为注意力向量，其属于d维实数向量，其中，d为超参数；‖·为连接函数，其连接向量；
31、进一步的，所述s405步骤，根据更新后的voa和vins信息推理vga信息，即：
32、
33、其中，为通过帧内信息聚合已获得的u节点的嵌入；为所述异构图上的节点集<tool,ga,oa>；u为内的本文档来自技高网...
【技术保护点】
1.一种囊管自动标记方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种囊管自动标记方法，其特征在于，在S100步骤中，所述各个因素的关系包括手术器械和暴露出的囊管组织之间存在的动态交互关系；
3.根据权利要求1所述的一种囊管自动标记方法，其特征在于，在S200步骤中，所述时间异构图具有的节点包括器械Tool,解剖操作Int，暴露囊管组织OA和整体囊管结构GA。
4.根据权利要求3所述的一种囊管自动标记方法，其特征在于，在S200步骤中，所述时间异构图与节点映射为目标节点集{vga,vins,via,voa}，边类型映射为边类型集{eia→ins,eia→oa,eoa→ga,eins→ga}，用于传递空间拓扑关系。
5.根据权利要求1-4中任一项所述的一种囊管自动标记方法，其特征在于，所述步骤S300中，提取可解释特征包括：
6.根据权利要求5所述的一种囊管自动标记方法，其特征在于，在S304步骤中，所述可解释特征包括GA的位置、姿态和尺寸；Tool的位置、朝向和深度；OA的位置和尺寸以及器械与解剖结构交互的接
7.根据权利要求6所述的一种囊管自动标记方法，其特征在于，在S304步骤中，所述可解释特征的获取方法包括：
8.根据权利要求1-4中任一项所述的一种囊管自动标记方法，其特征在于，在S400步骤中，所述信息聚合包括步骤：
9.根据权利要求8所述的一种囊管自动标记方法，其特征在于，所述S404步骤，根据via的信息更新voa和vins的信息，即：
10.根据权利要求9所述的一种囊管自动标记方法，其特征在于，所述S404步骤，采用自注意力机制为每个节点分配一个反映其重要性的权重系数，权重系数的获得方法为：
11.根据权利要求8所述的一种囊管自动标记方法，其特征在于，所述S405步骤，根据更新后的voa和vins信息推理vga信息，即：
12.根据权利要求1-4中任一项所述的一种囊管自动标记方法，其特征在于，在S500步骤中，所述囊管的表征属性即目标组织回归参数δ{δx，δy，δa，δb，δθ}为：
13.一种囊管自动标记系统，其特征在于，包括：
14.一种终端设备，其特征在于，包括：
15.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-12中任一项所述的囊管自动标记方法的步骤。
...【技术特征摘要】
1.一种囊管自动标记方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种囊管自动标记方法，其特征在于，在s100步骤中，所述各个因素的关系包括手术器械和暴露出的囊管组织之间存在的动态交互关系；
3.根据权利要求1所述的一种囊管自动标记方法，其特征在于，在s200步骤中，所述时间异构图具有的节点包括器械tool,解剖操作int，暴露囊管组织oa和整体囊管结构ga。
4.根据权利要求3所述的一种囊管自动标记方法，其特征在于，在s200步骤中，所述时间异构图与节点映射为目标节点集{vga,vins,via,voa}，边类型映射为边类型集{eia→ins,eia→oa,eoa→ga,eins→ga}，用于传递空间拓扑关系。
5.根据权利要求1-4中任一项所述的一种囊管自动标记方法，其特征在于，所述步骤s300中，提取可解释特征包括：
6.根据权利要求5所述的一种囊管自动标记方法，其特征在于，在s304步骤中，所述可解释特征包括ga的位置、姿态和尺寸；tool的位置、朝向和深度；oa的位置和尺寸以及器械与解剖结构交互的接触状态和接触点。
7.根据权利要求6所述的一种囊管自动标记方法，其特征在...
【专利技术属性】
技术研发人员：赵欢，汪一苇，张洁，蔡雄，朱凌松，李宇洁，万赤丹，丁汉，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。