一种微创手术中器械操作的前向轨迹预测方法及设备技术

本发明专利技术属于医疗器械控制技术领域，并具体公开了一种微创手术中器械操作的前向轨迹预测方法及设备。包括：获取二维图像坐标系中手术器械的运动轨迹；分析器械动作的运动模式，将运动轨迹转换至二维极坐标系中，将动作中连续的器械运动轨迹拆分为离散的运动基元；采用高斯混合模型建立距离基元，采用器械姿态辨识确定尖端朝向；采用自适应模式辨识在线更新距离基元参数，采用运动方向自回归在线预测尖端朝向的方向偏差；采用高斯混合回归在线预测器械前进距离，采用多运动基元内加权，在线修正器械前进方向；将预测的前进距离和前进方向进行融合，以获取器械运动在图像中前进轨迹的预测结果。本发明专利技术无需依赖大批标注数据集、鲁棒性高、泛化能力强。泛化能力强。泛化能力强。

【技术实现步骤摘要】
一种微创手术中器械操作的前向轨迹预测方法及设备


[0001]本专利技术属于医疗器械控制
，更具体地，涉及一种微创手术中器械操作的前向轨迹预测方法及设备。

技术介绍

[0002]由于具有发病率和死亡率低、疼痛少、伤口感染少、住院时间短等优点，微创手术已逐渐取代开放手术，成为许多重要外科手术的主流。在过去的十年里，机器人辅助微创手术(RAMIS)因其比普通微创手术更灵巧和高效而受到欢迎。大多数RAMIS系统使用机器人驱动的手术设备，这些设备仍由外科医生远程操作。对如何实现自主RAMIS的探索已经引起了广泛的关注，这就要求在手术过程中更深入地了解情况，即手术情境感知。手术情境感知集成了：1.手术工作流程识别
‑
感知和理解当前状态；2.手术工作流程预测
‑
预测未来状态。
[0003]在以前的研究中，手术工作流程的粒度从粗到细排列为阶段、步骤和动作。遵循这一概念，最新发表的关于手术态势感知的著作侧重于现有的粒度级别。手术情景感知中的通用理念是，更细粒度的手术工作流程分析，能提供更有效的临床信息。因此，对细粒度的动作层级的分析需要进一步挖掘。此外，现有研究基本集中于分析和理解当前手术流程，或者回顾分析历史流程。虑及手术流程复杂，不确定性高，对手术流程中未来状态的预测是仍待探索的领域。
[0004]另一方面，迄今为止，端到端方法被广泛地应用于手术情境感知中，并取得了显著成效。然而，在临床应用中仍存在以下障碍。一方面，端到端方法在体内场景中表现出有限的准确性和稳健性。过程的复杂性、情况的差异性和体内影像的hard
‑
frame特性干扰了深度网络提取有效的特征；由于收集和注释的困难造成可用样本的缺乏，使得端到端训练容易出现过拟合。另一方面，对于粗粒度的成分—阶段和步骤，端到端识别有很好的效果。然而，对于细粒度的组分，任何轻微的扰动都会大大改变深度网络的性能。因此，通过端到端训练来学习隐含的识别和预测功能是非常具有挑战性的。此外，端到端方法主要关注性能而忽略了可解释性，这导致了算法和外科医生之间的语义gap。
[0005]综上所述，在真实手术的场景感知中，仍存在以下几点问题：(1)对细粒度的动作层面的分析仍需进一步挖掘；(2)缺少对手术工作流程中未来状态的预测；(3)手术情境感知算法的可解释性差。

技术实现思路

[0006]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种微创手术中器械操作的前向轨迹预测方法及设备，针对当前腹腔镜胆囊切除手术的细粒度组分—动作层级，进行手术流程的未来状态预测，即为在单次手术操作的初期，对手术操作的未来状态进行预测。具体的，提取器械在二维图像坐标系中的运动轨迹，并将其转换到二维极坐标系中，以器械运动的起始点作为远点，以实现操作起始点对齐。随后在极坐标系中，分别建立器械的离线运动距离和方向的基元模型，以表征复杂的运动轨迹模式，同时，针对在线运动考虑到多次
操作的运动轨迹存在差异，本申请提出自适应模式辨识(APR)的方法，根据器械的后向轨迹提供的后向距离与后向方向，设计离线基元模型与在线后向轨迹的误差修正方案。针对前向距离，采用APR
‑
GMM来修正距离基元模型；针对前向方向，采用APR
‑
PE动态修正前向方向模型。最终实现对运动基元模型参数的在线更新。
[0007]为实现上述目的，按照本专利技术的一个方面，提出了一种微创手术中器械操作的前向轨迹预测方法，包括以下步骤：
[0008]S1：获取二维图像坐标系中手术器械的运动轨迹；
[0009]S2：通过分析器械动作的运动模式，将所述运动轨迹转换至二维极坐标系中，进而将动作中连续的器械运动轨迹拆分为离散的运动基元；
[0010]S3：基于所述运动基元，采用高斯混合模型建立距离基元，采用器械姿态辨识确定器械尖端朝向；
[0011]S4：采用自适应模式辨识在线更新距离基元参数，采用运动方向自回归在线预测器械尖端朝向的方向偏差；
[0012]S5：基于所述更新的距离基元参数，采用高斯混合回归在线预测器械前进距离，采用多运动基元内加权，在线修正器械前进方向；
[0013]S6：将预测的前进距离和前进方向进行融合，以获取器械运动在图像中前进轨迹的预测结果。
[0014]作为进一步优选的，步骤S1中，采用YOLO目标检测算法提取二维图像坐标系中手术器械的运动轨迹。
[0015]作为进一步优选的，步骤S2中，所述将所述运动轨迹转换至二维极坐标系中包括：以器械操作的起始点作为极坐标系的原点，以器械的运动距离的变化来反映各个基元在操作速度上的差异，以器械的运动方向的变化来反映各个基元在操作角度上的差异。
[0016]作为进一步优选的，步骤S3中，采用高斯混合模型来表示运动基元，即将高斯核与运动基元进行匹配，以编码器械的执行距离，从而建立距离基元，其中，高斯混合模型的概率密度函数表示为：
[0017][0018][0019]f
k
(r
t
)＝N(r
t
|μ
k
,Σ
k
)
[0020]式中，π
k
为第k个高斯分量的系数，f
k
(r
t
)表示高斯混合模型的kth核，r
t
为在时间t时刻的运动距离，μ
k
为第k个高斯核的均值。
[0021]优选的，根据器械的姿态推断器械的方向，以器械主体、尖端作为目标，采用目标检测模型YOLO_v5得到器械主体与尖端的bounding box，分别以bounding box中心作为器械左端、右端和左右端连接中心在图像帧上的位置，此时，器械方向的矢量表示为：
[0022][0023]在t时，器械方向的估计角度是：
[0024][0025]式中，为器械方向的矢量，为左右端连接中心到器械右端的矢量，为左右端连接中心到器械左端的矢量。
[0026]作为进一步优选的，步骤S4中，所述采用自适应模式辨识在线更新距离基元参数包括：
[0027]将高斯混合模型的k
th
核进行离线训练参数化，得到以作为初始条件，每个核的平移向量和的旋转矩阵表示为适应性基元参数，k
th
基元的起始点定义为从上一个基元到当前基元的切换点，表示为sp
k
，对初始的进行参数，计算t时刻修正后的距离基元模型
[0028]作为进一步优选的，所述t时刻修正后的距离基元模型包括：
[0029][0030][0031][0032]其中，是k
th
基元的更新起始点，μ
k,0
是第k个高斯核在t＝0时刻的的均值，π
k
是第k个高斯核的权重，Σ
k,t
是第k个高斯核在t时刻的的方差；
[0033]自适应基元参数的计算方法包括：
[0034][0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种微创手术中器械操作的前向轨迹预测方法，其特征在于，包括以下步骤：S1：获取手上影像中二维图像坐标系中手术器械的运动轨迹；S2：通过分析器械动作的运动模式，将所述运动轨迹转换至二维极坐标系中，进而将动作中连续的器械运动轨迹拆分为离散的运动基元；S3：基于所述运动基元，采用高斯混合模型建立距离基元，采用器械姿态辨识确定器械尖端朝向；S4：采用自适应模式辨识在线更新距离基元参数，采用运动方向自回归在线预测器械尖端朝向的方向偏差；S5：基于所述更新的距离基元参数，采用高斯混合回归在线预测器械前进距离，采用多运动基元内加权，在线修正器械前进方向；S6：将预测的前进距离和前进方向进行融合，以获取器械运动在图像中前进轨迹的预测结果。2.根据权利要求1所述的一种微创手术中器械操作的前向轨迹预测方法，其特征在于，步骤S1中，采用YOLO目标检测算法提取二维图像坐标系中手术器械的运动轨迹。3.根据权利要求1所述的一种微创手术中器械操作的前向轨迹预测方法，其特征在于，步骤S2中，所述将所述运动轨迹转换至二维极坐标系中包括：以器械操作的起始点作为极坐标系的原点，以器械的运动距离的变化来反映各个基元在操作速度上的差异，以器械的运动方向的变化来反映各个基元在操作角度上的差异。4.根据权利要求1所述的一种微创手术中器械操作的前向轨迹预测方法，其特征在于，步骤S3中，采用高斯混合模型来表示运动基元，即将高斯核与运动基元进行匹配，以编码器械的执行距离，从而建立距离基元，其中，高斯混合模型的概率密度函数表示为：械的执行距离，从而建立距离基元，其中，高斯混合模型的概率密度函数表示为：f
k
(r
t
)＝N(r
t
|μ
k
,Σ
k
)式中，π
k
为第k个高斯分量的系数，f
k
(r
t
)表示高斯混合模型的k
th
核，r
t
为在时间t时刻的运动距离，μ
k
为第k个高斯核的均值。根据器械的姿态推断器械的方向，以器械主体、尖端作为目标，采用目标检测模型YOLO_v5得到器械主体与尖端的bounding box，分别以bounding box中心作为器械左端、右端和左右端连接中心在图像帧上的位置，此时，器械方向的矢量表示为：在t时，器械方向的估计角度是：式中，为器械方向的矢量，为左右端连接中心到器械右端的矢量，为左右
端连接中心到器械左端的矢量。5.根据权利要求1所述的一种微创手术中器械操作的前向轨迹预测方法，其特征在于，步骤S4中，所述采用自适应模式辨识在线更新距离基元参数包括：将高斯混合模型的k
th
核进行离线训练参数化，得到...

【专利技术属性】
技术研发人员：赵欢，汪一苇，蔡雄，张洁，万赤丹，孙释然，丁汉，
申请(专利权)人：华中科技大学同济医学院附属协和医院，
类型：发明
国别省市：