一种手术流程的细粒度组分分析建模与辨识方法及设备技术

本发明专利技术属于医疗器械控制技术领域，并具体公开了一种手术流程的细粒度组分分析建模与辨识方法及设备。包括：采用模仿外科医生感知过程的分层辨识器实时辨识微创手术中关键操作；提取腹腔镜手术过程二维图像坐标系中手术器械的运动轨迹；将运动轨迹转换至二维极坐标系中，将连续器械运动分解为离散运动基元，建立运动基元模型；根据关键操作的实时位置与离线运动基元的一致度，在线更新运动基元的状态变量，从而实现手术操作内部细粒度基元在线辨识。本发明专利技术手术流中操作进一步分为关键操作和常规操作，通过模仿外科医生区分关键操作和常规操作的感知过程提出了一个分层辨识框架，实现对术中操作的进行高精度、高鲁棒性、高可解释性的实时辨识。释性的实时辨识。释性的实时辨识。

【技术实现步骤摘要】
一种手术流程的细粒度组分分析建模与辨识方法及设备


[0001]本专利技术属于医疗器械控制
，更具体地，涉及一种手术流程的细粒度组分分析建模与辨识方法及设备。

技术介绍

[0002]由于具有发病率和死亡率低、疼痛少、伤口感染少、住院时间短等优点，微创手术已逐渐取代开放手术，成为许多重要外科手术的主流。在过去的十年里，机器人辅助微创手术(RAMIS)因其比普通微创手术更灵巧和高效而受到欢迎。大多数RAMIS系统使用机器人驱动的手术设备，这些设备仍由外科医生远程操作。对如何实现自主RAMIS的探索已经引起了广泛的关注，这就要求在手术过程中更深入地了解情况，即手术流程分析。在以前的研究中，手术工作流程的粒度从粗到细排列为阶段、步骤和动作。遵循这一概念，最新发表的关于手术流程分析的研究侧重于现有的粒度级别。更细粒度的手术工作流程分析，能提供更有效的临床信息。但是，现有的手术流程研究粒度仅位于动作层面，更细粒度的流程分解仍需进一步探索。
[0003]另一方面，迄今为止，端到端方法被广泛地应用于手术流程分析中，并取得了显著成效。然而，在临床应用中仍存在以下障碍。一方面，端到端方法在体内场景中表现出有限的准确性和鲁棒性。过程的复杂性、情况的差异性和体内影像的hard
‑
frame特性干扰了深度网络提取有效的特征；由于收集和注释的困难造成可用样本的缺乏，使得端到端训练容易出现过拟合。另一方面，对于粗粒度的成分—阶段和步骤，端到端识别有很好的效果。然而，对于细粒度的组分，任何轻微的扰动都会大大改变深度网络的性能。因此，通过端到端训练来学习隐式的辨识功能是非常具有挑战性的。此外，端到端方法主要关注性能而忽略了可解释性，这导致了算法和外科医生之间的语义差距。
[0004]综上所述，在真实手术的流程分析中，仍存在以下几点问题：(1)在更细粒度的层面上对手术流程中器械动作的分析尚未进行；(2)手术组分分析的算法可解释性差。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本一种手术流程的细粒度组分分析建模与辨识方法及设备，其针对当前腹腔镜手术的细粒度组分—动作展开进一步拆分，通过分析外科医生动作的行为模式，将动作中连续的器械运动轨迹拆分为离散的运动基元。器械的运动轨迹由外科医生的操作产生，由于不同外科医生的操作习惯不同、多次操作的人体环境相异、多次操作的相机视角难以统一。因此，本专利技术提取器械在二维图像坐标系中的运动轨迹，并将其转换到二维极坐标系中，以器械运动的起始点作为原点，以实现操作起始点对齐，为挖掘器械轨迹模式提供便利。随后在极坐标系中，分别建立器械的运动距离的和方向的基元模型，以表征复杂的运动轨迹模式。以高斯混合模型建立离线的距离基元模型，以器械姿态辨识确定运动朝向，在线建立方向基元模型。至此，完成对手术操作内更细粒度的基元的分析、建模。在线执行手术操作的过程中，根据器械已产生的后向运动与基元模型的一
致度，来更新距离和方向基元的状态变量。自此，完成对器械运动基元模型的在线辨识。由于手术操作的运动基元来源于外科医生行为的拆解，使得整个建模与分析过程与外科医生的行为模式一一对应。从而提升了算法的透明度，增强了算法的可解释性，弥补外科医生与算法间的语义差距，具有更高的临床应用价值。
[0006]为实现上述目的，本专利技术提出了一种手术流程的细粒度组分分析建模与辨识方法，包括以下步骤：
[0007]S1基于视频流，采用模仿外科医生感知过程的分层辨识器实时辨识微创手术中关键操作；
[0008]S2提取腹腔镜手术过程二维图像坐标系中手术器械的运动轨迹；
[0009]S3将所述运动轨迹转换至二维极坐标系中，将连续器械运动分解为离散运动基元，并建立运动基元模型；
[0010]S4根据当前关键操作中，关键操作的实时位置与离线运动基元的一致度，在线更新运动基元的状态变量，从而实现手术操作内部细粒度基元在线辨识。
[0011]作为进一步优选的，所述分层辨识器包括依次连接的器械位置核密度模型、器械速度核密度模型、器械距离核密度模型、器械尖端状态的隐马尔可夫模型和环境特征检测模型。
[0012]作为进一步优选的，步骤S1中，对于能量器械，将能量器械作为主操作器械输入至分层辨识器，如果能同时满足分层辨识器中五个模型的辨识，则认为对应图像帧为关键帧，对应能量器械的操作为关键操作；
[0013]对于非能量器械，将非能量器械作为主操作器械输入至分层辨识器，如果能同时满足器械位置核密度模型、器械速度核密度模型、器械距离核密度模型、器械尖端状态的隐马尔可夫模型四个模型的辨识，则认为对应图像帧为关键帧，对应非能量器械的操作为关键操作。
[0014]作为进一步优选的，步骤S3具体包括以下步骤：
[0015]S31将图像坐标系中运动轨迹转换到二维极坐标系，将连续器械运动分解为离散运动基元；
[0016]S32基于运动基元的执行速度，采用高斯混合模型建立器械操作的距离基元模型，基于运动基元的执行方向，采用器械姿态辨识建立器械操作的方向基元模型。
[0017]作为进一步优选的，步骤S32中，基于运动基元的执行速度，采用高斯混合模型建立器械操作的距离基元模型包括：
[0018]将运动基元以高斯混合模型的形式呈现，其高斯核与基元匹配，以编码器械的执行距离，其中，高斯混合模型的密度函数为：
[0019][0020][0021]f
k
(r
t
)＝N(r
t
|μ
k
，∑
k
)
[0022]式中，π
k
为第k个高斯分量的系数，f
k
(r
t
)表示高斯混合模型的k
th
核，r
t
为在时间t
时刻的运动距离，μ
k
为第k个高斯核的均值。
[0023]作为进一步优选的，步骤S32中，基于运动基元的执行方向，采用器械姿态辨识建立器械操作的方向基元模型包括：
[0024]根据器械的姿态推断器械的方向，以器械主体、尖端作为目标，采用目标检测模型YOLO_v5得到器械主体与尖端的bounding box，分别以bounding box中心作为器械左端、右端和左右端连接中心在图像帧上的位置，此时，器械方向的适量表示为：
[0025][0026]在t时，器械方向的估计角度是：
[0027][0028]式中，为器械方向的矢量，为左右端连接中心到器械右端的矢量，为左右端连接中心到器械左端的矢量。
[0029]作为进一步优选的，所述在线更新运动基元的状态变量包括：
[0030]当一个关键动作开始时，关键操作的实时位置r
t
被存入成后向距离定义代表k
th
基元的初始起点，对于第一个基元的是PCS的原点，从未知轨迹的sp
k
来看，R
back
对一个单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手术流程的细粒度组分分析建模与辨识方法，其特征在于，包括以下步骤：S1基于视频流，采用模仿外科医生感知过程的分层辨识器实时辨识微创手术中关键操作；S2提取腹腔镜手术过程二维图像坐标系中手术器械的运动轨迹；S3将所述运动轨迹转换至二维极坐标系中，将连续器械运动分解为离散运动基元，并建立运动基元模型；S4根据当前关键操作中，关键操作的实时位置与离线运动基元的一致度，在线更新运动基元的状态变量，从而实现手术操作内部细粒度基元在线辨识。2.根据权利要求1所述的一种手术流程的细粒度组分分析建模与辨识方法，其特征在于，所述分层辨识器包括依次连接的器械位置核密度模型、器械速度核密度模型、器械距离核密度模型、器械尖端状态的隐马尔可夫模型和环境特征检测模型。3.根据权利要求2所述的一种手术流程的细粒度组分分析建模与辨识方法，其特征在于，步骤S1中，对于能量器械，将能量器械作为主操作器械输入至分层辨识器，如果能同时满足分层辨识器中五个模型的辨识，则认为对应图像帧为关键帧，对应能量器械的操作为关键操作；对于非能量器械，将非能量器械作为主操作器械输入至分层辨识器，如果能同时满足器械位置核密度模型、器械速度核密度模型、器械距离核密度模型、器械尖端状态的隐马尔可夫模型四个模型的辨识，则认为对应图像帧为关键帧，对应非能量器械的操作为关键操作。4.根据权利要求1所述的一种手术流程的细粒度组分分析建模与辨识方法，其特征在于，步骤S3具体包括以下步骤：S31将图像坐标系中运动轨迹转换到二维极坐标系，将连续器械运动分解为离散运动基元；S32基于运动基元的执行速度，采用高斯混合模型建立器械操作的距离基元模型，基于运动基元的执行方向，采用器械姿态辨识建立器械操作的方向基元模型。5.根据权利要求4所述的一种手术流程的细粒度组分分析建模与辨识方法，其特征在于，步骤S32中，基于运动基元的执行速度，采用高斯混合模型建立器械操作的距离基元模型包括：将运动基元以高斯混合模型的形式呈现，其高斯核与基元匹配，以编码器械的执行距离，其中，高斯混合模型的密度函数为：离，其中，高斯混合模型的密度函数为：f
k
(r
t
)＝N(r
t
|μ
k
，∑
k
)式中，π
k
为第k个高斯分量的系数，f
k
(r
t
)表示高斯混合模型的k
th
核，r
t
为在时间t时刻的运动距离，μ
k
为第k个高斯核的均值。
6....

【专利技术属性】
技术研发人员：赵欢，汪一苇，蔡雄，张洁，万赤丹，孙释然，丁汉，
申请(专利权)人：华中科技大学同济医学院附属协和医院，
类型：发明
国别省市：