一种内窥镜器械引导方法以及系统技术方案

本发明专利技术公开了一种内窥镜器械引导方法以及系统，属于医疗图像处理领域，通过对采集到的内窥镜图像帧序列进行特征提取和匹配，通过计算获取相机的实时位置；随后在医生操作器械时，通过传感器获得器械的角度和伸出距离，计算出相机与器械的相对位置关系；最后在三维空间中获得器械与相机视野的重叠部分，投影至对应的相机画面实现实时引导，通过上述步骤，仅通过两个额外传感器获得内镜器械的伸出位置，实现实时引导，体积小，不会给设备增加额外负担，系统处理速度快，实时性好，可兼容

【技术实现步骤摘要】
一种内窥镜器械引导方法以及系统


[0001]本专利技术涉及医疗图像处理领域，尤其是涉及内窥镜器械引导方法以及系统
。

技术介绍

[0002]医用内窥镜是一种微创的检查或手术辅助医疗器械
。
内窥镜包含光学镜头
、
摄像头和机械辅助装置，内窥镜经过人体天然的孔道或外部微小切口进入人体内，可以观察内部的病变组织，辅助完成诊疗和手术等操作
。
相比传统医疗手段，内窥镜系统具有创伤小
、
使用方便和手术时间短等显著优势，在各个科室应用广泛
。
[0003]内窥镜通过自然孔道进入人体，镜体前端插入部为软性可弯曲结构，包含摄像头
、
光源
、
水气通道和器械孔道；镜体后端为操作手柄，与主机相连
。
医生在使用内窥镜进行取活检或手术时，通过手柄控制前端镜体方向，镜体固定好后，将手术器械插入器械孔道，通过操作孔道内部的抬钳器钢丝控制器械的伸出角度，完成操作
。
由于内窥镜摄像头和器械通道的出口不在同一平面，常存在器械脱离相机视野的情况，此时医生无法在画面内看到器械，需要凭借经验调整器械至合适角度，操作较为不便
。
[0004]目前常用的内窥镜手术
/
检查引导方法多需要外部大型设备进行辅助，如
CT、
超声和
MRI
等影像设备，通过多模影像配准或三维建模方式开展术中引导，运算量大，大型设备占据空间大，成本高
。

技术实现思路

[0005]为了克服现有技术的不足，本专利技术的目的之一在于提供一种内窥镜器械引导方法，实现手术
/
检查时的器械引导，无需大型设备，运算量小
、
处理速度高，实时性好，可扩展性强
。
[0006]为了克服现有技术的不足，本专利技术的目的之二在于提供一种内窥镜器械引导方法，实现手术
/
检查时的器械系统，无需大型设备，运算量小
、
处理速度高，实时性好，可扩展性强
。
[0007]本专利技术的目的之一采用如下技术方案实现：
[0008]一种内窥镜器械引导方法，包括以下步骤：
[0009]S1
：相机获取多个内窥镜图像，对获取的相邻帧图像分别进行特征提取与匹配，根据匹配结果求解相机位姿，在获取相机位姿后，求取所有特征点的空间信息，根据空间信息优化相机位姿；
[0010]S2
：操作器械时，通过传感器获得器械相对于器械通道移动的角度和距离，从而获取器械头端相对于器械通道的位置，计算出相机与器械的相对位置关系；
[0011]S3
：在三维空间内连接器械头端和器械通道平面，构建延长线，将器械延长至相机所在的视野内，并将延长线投影到相机图像上实现器械位置的预测和引导
。
[0012]进一步地，步骤
S1
与
S2
并行操作并且步骤
S1
贯穿整个内窥镜器械引导过程
。
[0013]进一步地，步骤
S1
具体包括以下步骤：
[0014]S11
：相机初始化：对初始镜头进行旋转和平移，获取两帧初始图像；
[0015]S12
：特征提取：提取相邻两帧图像中的特征点，计算
BRIEF
描述子；
[0016]S13
：对所有特征点进行描述子匹配，获取特征点对；
[0017]S14
：相机运动求解：当特征点对的数量小于预设值时，返回步骤
S11
，当特征点对的数量大于等于预设值时，根据特征点对求解相机的运动，获得相机旋转矩阵
R
和平移矩阵
t
，得到相机的最新位置；
[0018]S15
：获取特征点的空间信息：通过三角测量，利用前后两帧中同一空间特征点的不同
2D
投影，通过最小二乘法求解得到特征点的空间位置；
[0019]S16
：相机位姿优化：存储获得的三维空间特征点信息，当存储的图像帧数小于
10
时，相机位姿不变；当存储的图像帧数大于等于
10
时，进行相机位姿优化；
[0020]S17
：继续获取图像，重复步骤
S12
至步骤
S16
，直至内窥镜器械引导完成
。
[0021]进一步地，步骤
S11
中，将采集第一帧图像时相机坐标系作为世界坐标系，作为内窥镜器械引导方法中计算的坐标系
。
[0022]进一步地，步骤
S14
中，预设值为8，采用
2D
‑
2D
对极约束求解相机的运动
。
[0023]进一步地，步骤
S2
具体包括以下步骤：
[0024]S21
：器械与初始计算平面对准：操作器械进入内窥镜的器械通道，在插入时阅读位置传感器的读数，当读数达到内镜器械通道的内部长度时停止操作，并将位置传感器读数归零，保证器械头端与通道的伸出平面对齐；
[0025]S22
：操作器械，获取运动参数：操作器械，通过阅读位置传感器和旋转编码器的读数分别获得器械相对于初始位置移动的距离和偏转的角度；
[0026]S23
：器械头端位置计算：由于器械的偏转为单自由度运动，根据移动距离和偏转角度求取器械头端相对于器械通道平面的位置关系；
[0027]S24
：器械与相机位置关系求取：器械通道平面与相机位置关系为固定已知，通过器械头端相对于器械通道平面的位置关系获得器械与相机的位置关系
。
[0028]进一步地，在步骤
S23
中，器械头端相对于器械通道平面的位置关系为旋转矩阵
R
和平移向量
t。
[0029]进一步地，步骤
S3
具体包括以下步骤：
[0030]S31
：求取最近以及最远特征点：读取当前时刻的相机位置，获取相机定位中提取到的特征点集合，求取所有特征点与相机的距离，分别获得距相机最远点和最近点；
[0031]S32
：获取相机视椎体：
[0032]S33
：求取器械延长线交点：将器械头端与末端平面点相连，引出射线与相机视椎体相交，获得两个交点，求解两个交点的空间位置坐标；
[0033]S34
：构建引导线：根据相机投影方程，将两个交点的三维坐标投影到相机的像素平面，获得二维像素坐标，在相机成像画面中将两交点相连，获得器械引导线，实现引导
。
[0034]进一步地，步骤
S32
具体包括以下步骤：
[0035]S321
：通过相机点分别与最近以及最远点连线，取最本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种内窥镜器械引导方法，其特征在于，包括以下步骤：
S1
：相机获取多个内窥镜图像，对获取的相邻帧图像分别进行特征提取与匹配，根据匹配结果求解相机位姿，在获取相机位姿后，求取所有特征点的空间信息，根据空间信息优化相机位姿；
S2
：操作器械时，通过传感器获得器械相对于器械通道移动的角度和距离，从而获取器械头端相对于器械通道的位置，计算出相机与器械的相对位置关系；
S3
：在三维空间内连接器械头端和器械通道平面，构建延长线，将器械延长至相机所在的视野内，并将延长线投影到相机图像上实现器械位置的预测和引导
。2.
根据权利要求1所述的内窥镜器械引导方法，其特征在于：步骤
S1
与
S2
并行操作并且步骤
S1
贯穿整个内窥镜器械引导过程
。3.
根据权利要求1所述的内窥镜器械引导方法，其特征在于：步骤
S1
具体包括以下步骤：
S11
：相机初始化：对初始镜头进行旋转和平移，获取两帧初始图像；
S12
：特征提取：提取相邻两帧图像中的特征点，计算
BRIEF
描述子；
S13
：对所有特征点进行描述子匹配，获取特征点对；
S14
：相机运动求解：当特征点对的数量小于预设值时，返回步骤
S11
，当特征点对的数量大于等于预设值时，根据特征点对求解相机的运动，获得相机旋转矩阵
R
和平移矩阵
t
，得到相机的最新位置；
S15
：获取特征点的空间信息：通过三角测量，利用前后两帧中同一空间特征点的不同
2D
投影，通过最小二乘法求解得到特征点的空间位置；
S16
：相机位姿优化：存储获得的三维空间特征点信息，当存储的图像帧数小于
10
时，相机位姿不变；当存储的图像帧数大于等于
10
时，进行相机位姿优化；
S17
：继续获取图像，重复步骤
S12
至步骤
S16
，直至内窥镜器械引导完成
。4.
根据权利要求3所述的内窥镜器械引导方法，其特征在于：步骤
S11
中，将采集第一帧图像时相机坐标系作为世界坐标系，作为内窥镜器械引导方法中计算的坐标系
。5.
根据权利要求3所述的内窥镜器械引导方法，其特征在于：步骤
S14
中，预设值为8，采用
2D
‑
2D
对极约束求解相机的运动
。6.
根据权利要求1所述的内窥镜器械引导方法，其特征在于：步骤
S2
具体包括以下步骤：
S21
：器械与初始计算平面对准：操作器械进入内窥镜的器械通道，...

【专利技术属性】
技术研发人员：洪凯程，郭运博，范梅生，李俊博，
申请(专利权)人：济南高新科技成果转化经纪有限公司，
类型：发明
国别省市：