内窥镜导航定位方法及装置制造方法及图纸

本说明书涉及内窥镜技术领域，具体地公开了一种内窥镜导航定位方法及装置，其中，该方法包括：获取目标组织器官的内窥镜图像；所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；获取所述目标组织器官的三维模型数据；将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。上述方案可以提高内窥镜导航定位的精度。上述方案可以提高内窥镜导航定位的精度。上述方案可以提高内窥镜导航定位的精度。

【技术实现步骤摘要】
内窥镜导航定位方法及装置


[0001]本说明书涉及内窥镜
，特别涉及一种内窥镜导航定位方法及装置。

技术介绍

[0002]支气管解剖结构复杂且腔内表面相似，因此支气管镜检查需要一种导航定位系统来辅助。支气管镜导航定位系统提供了支气管镜在CT图像中的位置，常用的方法有基于CT视频的系统、基于额外电磁传感器的系统或这些方法的混合系统。基于CT视频的支气管镜跟踪通过最小化支气管镜图像(RB)和虚拟支气管镜图像(VB)之间的差异来估计支气管镜相机的位姿。基于电磁传感器的支气管镜跟踪通过贴在相机尖端或导丝上的电磁传感器的输出进行导航，需要在术前用手眼标定的方法将传感器的3D输出从传感器坐标转换为真实相机的坐标，或通过其他配准手段将传感器的3D输出从传感器坐标转换为CT图像的坐标。
[0003]然而，基于CT视频的支气管镜跟踪主要依赖于RB和VB图像的相似性，缺乏局部纹理信息(分叉或折叠)，从而导致较大的跟踪误差或导致跟踪失败；此外需要大量的计算时间来生成虚拟图像和待匹配图像。而基于电磁传感器的支气管镜跟踪存在几个缺点：电磁传感器的位置数据可能抖动，传感器可能会受到手术室中的金属手术工具的影响，此外，电磁传感器的支气管镜尺寸比较大，无法插入末端支气管。
[0004]针对上述问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本说明书实施例提供了一种内窥镜导航定位方法及装置，以解决现有技术中支气管镜定位方法的精度和速度较低的问题。
[0006]本说明书实施例提供了一种内窥镜导航定位方法，包括：
[0007]获取目标组织器官的内窥镜图像；所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；
[0008]基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；
[0009]获取所述目标组织器官的三维模型数据；将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。
[0010]在一个实施例中，所述预设动作包括旋转动作和平移动作。
[0011]在一个实施例中，基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据，包括：
[0012]利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化；
[0013]基于视觉SLAM对所述内窥镜导管进行追踪定位并对所述目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据。
[0014]在一个实施例中，将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据，包括：
[0015]将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，得到变换矩阵；
[0016]利用所述变换矩阵将所述位姿数据转换至所述三维模型数据对应的坐标系中，生成虚拟内窥镜导航数据。
[0017]在一个实施例中，利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化，包括：
[0018]对第一图像进行特征提取，得到第一特征点；对所述第二图像进行特征提取，得到第二特征点；
[0019]对所述第一特征点和所述第二特征点进行匹配，得到匹配点对；
[0020]基于所述匹配点对，生成所述单目摄像头对应的旋转矩阵和单位平移向量；根据所述预设动作中的位移长度数据和所述单位平移向量，计算得到位移向量；
[0021]利用所述旋转矩阵和所述位移向量生成所述匹配点对对应的地图点；
[0022]当地图点的数量大于预设数量时，确定视觉SLAM坐标初始化成功。
[0023]在一个实施例中，对第一图像进行特征提取，得到第一特征点，包括：
[0024]对所述第一图像进行降采样，生成N层不同尺度的金字塔图像；其中，N为大于2的整数；
[0025]对所述N层不同尺度的金字塔图像提取特征点；通过四叉树筛选提取出的特征点，得到均匀分布在图像中的第一特征点；
[0026]计算所述第一特征点的灰度质心，并根据所述灰度质心位置和第一特征点位置计算所述第一特征点的方向角；
[0027]计算所述第一特征点的特征描述子，以二进制的形式表征所述第一特征点周围的图像信息。
[0028]在一个实施例中，对所述第一特征点和所述第二特征点进行匹配，得到匹配点对，包括：
[0029]取所述第一图像中的第一特征点A，并以该第一特征点A为中心选取预设区域作为在所述第二图像中搜索匹配特征的指定范围；
[0030]计算该第一特征点A的特征描述符到所述第二图像中的所述指定范围内的第二特征点的特征描述符之间的汉明距离；对计算得到的汉明距离进行降序排列，得到最短汉明距离和次短汉明距离；
[0031]在所述最短汉明距离与所述次短汉明距离之间的比值小于预设比值时，确定所述第一特征点A与所述最短汉明距离对应的第二特征点B匹配；针对所述第二特征点B，确定所述第二特征点B与所述第一特征点A是否匹配；
[0032]在确定所述第二特征点B与所述第一特征点A匹配时，确定第一特征点A与第二特征点B为匹配点对；
[0033]基于匹配点对建立角度直方图和长度直方图，并选取主流角度和主流长度；
[0034]利用RANSAC算法基于所述主流角度和主流长度，剔除错误的匹配点对，得到有效匹配点对。
[0035]在一个实施例中，基于视觉SLAM对所述内窥镜导管进行追踪定位并对所述目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据，包括：
[0036]通过恒速运动模型、参考帧或重定位来确定当前帧的内窥镜导管的位姿数据，建立SLAM地图数据，并选取关键帧；
[0037]BA优化关键帧的位姿数据和所述SLAM地图数据；
[0038]使用优化算法优化虚拟内窥镜的6个自由度，使虚拟内窥镜图像与关键帧图像的相似度最大，记录关键帧对应的虚拟内窥镜在所述三维模型数据对应的坐标系下的位置。
[0039]在一个实施例中，所述BA优化关键帧的位姿数据和所述SLAM地图数据，与所述使用优化算法优化虚拟内窥镜的6个自由度，使虚拟内窥镜图像与关键帧图像的相似度最大，是分线程调度执行的。
[0040]在一个实施例中，将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，得到变换矩阵，包括以下方式之一：
[0041]将所述SLAM地图数据中的局部组织器官三维点云模型与所述三维模型数据中的全局组织器官三维点云模型进行点云融合，得到变换矩阵；
[0042]将所述SLAM地图数据中的内窥镜导管的位姿数据与所述三维模型数据中提取的中心线数据进行融合，得到变换矩阵；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜导航定位方法，其特征在于，包括：获取目标组织器官的内窥镜图像；所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；获取所述目标组织器官的三维模型数据；将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。2.根据权利要求1所述的内窥镜导航定位方法，其特征在于，所述预设动作包括旋转动作和平移动作。3.根据权利要求1所述的内窥镜导航定位方法，其特征在于，基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据，包括：利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化；基于视觉SLAM对所述内窥镜导管进行追踪定位并对所述目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据。4.根据权利要求1所述的内窥镜导航定位方法，其特征在于，将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据，包括：将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，得到变换矩阵；利用所述变换矩阵将所述位姿数据转换至所述三维模型数据对应的坐标系中，生成虚拟内窥镜导航数据。5.根据权利要求3所述的内窥镜导航定位方法，其特征在于，利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化，包括：对第一图像进行特征提取，得到第一特征点；对所述第二图像进行特征提取，得到第二特征点；对所述第一特征点和所述第二特征点进行匹配，得到匹配点对；基于所述匹配点对，生成所述单目摄像头对应的旋转矩阵和单位平移向量；根据所述预设动作中的位移长度数据和所述单位平移向量，计算得到位移向量；利用所述旋转矩阵和所述位移向量生成所述匹配点对对应的地图点；当地图点的数量大于预设数量时，确定视觉SLAM坐标初始化成功。6.根据权利要求5所述的内窥镜导航定位方法，其特征在于，对所述第一特征点和所述第二特征点进行匹配，得到匹配点对，包括：取所述第一图像中的第一特征点A，并以该第一特征点A为中心选取预设区域作为在所述第二图像中搜索匹配特征的指定范围；计算该第一特征点A的特征描述符到所述第二图像中的所述指定范围内的第二特征点的特征描述符之间的汉明距离；对计算得到的汉明距离进行降序排列，得到最短汉明距离和次短汉明距离；在所述最短汉明距离与所述次短汉明距离之间的比值小于预设比值时，确定所述第一
特征点A与所述最短汉明距离对应的第二特征点B匹配；针对所述第二特征点B，确定所述第二特征点B与所述第一特征点A是否匹配；在确定所述第二特征点B与所述第一特征点A匹配时，确定第一特征点A与第二特征点B为匹配点对；基于匹配点对建立角度直方图和长度直方图，并选取主流角度和主流长度；利用RANSAC算法基于所述主流角度和主流长度，剔除错误的匹配点对，得到有效匹配点对。7.根据权利要求3所述的内窥镜导航定位方法，其特征在于，基于视...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海微创微航机器人有限公司，
类型：发明
国别省市：