基于内窥镜定位的人体腔道导航方法和系统技术方案

本发明专利技术提供了一种基于内窥镜定位的人体腔道导航方法和系统，包括如下步骤：步骤1：通过内窥镜头部相机采集人体腔道实时图像并传输到计算机，构建基于视觉SLAM的人体腔道三维地图；步骤2：在计算机端对人体腔道实时图像进行分析处理，得到三维地图的关键帧数据，从而得到内窥镜头部相机的当前位姿，并进行位姿更新；步骤3：控制和调节内窥镜头部相机的姿态，使内窥镜顺利进入人体腔道。本发明专利技术通过采用深度相机、力传感器、陀螺仪等附加设备，结合SLAM与力反馈技术，解决了传统肠镜检测中的定位与辅助导航问题，有效减轻患者肠镜检测中的不适感。感。感。

【技术实现步骤摘要】
基于内窥镜定位的人体腔道导航方法和系统


[0001]本专利技术涉及人体腔道导航
，具体地，涉及一种基于内窥镜定位的人体腔道导航方法和系统。

技术介绍

[0002]肠镜是医疗内窥镜的主要应用之一，对结肠癌的早期预防和治疗有着十分重要的地位。结肠癌占现代工业国家癌症发病率的第二位，在美国，每年约有150,000例结肠癌发病者，而90％的结肠癌是由良性息肉发展而来，据统计结肠息肉的发病率约为10％左右。因此及早的发现及时切除息肉是预防和治疗结肠癌的重要措施。然而大多数的结肠息肉并无特殊的症状，诊断主要依靠临床检查，采用内窥镜进行诊疗则是近年来最为重要、最精确的诊疗方式。但是，现有的内窥镜在人体结肠检查中仍然存在着许多难以克服的缺陷，它是利用操作人员的外部推力介入到人体检查腔道，如图1所示。由于这种推入方式对操作人员的技术要求较高，很可能由于操作不当或人体结肠本身的病理原因而导致结肠的穿孔，致使医疗事故的发生。因此，有必要研究肠镜的辅助导航技术，以克服现有肠镜的不足。
[0003]专利文献CN114010314A公开了一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统，其方法包括：S1：于术前通过医学扫描设备对患者躯干进行三维扫描，从获取的三维图像中分割出十二指肠的术前表面几何模型，并基于术前表面几何模型，构建十二指肠的术前生物力学模型；S2：于术中初始阶段使用内窥镜在十二指肠的区域来回适速游走一次，构建十二指肠的术中三维轮廓；S3：进行十二指肠的术中三维轮廓与术前生物力学模型的非刚性配准；S4：基于NDI电磁定位设备提供的内窥镜位姿实时投影，以实现增强现实导航。
[0004]在传统的结肠内窥镜检查中，医生注视着一个监控器，其上显示着由结肠内窥镜头部的图像传感器得到的实时图像。当医生把结肠内窥镜推入肠道时，会通过转动结肠内窥镜末端的手术控制手柄，来调整角度使内窥镜的头部对准肠道的腔道，只有内窥镜的前端正对着腔道时，内窥镜才能顺利的进入肠道。这是一种被动的方式，带有一定柔性的装置在腔道组织上滑行时，对腔道壁面产生压力，有可能对人体内部软组织造成擦伤和拉伤，一旦这个压力超过一定的阈值，还可能造成组织破损(穿孔)。同时人体内腔管道的结构比较复杂，存在多处弯道，仅凭手感要把内窥镜顺利插入到深处并非易事。据统计，经过专业训练、有经验的医务人员把内窥镜插入到结肠远端的概率仅为85
‑
90％。为了能够克服现有内窥镜检查中所存在的上述缺陷，提高内窥镜的智能化水平、简化对操作医师的技术依赖、减少医疗事故的发生率，因此，有必要研究结肠内窥镜的辅助导航技术，并实现相关技术的产品化，以改善现有肠镜的不足，同时促进国内医疗装备技术水平的提高，提升国内医疗器械的国际竞争力。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于内窥镜定位的人体腔道导
航方法和系统。
[0006]根据本专利技术提供的基于内窥镜定位的人体腔道导航方法，包括如下步骤：
[0007]步骤1：通过内窥镜头部相机采集人体腔道实时图像并传输到计算机，构建基于视觉SLAM的人体腔道三维地图；
[0008]步骤2：在计算机端对人体腔道实时图像进行分析处理，包括对图像特征点进行SVD分解、确定关键点位置，得到三维地图的关键帧数据，从而得到内窥镜头部相机的当前位姿，并进行位姿更新；
[0009]步骤3：控制和调节内窥镜头部相机的姿态，使内窥镜顺利进入人体腔道。
[0010]优选的，先对相机位置进行初始化标定，随后在进镜过程中通过旋转变化与尺度缩放对人体腔道三维地图ORB特征数据尺度进行统一，针对当前环境中连续两帧图像特征点进行SVD分解，通过对特征点的数据信息进行奇异值分解得到降维后的序列信息，进一步通过对所提取到的连续两帧序列信息进行差值匹配，进而对当前相机位姿进行更新。
[0011]优选的，根据目前的相机位姿进行实时动态调整，包括通过基础矩阵F描述图像点与其对应的极线间的数学关系，表达式为：
[0012][0013]其中，[]×
表示实对称矩阵；R表示相机旋转矩阵；t为平移向量；K1表示与当前帧共享地图点的关键帧序列；K2表示与当前帧在视觉上相邻的图像帧序列；表示前后两帧对应的投影矩阵P1与P2的极线。
[0014]优选的，定义邻域的矩，通过邻域的矩确定关键点的位置，表达式为：
[0015][0016]其中，(x,y)表示像素坐标；I(x,y)表示此像素坐标的灰度值；p和q取值为0或1；
[0017]关键点邻域的方向由特征点的方向角公式表示：θ＝arctan2(m
01
,m
10
)，其中，(m
01
,m
10
)表示邻域子块p和q取0或1时的值。
[0018]优选的，通过关键点方向与特征描述子实现对镜头位姿进行实时调整，设图像上任意一个关键点i位置(x
i
,y
i
)，和以其为中心的n个二进制测试序列，最终经过角度修正的特征描述子表示为：
[0019][0020]其中，是一个二进制串用来表示特征点信息；p(x)与p(y)分别表示点x和点y的像素灰度值。
[0021]根据本专利技术提供的基于内窥镜定位的人体腔道导航系统，包括如下模块：
[0022]模块M1：通过内窥镜头部相机采集人体腔道实时图像并传输到计算机，构建基于视觉SLAM的人体腔道三维地图；
[0023]模块M2：在计算机端对人体腔道实时图像进行分析处理，包括对图像特征点进行SVD分解、确定关键点位置，得到三维地图的关键帧数据，从而得到内窥镜头部相机的当前位姿，并进行位姿更新；
[0024]模块M3：控制和调节内窥镜头部相机的姿态，使内窥镜顺利进入人体腔道。
[0025]优选的，先对相机位置进行初始化标定，随后在进镜过程中通过旋转变化与尺度缩放对人体腔道三维地图ORB特征数据尺度进行统一，针对当前环境中连续两帧图像特征点进行SVD分解，通过对特征点的数据信息进行奇异值分解得到降维后的序列信息，进一步通过对所提取到的连续两帧序列信息进行差值匹配，进而对当前相机位姿进行更新。
[0026]优选的，根据目前的相机位姿进行实时动态调整，包括通过基础矩阵F描述图像点与其对应的极线间的数学关系，表达式为：
[0027][0028]其中，[]×
表示实对称矩阵；R表示相机旋转矩阵；t为平移向量；K1表示与当前帧共享地图点的关键帧序列；K2表示与当前帧在视觉上相邻的图像帧序列；表示前后两帧对应的投影矩阵P1与P2的极线。
[0029]优选的，定义邻域的矩，通过邻域的矩确定关键点的位置，表达式为：
[0030][0031]其中，(x,y)表示像素坐标；I(x,y)表示此像素坐标的灰度值；p和q取值为0或1；
[0032]关键点邻域的方向由特征点的方向角公式表示：θ＝arctan2(m
01
,m本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于内窥镜定位的人体腔道导航方法，其特征在于，包括如下步骤：步骤1：通过内窥镜头部相机采集人体腔道实时图像并传输到计算机，构建基于视觉SLAM的人体腔道三维地图；步骤2：在计算机端对人体腔道实时图像进行分析处理，包括对图像特征点进行SVD分解、确定关键点位置，得到三维地图的关键帧数据，从而得到内窥镜头部相机的当前位姿，并进行位姿更新；步骤3：控制和调节内窥镜头部相机的姿态，使内窥镜顺利进入人体腔道。2.根据权利要求1所述的基于内窥镜定位的人体腔道导航方法，其特征在于，先对相机位置进行初始化标定，随后在进镜过程中通过旋转变化与尺度缩放对人体腔道三维地图ORB特征数据尺度进行统一，针对当前环境中连续两帧图像特征点进行SVD分解，通过对特征点的数据信息进行奇异值分解得到降维后的序列信息，进一步通过对所提取到的连续两帧序列信息进行差值匹配，进而对当前相机位姿进行更新。3.根据权利要求1所述的基于内窥镜定位的人体腔道导航方法，其特征在于，根据目前的相机位姿进行实时动态调整，包括通过基础矩阵F描述图像点与其对应的极线间的数学关系，表达式为：其中，[]
×
表示实对称矩阵；R表示相机旋转矩阵；t为平移向量；K1表示与当前帧共享地图点的关键帧序列；K2表示与当前帧在视觉上相邻的图像帧序列；表示前后两帧对应的投影矩阵P1与P2的极线。4.根据权利要求1所述的基于内窥镜定位的人体腔道导航方法，其特征在于，定义邻域的矩，通过邻域的矩确定关键点的位置，表达式为：其中，(x,y)表示像素坐标；I(x,y)表示此像素坐标的灰度值；p和q取值为0或1；关键点邻域的方向由特征点的方向角公式表示：θ＝arctan2(m
01
,m
10
)，其中，(m
01
,m
10
)表示邻域子块p和q取0或1时的值。5.根据权利要求1所述的基于内窥镜定位的人体腔道导航方法，其特征在于，通过关键点方向与特征描述子实现对镜头位姿进行实时调整，设图像上任意一个关键点i位置(x
i
,y
i
)，和以其为中心的n个二进制测试序列，最终经过角度修正的特征描述子表示为：其中，是一个二进制串用来表示特征点信息；p(x)与p(y)分别表示点x和点y的像素灰度值。6.一种基于内窥镜...

【专利技术属性】
技术研发人员：贾小强，孙兵，范学顺，任毅，吴慧卿，刘彦彤，郭军，顾永峰，杨东，付东梅，马树梅，
申请(专利权)人：苏州火象医疗技术有限公司，
类型：发明
国别省市：