一种基于二维特征点的双目内窥图像三维拼接方法技术

本发明专利技术公开了一种基于二维特征点的双目内窥图像三维拼接方法，该方法包括点云生成、点云预处理、二维特征点匹配、点云配准等步骤，移动双目内窥镜获取各视角的左右图序列后，通过SGBM(Semi‑global block matching)进行双目匹配生成点云，并进行离群点剔除和降采样等预处理，对相邻左视图采用SURF（Speeded Up Robust Features）算法进行二维特征匹配，计算两个视点偏移量，改变初始矩阵平移矩阵，通过ICP（Iterative Closest Point）算法对点云进行配准和拼接，本方法实现了对纹理特征不明显的内窥图像的三维重建，扩大了视场，同时利用双目图像获得稠密点云，重建精度高，能更好地协助医生手术操作。

【技术实现步骤摘要】
一种基于二维特征点的双目内窥图像三维拼接方法
本专利技术涉及内窥镜
，具体涉及一种基于二维特征点的双目内窥图像三维拼接方法。
技术介绍
内窥镜能够帮助医生观察到胃肠道中的真实场景，在临床诊断和治疗上具有广泛的应用。双目内窥镜能够提供三维信息，辅助医生进行深度感知，从而提高手术效率和安全性。为了给内窥镜医师提供准确的三维信息，国内外研究人员尝试对内窥镜图像进行三维重建以获得目标表面的三维形态。常见的三维重建方法如SfS(阴影恢复结构)，只能对单个视场进行重建，视野的局限性将会影响医生的观察，容易造成误差。虽然SLAM(同时定位与地图构建)和SfM(运动恢复结构)等方法也能扩大视场，但由于此类方法只能进行稀疏重建，生成的稀疏点云精度较差，无法满足三维重建细节观察的要求。点云配准是立体视觉三维重建常用的方法，如随机一致性采样(RANSAC)是根据提取点云三维特征进行匹配的算法，胃肠道在正常情况下表面较为光滑，其纹理特征不足以通过RANSAC进行特征匹配。目前应用最为广泛的点云配准方法——ICP，通过不断地重复搜索以获取最优的变换本文档来自技高网...

【技术保护点】
1.一种基于二维特征点的双目内窥图像三维拼接方法，其特征在于：该方法通过左右视图双目匹配生成点云，并进行预处理；计算左视图序列相邻位点的二维特征点偏移量作为点云配准的初始变换矩阵平移向量，从而实现内窥图像的三维拼接，该方法具体包括如下步骤：/nS1.内窥镜左右视图序列获取：即移动双目内窥镜的镜头，拍摄目标器官左右视图序列；/nS2.点云生成：即使用SGBM算法对左右视图进行双目匹配生成视差图，通过自适应阈值对视差图进行迭代均值插值，去除空洞，根据视差图生成相应的点云；/nS3.点云预处理：即对初始点云进行离群点剔除、点云分割、降采样预处理操作；/nS4.相邻左视图二维特征匹配：即对左视图序列相...

【技术特征摘要】
1.一种基于二维特征点的双目内窥图像三维拼接方法，其特征在于：该方法通过左右视图双目匹配生成点云，并进行预处理；计算左视图序列相邻位点的二维特征点偏移量作为点云配准的初始变换矩阵平移向量，从而实现内窥图像的三维拼接，该方法具体包括如下步骤：
S1.内窥镜左右视图序列获取：即移动双目内窥镜的镜头，拍摄目标器官左右视图序列；
S2.点云生成：即使用SGBM算法对左右视图进行双目匹配生成视差图，通过自适应阈值对视差图进行迭代均值插值，去除空洞，根据视差图生成相应的点云；
S3.点云预处理：即对初始点云进行离群点剔除、点云分割、降采样预处理操作；
S4.相邻左视图二维特征匹配：即对左视图序列相邻位点进行SURF二维特征匹配，根据匹配点在相邻两位点的平均变化值作为偏移量并生成变换矩阵；
S5.点云配准：即以二维特征匹配生成的变换矩阵作为点云序列的初始变化矩阵，进行ICP的配准。


2.根据权利要求1所述的基于二维特征点的双目内窥图像三维拼接方法，其特征在于,所述的步骤S2具体为：
对左视图和右视图通过SGBM算法进行双目匹配；
将视差值从小到大...

【专利技术属性】
技术研发人员：王立强，周长江，杨青，袁波，余浩，
申请(专利权)人：之江实验室，浙江大学，
类型：发明
国别省市：浙江;33