单目内窥镜图像的三维重建方法、装置及终端设备制造方法及图纸

本申请适用于图像处理技术领域，提供了单目内窥镜图像的三维重建方法，包括：获取单目内窥镜拍摄的多张棋盘标定板的畸变图像，对所述多张棋盘标定板的畸变图像进行畸变校正得到图像序列，从所述图像序列中确定关键帧，获取所述关键帧的位姿参数，估算所述关键帧的深度图，基于所述关键帧的位姿参数以及所述关键帧的深度图进行图像重建，得到三维点云。本申请还提供了单目内窥镜图像的三维重建装置及终端设备，降低了单目内窥镜成像畸变带来的误差，也提高了图像的显示效果。

【技术实现步骤摘要】
单目内窥镜图像的三维重建方法、装置及终端设备
本申请属于图像处理
，尤其涉及一种单目内窥镜图像的三维重建方法、装置及终端设备。
技术介绍
三维重建是计算机视觉中的研究热点之一，其主要目的是从二维图像恢复物体三维结构，在增强现实，虚拟导航和医疗领域都有广泛运用。图像的三维信息主要依赖与视觉即时定位与地图构建(SimultaneousLocalizationandMapping，SLAM)技术得出。目前，单目内窥镜成像畸变会造成位姿误差的增大，而且内窥镜通常伴随着冷光源一起使用，其成像也会受光线的干扰，可能会影响SLAM过程中的特征匹配结果。通常很难用单目内窥镜提供准确的样本进行训练，结合SLAM方案和深度预测方案，才能够对二维图像序列进行稠密三维重建，但由于上述的位姿和深度图的误差等因素会造成三维重建的精度和效果变差。
技术实现思路
本申请实施例提供了单目内窥镜的三维重建方法及装置，可以解决减小单目内窥镜固有参数造成成像畸变带来的误差、将二维图像序列进行三维重建出现精度不高和效果差的问题。r>第一方面，本申请本文档来自技高网...

【技术保护点】
1.一种单目内窥镜图像的三维重建方法，其特征在于，所述三维重建方法包括：/n获取单目内窥镜拍摄的多张棋盘标定板的畸变图像，对所述多张棋盘标定板的畸变图像进行畸变校正得到图像序列；/n从所述图像序列中确定关键帧；/n获取所述关键帧的位姿参数，估算所述关键帧的深度图；/n基于所述关键帧的位姿参数以及所述关键帧的深度图进行图像重建，得到三维点云。/n

【技术特征摘要】
1.一种单目内窥镜图像的三维重建方法，其特征在于，所述三维重建方法包括：
获取单目内窥镜拍摄的多张棋盘标定板的畸变图像，对所述多张棋盘标定板的畸变图像进行畸变校正得到图像序列；
从所述图像序列中确定关键帧；
获取所述关键帧的位姿参数，估算所述关键帧的深度图；
基于所述关键帧的位姿参数以及所述关键帧的深度图进行图像重建，得到三维点云。


2.根据权利要求1所述的三维重建方法，其特征在于，所述基于所述关键帧的位姿参数以及所述关键帧的深度图进行图像重建，得到三维点云，包括：
获取所述关键帧的像素坐标；
根据所述深度图、所述关键帧的位姿参数和所述关键帧的像素坐标计算得到目标空间坐标；
获取所述关键帧中的每个像素点的颜色信息，根据所述关键帧中的每个像素点的颜色信息和所述目标空间坐标对所述关键帧进行点云融合，得到所述三维点云。


3.根据权利要求1或2所述的三维重建方法，其特征在于，所述获取单目内窥镜拍摄的多张棋盘标定板的畸变图像，对所述多张棋盘标定板的畸变图像进行校正得到图像序列，包括：
获取所述多张棋盘标定板的畸变图像中的棋盘的角点，基于所述棋盘的角点对所述单目内窥镜进行标定，得到所述单目内窥镜的相机参数和畸变参数；
根据所述相机参数和所述畸变参数从所述畸变图像中确定待校正图像；
基于相机坐标系对所述待校正图像进行畸变校正得到所述图像序列。


4.根据权利要求3所述的三维重建方法，其特征在于，所述基于相机坐标系对所述待校正图像进行畸变校正得到所述图像序列，包括：
获取所述待校正图像的每个像素点在所述相机坐标中的预设坐标；
将所述相机坐标系投影至所述待校正图像的每个像素点所在的平面上，得到所述预设坐标在像素坐标系中的像素坐标；
将所述预设坐标在像素坐标系中的像素坐标映射至所述相机坐标系得到所述图像序列。


5.根据权利要求3所述的三维重建方法，其特征在于，所述获取所述关键帧的像素坐标，包括：
将所述相机坐标系投...

【专利技术属性】
技术研发人员：廖祥云，孙寅紫，王琼，王平安，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44