一种基于CNN和深度滤波器的图像深度估计方法及系统技术方案

本发明专利技术公开了一种基于CNN和深度滤波器的图像深度估计方法及系统，所述方法包含：基于CNN得到图像深度估计值，对图像提取局部特征点，对局部特征点建立最小光度误差方程求解相机相对位姿；基于极线搜索匹配的特征点优化相机位姿，以特征点为中心选取图像块，对图像块极线搜索得到最佳匹配，根据最佳匹配构建光束平差法方程优化相对位姿；基于相机位姿的深度值滤波，采用高斯融合对深度值滤波，直至深度值收敛；本发明专利技术克服了图像深度不精确的问题以及单目视觉的绝对尺度丢失问题，可用于三维场景重建、室内定位及增强现实等诸多领域。

【技术实现步骤摘要】
一种基于CNN和深度滤波器的图像深度估计方法及系统
本专利技术属于三维视觉领域，尤其涉及一种基于CNN(卷积神经网络)和深度滤波器的图像深度估计方法及系统。
技术介绍
现实中常见的图像大多是彩色图像，彩色图像是将三维场景压缩成二维平面得到的，在成像的过程中丢失了深度信息，而深度信息的丢失使得很多视觉任务都变得困难，例如，由于深度值的缺失，三维场景的重建将难以进行。因此，从彩色图像恢复图像深度值具有重要意义。目前主流的图像深度获取方法分为三类，一种通过专门的硬件设备获取深度值，主要是RGB-D相机，其原理一般为结构光或飞行时间法，目前已经能够小型化量产，广泛运用于机器人和智能手机。其优点是测量精度高，其缺点也很明显，由于其采用红外光，受环境光影响大，因此很难应用于室外环境。而且测量距离也有限，一般在5米以内。另外两种分别是根据图像线索估计图像深度以及运动恢复结构方法。其中根据图像线索估计图像深度常用的图像线索包括运动信息、线性透视、聚焦、遮挡、纹理等，由于图像线索需要对图像作很强的假设，目前基本上被CNN取代。不同于图像线索，CNN不要求图像满足一定的特性，在图像上提取广义的特征，并将本文档来自技高网...

【技术保护点】
1.一种基于CNN和深度滤波器的图像深度估计方法，其特征在于，包括如下步骤：S1、获取相机对同一拍摄目标进行连续拍摄的多张彩色图像，任选其中一个彩色图像作为参考图像，其余彩色图像作为关联图像，通过CNN得到所述参考图像的每个像素点对应的深度估计值；S2、根据参考图像的每一个局部特征点、每一个局部特征点对应的深度估计值及每一个局部特征点与关联图像的重投影像素点建立最小光度误差方程获得相机位姿估计；S3、根据所述相机位姿估计分别确定参考图像的每一个局部特征点在关联图像中对应的极线，根据极线搜索确定最佳匹配，根据最佳匹配建立光束平差法方程获得优化的相机位姿；S4、根据所述优化后的相机位姿，分别构建深...

【技术特征摘要】
1.一种基于CNN和深度滤波器的图像深度估计方法，其特征在于，包括如下步骤：S1、获取相机对同一拍摄目标进行连续拍摄的多张彩色图像，任选其中一个彩色图像作为参考图像，其余彩色图像作为关联图像，通过CNN得到所述参考图像的每个像素点对应的深度估计值；S2、根据参考图像的每一个局部特征点、每一个局部特征点对应的深度估计值及每一个局部特征点与关联图像的重投影像素点建立最小光度误差方程获得相机位姿估计；S3、根据所述相机位姿估计分别确定参考图像的每一个局部特征点在关联图像中对应的极线，根据极线搜索确定最佳匹配，根据最佳匹配建立光束平差法方程获得优化的相机位姿；S4、根据所述优化后的相机位姿，分别构建深度滤波器对步骤S1中所述的每一个深度估计值进行高斯融合，直至深度值收敛，得到参考图像的每个像素对应的深度值，从而获得参考图像的深度图像。2.如权利要求1所述一种基于CNN和深度滤波器的图像深度估计方法，其特征在于，所述步骤S2包括以下子步骤：(1)局部特征点以ORB特征点表示，对参考图像提取ORB特征点；(2)将参考图像转化为灰度图，以提取的ORB特征点、ORB特征点对应的深度估计值及ORB特征点与关联图像的重投影像素点构建稀疏形式的最小光度误差方程；(3)采用高斯牛顿法迭代求解所述最小光度误差方程，当所有局部特征点灰度值误差之和最小时得到相机位姿估计。3.如权利要求1所述的一种基于CNN和深度滤波器的图像深度估计方法，其特征在于，所述步骤S3包括以下子步骤：(1)以参考图像的局部特征点为中心，选取大小为NxM的图像块，根据相机位姿估计确定局部特征点在关联图像上对应的极线，其中N和M均为大于1的常数；(2)在所述极线上根据归一化互相关方法确定所述图像块的最佳匹配，根据最佳匹配建立光束平差法方程；(3)采用高斯牛顿法迭代求解光束平差法方程获得优化的相机位姿。4.一种基于CNN和深度滤波器的图像深度估计系统，其特征在于，包括以下子模块：深度估...

【专利技术属性】
技术研发人员：金星，姚志文，张晶晶，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42