深度图超分辨率补全方法及高质量三维重建方法与系统技术方案

本发明专利技术涉及一种深度图超分辨率补全方法及高质量三维重建方法与系统，所述方法包括：通过SRC‑Net从待补全的原始LR深度图像学习，得到HR深度图像；基于梯度敏感性检测，剔除HR深度图像中的外点，得到处理后的HR深度图像；通过SRC‑Net从HR彩色图像学习，确定法向图与边界图；对HR彩色图像做模糊度度量，得到模糊度信息；根据法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。本发明专利技术基于深度超分辨率与补全网络、梯度敏感性的外点检测与剔除算法，以及模糊度和边界约束深度图像自适应优化算法，可对原始LR深度图像进行超分辨率和补全操作，从而可得到补全的HR深度图，有助于降低室内场景三维重建的难度及提高重建的准确性。

【技术实现步骤摘要】
深度图超分辨率补全方法及高质量三维重建方法与系统
本专利技术涉及图像处理领域的图像超分辨率与补全技术，以及计算机视觉领域的三维重建技术，具体涉及一种用于深度图超分辨率补全方法及高质量三维重建方法与系统。
技术介绍
室内场景高精度三维重建是计算机视觉中具有挑战性的研究课题之一，涉及计算机视觉、计算机图形学、模式识别、最优化等多个领域的理论与技术。三维重建技术旨在获取场景或物体的深度信息，按深度信息的获取方式可以分为被动式测量和主动式测量两大类。被动式测量一般利用周围环境如自然光的反射，使用相机获取图像，通过特定算法得到物体的三维空间信息，即基于视觉的三维重建技术。主动式测量是指利用诸如激光、声波、电磁波等光源或能量源发射至目标物体，通过接受返回的光波来获取物体的深度信息。主动式测量方法包括：飞行时间法(TimeofFlight，TOF)、结构光法(StructuredLight)和三角测距法。近年来，消费级RGB-D相机的出现，极大的推动了室内场景三维重建技术。RGB-D相机是一种结合了主动式测量与被动式测量的新型视觉传感器，既可以拍摄二维彩色图像又可以主动发射信号至目标物体获得物体深度信息。常见的消费级RGB-D相机有基于飞行时间法的TOF相机，基于结构光法的微软Kinect、华硕Xtion、英特尔RealSense等。Newcombe等人提出的KinectFusion算法就是利用Kinect来获取图像中各点的深度信息，通过迭代近似最近邻点(IterativeClosestPoint,ICP)算法估计相机姿态，再通过曲面隐函数(TruncatedSignedDistanceFunction,TSDF)迭代进行体数据融合，得到稠密的三维模型。基于消费级RGB-D相机进行室内场景三维重建，一般存在以下几个问题：(1)RGB-D相机获取的深度图像分辨率小、噪声大会造成相机姿态估计误差，并使得物体表面细节难以保持；(2)由于室内场景中存在透明或反射率强的物体，使得RGB-D相机获取的深度图存在空洞与缺失；(3)RGB-D相机获取的深度距离有限，而与之相对应的彩色图像能提供高分辨、完整的场景信息。这些问题使得基于消费级RGB-D相机的三维重建应用比较受限。
技术实现思路
为了解决现有技术中的上述问题，即为了提高室内场景重现的准确性以及降低重现难度，本专利技术提供了一种用于深度图超分辨率补全方法及高质量三维重建方法与系统。为解决上述技术问题，本专利技术提供了如下方案：一种用于三维重建的深度图超分辨率补全方法，所述方法包括：通过深度超分辨率与补全网络SRC-Net从待补全的原始低分辨率LR深度图像学习，得到高分辨率HR深度图像；基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像；通过SRC-Net从HR彩色图像中学习，确定法向图与边界图；对HR彩色图像做模糊度度量，得到模糊度信息；根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。可选的，所述基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像，具体包括：采用Sobel算子，计算梯度图Gi：gi(u)＝Sobel(u)；其中，gi(u)是像素u对应的梯度值；根据梯度敏感度，计算掩码图像Mi：其中，mi(u)是像素u对应的掩码值，gh是设定的梯度阈值；利用掩码图像Mi对高分辨率深度图Di做腐蚀操作，去除外点，得到处理后的HR深度图像。可选的，所述对HR彩色图像做模糊度度量，得到模糊度信息，具体包括：通过均值滤波器分别对所述HR彩色图像在水平方向和竖直方向做滤波得到Re-blur图像；分别计算原始LR深度图像和Re-blur图像的水平和竖直方向上的差分，得到水平差分和竖直差分；根据所述水平差分和竖直差分确定原始LR深度图像与Re-blur图像的差异图；对所述差异图做求和以及归一化处理，得到处理图；计算所述处理图的模糊度测度Blur：Blur＝max(RH,RV)其中，RH是归一化后的水平方向差异值，RV是归一化后的竖直方向差异值。可选的，根据所述法向图、边界图以及模糊度信息，对进行优化，得到补全的HR深度图，具体包括：根据所述法向图、边界图以及模糊度信息，构建目标函数；根据所述目标函数，对HR深度图像进行优化，得到补全的HR深度图。可选的，根据所述目标函数，对HR深度图像进行优化，得到补全的HR深度图，具体包括：根据所述目标函数，确定优化函数；其中，所述目标函数包括第一优化项、第二优化项及第三优化项，所述优化函数为第一优化项、第二优化项及第三优化项的加权和；E＝λDED+λSES+λNENBnBb其中，第一优化项ED表示在像素p处，估计深度D(p)与观察到的深度Do(p)的距离；第二优化项EN表示估计深度与预测表面法线N(p)的一致性；第三优化项Es表示促进相邻像素之间具有相同的像素；Bn∈[0,1]表示根据一个像素在遮挡边界B(p)上的预测概率对正常项进行加权；Bb∈[0,1]表示根据彩色图像的模糊度对正常项进行加权；λD、λs和λN均为预先设定的参考系数；根据所述优化函数，进行优化，得到补全的HR深度图。可选的，λD取值为1000，λs取值为1，λN取值为0.001。为解决上述技术问题，本专利技术提供了如下方案：一种用于三维重建的深度图超分辨率补全系统，所述系统包括：超分辨率处理单元，用于通过SRC-Net从待补全的原始LR深度图像学习，得到HR深度图像；外点剔除单元，用于基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像；信息提取单元，用于通过SRC-Net从HR彩色图像中学习，确定法向图与边界图；模糊度量单元，用于对HR彩色图像做模糊度度量，得到模糊度信息；优化单元，用于根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。为解决上述技术问题，本专利技术提供了如下方案：一种室内场景三维重建方法，所述室内场景三维重建方法包括：对补全的HR深度图中的各个像素，计算对应的相机坐标系下的三维点和法向量；根据所述三维点和法向量，通过迭代近似最近邻点ICP算法，估计当前帧相机的姿态；根据相机轨迹信息通过截断符号距离函数TSDF模型迭代进行体数据融合，得到融合数据；根据融合数据以及当前帧相机的姿态，进行表面估计得到室内场景三维模型。可选的，根据以下公式，计算对应的相机坐标系下的三维点vi(u)和法向量ni(u)：vi(u)＝zi(u)K-1[u,1]Tni(u)＝(vi(u+1,v)-vi(u,v))×(vi(u,v+1)-vi(u,v))；其中，K是标定得到的相机内参数，zi(u)是像素u对应的深度值。为解决上述技术问题，本专利技术提供了如下方案：一种室内场景三维重建系统，所述室内场景三维重建系统包括：预处理单元，用于对补全的HR深度图中的各个像素，计算对应的相机坐标系下的三维点和法向量；估算单元，用于根据所述三维点和法向量，通过迭代近似最近邻点ICP算法，估计当前帧相机的姿态；融合单元，用于根据相机轨迹信息通过截断符号距离函数TSDF模型迭代进行体数据融合，得到融合数据；建模单元，用于根据融合数据以及当前帧相机的姿态，进行表面估计得到室内场景三维模型。根本文档来自技高网...

【技术保护点】
1.一种用于三维重建的深度图超分辨率补全方法，其特征在于，所述方法包括：通过深度超分辨率与补全网络SRC‑Net从待补全的原始低分辨率LR深度图像学习，得到高分辨率HR深度图像；基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像；通过SRC‑Net从HR彩色图像中学习，确定法向图与边界图；对HR彩色图像做模糊度度量，得到模糊度信息；根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。

【技术特征摘要】
1.一种用于三维重建的深度图超分辨率补全方法，其特征在于，所述方法包括：通过深度超分辨率与补全网络SRC-Net从待补全的原始低分辨率LR深度图像学习，得到高分辨率HR深度图像；基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像；通过SRC-Net从HR彩色图像中学习，确定法向图与边界图；对HR彩色图像做模糊度度量，得到模糊度信息；根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。2.根据权利要求1所述的用于三维重建的深度图超分辨率补全方法，其特征在于，所述基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像，具体包括：采用Sobel算子，计算梯度图Gi：gi(u)＝Sobel(u)；其中，gi(u)是像素u对应的梯度值；根据梯度敏感度，计算掩码图像Mi：其中，mi(u)是像素u对应的掩码值，gh是设定的梯度阈值；利用掩码图像Mi对高分辨率深度图Di做腐蚀操作，去除外点，得到处理后的HR深度图像。3.根据权利要求1所述的用于三维重建的深度图超分辨率补全方法，其特征在于，所述对HR彩色图像做模糊度度量，得到模糊度信息，具体包括：通过均值滤波器分别对所述HR彩色图像在水平方向和竖直方向做滤波得到Re-blur图像；分别计算原始LR深度图像和Re-blur图像的水平和竖直方向上的差分，得到水平差分和竖直差分；根据所述水平差分和竖直差分确定原始LR深度图像与Re-blur图像的差异图；对所述差异图做求和以及归一化处理，得到处理图；计算所述处理图的模糊度测度Blur：Blur＝max(RH,RV)其中，RH是归一化后的水平方向差异值，RV是归一化后的竖直方向差异值。4.根据权利要求1所述的用于三维重建的深度图超分辨率补全方法，其特征在于，根据所述法向图、边界图以及模糊度信息，对进行优化，得到补全的HR深度图，具体包括：根据所述法向图、边界图以及模糊度信息，构建目标函数；根据所述目标函数，对HR深度图像进行优化，得到补全的HR深度图。5.根据权利要求4所述的用于三维重建的深度图超分辨率补全方法，其特征在于，根据所述目标函数，对HR深度图像进行优化，得到补全的HR深度图，具体包括：根据所述目标函数，确定优化函数；其中，所述目标函数包括第一优化项、第二优化项及第三优化项，所述优化函数为第一优化项、第二优化项及第三优化项的加权和；E＝λDED+λSES+λN...

【专利技术属性】
技术研发人员：李建伟，高伟，吴毅红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11