跨尺度分辨率的光场图像超分辨率及深度估计方法及装置制造方法及图纸

本发明专利技术公开了一种跨尺度分辨率的光场图像超分辨率及深度估计方法及装置，其中，方法包括：通过单张图像超分辨率SISR方法进行上采样；将位于中间视角的高分辨率图像下采样后，利用SISR方法进行上采样，并获取误差图；获取视差图并利用光场固有属性对视差图进行全局优化，同时进行补洞操作，使得视差图估计无法估计到的区域进行重新估计；利用全局视差图对误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建；根据超分辨率后的光场图像进行场景的深度估计，获取深度估计结果。该方法可以利用全局视差图对误差图进行传递，使得图像恢复高分辨率信息，以通过高分辨光场获取场景深度信息，并且提高鲁棒性，计算速度快。

【技术实现步骤摘要】
跨尺度分辨率的光场图像超分辨率及深度估计方法及装置
本专利技术涉及计算机视觉
，特别涉及一种跨尺度分辨率的光场图像超分辨率及深度估计方法及装置。
技术介绍
光场成像为记录场景三维信息的一种全新手段。与传统成像方式不同，光场不仅可以记录光线在某个位置上的强度信息，还可记录这个位置上来自某一角度范围的光线分布情况，因此有两维平面成像转变为四维光场成像，包括两个空间维度和两个角度维度。然而，由于光场中传感器的限制，空间和角度分辨率相互制约，例如，商业光场相机，它由多个微型镜头阵列组成，携带方便，但其空间分辨率很低，难以满足需求；另一种方式是多相机阵列，但是这种实现方法造价昂贵，体积庞大，有待解决。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种跨尺度分辨率的光场图像超分辨率及深度估计方法，该方法可以具有很强的鲁棒性，且计算速度快。本专利技术的另一个目的在于提出一种跨尺度分辨率的光场图像超分辨率及深度估计装置。为达到上述目的，本专利技术一方面实施例提出了一种跨尺度分辨率的光场图像超分辨率及深度估计方法，包括以下步骤：通过SISR(singleimagesuper-resolution，单张图像超分辨率)方法对位于低分辨率视角的光场图像进行上采样；将位于中间视角的高分辨率图像下采样后，利用所述SISR方法进行上采样，并获取误差图；获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，同时进行补洞操作，使得所述视差图估计无法估计到的区域进行重新估计；利用全局视差图对所述误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建；根据所述超分辨率后的光场图像进行场景的深度估计，获取深度估计结果。本专利技术实施例的跨尺度分辨率的光场图像超分辨率及深度估计方法，可以在大幅减少设备开销的条件下，重建高分辨率的光场成像，从而获得高空间分辨率的光场，以通过高分辨光场获取场景深度信息，并且具有很强的鲁棒性，计算速度快，避免光场中遮挡因素造成的部分区域估计不准，并加入全局优化过程，准确计算光场视差图。另外，根据本专利技术上述实施例的跨尺度分辨率的光场图像超分辨率及深度估计方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：利用位于中心视角的高分辨率图像对所述SISR方法丢失的高频细节部分进行推断。进一步地，在本专利技术的一个实施例中，所述获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，进一步包括：通过十字模型估算方法得到光场中心位置与任意位置视差图；通过全局优化过程得到所述视差图，以避免所述光场中遮挡因素造成的部分区域估计误差。进一步地，在本专利技术的一个实施例中，所述进行补洞操作，进一步包括：利用孔洞周边邻域信息对孔洞进行补充，补充公式为：其中，f为邻域像素值，ω为权值，i为当前待补洞位置的横坐标，j为当前待补洞位置的纵坐标，k为位于其窗口邻域位置的横坐标，l为位于其窗口邻域位置的纵坐标。进一步地，在本专利技术的一个实施例中，所述根据所述超分辨率后的光场图像进行场景的深度估计，进一步包括：将重建后的的高分辨率光场图像利用深度信息对场景深度进行估计。为达到上述目的，本专利技术另一方面实施例提出了一种跨尺度分辨率的光场图像超分辨率及深度估计装置，包括：采样模块，用于通过单张图像超分辨率SISR方法对位于低分辨率视角的光场图像进行上采样；获取模块，用于将位于中间视角的高分辨率图像下采样后，利用所述SISR方法进行上采样，并获取误差图；优化模块，用于获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，同时进行补洞操作，使得所述视差图估计无法估计到的区域进行重新估计；重建模块，用于利用全局视差图对所述误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建；估计模块，用于根据所述超分辨率后的光场图像进行场景的深度估计，获取深度估计结果。本专利技术实施例的跨尺度分辨率的光场图像超分辨率及深度估计装置，可以在大幅减少设备开销的条件下，重建高分辨率的光场成像，从而获得高空间分辨率的光场，以通过高分辨光场获取场景深度信息，并且具有很强的鲁棒性，计算速度快，避免光场中遮挡因素造成的部分区域估计不准，并加入全局优化过程，准确计算光场视差图。另外，根据本专利技术上述实施例的跨尺度分辨率的光场图像超分辨率及深度估计装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：利用位于中心视角的高分辨率图像对所述SISR方法丢失的高频细节部分进行推断。进一步地，在本专利技术的一个实施例中，所述优化模块，进一步包括：获取单元，用于通过十字模型估算方法得到光场中心位置与任意位置视差图；优化单元，用于通过全局优化过程得到所述视差图，以避免所述光场中遮挡因素造成的部分区域估计误差。进一步地，在本专利技术的一个实施例中，所述进行补洞操作，进一步包括：利用孔洞周边邻域信息对孔洞进行补充，补充公式为：其中，f为邻域像素值，ω为权值，i为当前待补洞位置的横坐标，j为当前待补洞位置的纵坐标，k为位于其窗口邻域位置的横坐标，l为位于其窗口邻域位置的纵坐标。进一步地，在本专利技术的一个实施例中，所述根据所述超分辨率后的光场图像进行场景的深度估计，进一步包括：将重建后的的高分辨率光场图像利用深度信息对场景深度进行估计。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的跨尺度分辨率的光场图像超分辨率及深度估计方法的流程图；图2为根据本专利技术一个实施例的跨尺度分辨率的光场图像超分辨率及深度估计方法的流程图；图3为根据本专利技术一个实施例的求取光场视差图的示意图；图4为根据本专利技术一个具体实施例的跨尺度分辨率的光场图像超分辨率及深度估计方法的示意图；图5为根据本专利技术实施例的跨尺度分辨率的光场图像超分辨率及深度估计装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的跨尺度分辨率的光场图像超分辨率及深度估计方法，首先将参照附图描述根据本专利技术实施例提出的跨尺度分辨率的光场图像超分辨率及深度估计装置。图1是本专利技术实施例的跨尺度分辨率的光场图像超分辨率及深度估计方法的流程图。如图1所示，该跨尺度分辨率的光场图像超分辨率及深度估计方法包括以下步骤：在步骤S101中，通过单张图像超分辨率SISR方法对位于低分辨率视角的光场图像进行上采样。可以理解的是，结合图1和图2所示，本专利技术实施例可以通过低分辨率光场利用单张图片超分辨率(SISR)方法上采样，公式如下：具体地，本专利技术实施例通过利用SISR方法将光场中的低分辨率图像首先进行上采样。由于单张图片超分辨率方法仅能针对超分辨率倍数较低时，当超分辨率倍数过大时(大约四本文档来自技高网...

【技术保护点】
一种跨尺度分辨率的光场图像超分辨率及深度估计方法，其特征在于，包括以下步骤：通过单张图像超分辨率SISR方法对位于低分辨率视角的光场图像进行上采样；将位于中间视角的高分辨率图像下采样后，利用所述SISR方法进行上采样，并获取误差图；获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，同时进行补洞操作，使得所述视差图估计无法估计到的区域进行重新估计；利用全局视差图对所述误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建；以及根据所述超分辨率后的光场图像进行场景的深度估计，获取深度估计结果。

【技术特征摘要】
1.一种跨尺度分辨率的光场图像超分辨率及深度估计方法，其特征在于，包括以下步骤：通过单张图像超分辨率SISR方法对位于低分辨率视角的光场图像进行上采样；将位于中间视角的高分辨率图像下采样后，利用所述SISR方法进行上采样，并获取误差图；获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，同时进行补洞操作，使得所述视差图估计无法估计到的区域进行重新估计；利用全局视差图对所述误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建；以及根据所述超分辨率后的光场图像进行场景的深度估计，获取深度估计结果。2.根据权利要求1所述的跨尺度分辨率的光场图像超分辨率及深度估计方法，其特征在于，还包括：利用位于中心视角的高分辨率图像对所述SISR方法丢失的高频细节部分进行推断。3.根据权利要求1所述的跨尺度分辨率的光场图像超分辨率及深度估计方法，其特征在于，所述获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，进一步包括：通过十字模型估算方法得到光场中心位置与任意位置视差图；通过全局优化过程得到所述视差图，以避免所述光场中遮挡因素造成的部分区域估计误差。4.根据权利要求1所述的跨尺度分辨率的光场图像超分辨率及深度估计方法，其特征在于，所述进行补洞操作，进一步包括：利用孔洞周边邻域信息对孔洞进行补充，补充公式为：其中，f为邻域像素值，ω为权值，i为当前待补洞位置的横坐标，j为当前待补洞位置的纵坐标，k为位于其窗口邻域位置的横坐标，l为位于其窗口邻域位置的纵坐标。5.根据权利要求1-4任一项所述的跨尺度分辨率的光场图像超分辨率及深度估计方法，其特征在于，所述根据所述超分辨率后的光场图像进行场景的深度估计，进一步包括：将重建后的的高分辨率光场图像利用深度信息对场景深度进行估计。6.一...

【专利技术属性】
技术研发人员：刘烨斌，赵漫丹，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11