一种基于极面图像颜色差异的光场相机深度估测系统及方法技术方案

本发明专利技术涉及一种基于极面图像颜色差异的光场相机深度估测系统及方法，本发明专利技术所述系统包括以下4大模块：极面图像提取模块、颜色差异计算模块、颜色差异整体性优化模块、深度估测可视化输出模块。本发明专利技术主要完成光场相机的极面图像生成、深度信息估测、三维场景深度图融合输出等功能。系统可根据光场相机深度粒度参数和输出格式要求，对深度估测结果图进行优化，自动输出符合需求的拍摄场景深度估测结果图像。

【技术实现步骤摘要】
一种基于极面图像颜色差异的光场相机深度估测系统及方法
本专利技术涉及一种基于极面图像颜色差异的光场相机深度估测系统及方法，具体说是一种针对光场相机的基于极面图像上特有的线性结构的自动深度估测并可视化输出深度分布图的深度估测系统及方法，属于相机成像和场景结构重建领域。
技术介绍
目前光场相机由于其特殊的镜头阵列结构，使得对于目标场景的连续多角度观测更加便利，光场相机因此被应用于场景结构的三维重建等工作中，然而利用光场图像进行三维场景重建首先需要对场景的深度进行估测，对不同景深的物体进行区别和分割，因此深度估测的准确性成为了影响光场应用的重要前置工作。对于光场图像的深度估测，主要可以划分为两大方法，其一是基于立体匹配的深度估测算法[1，2]，其二是基于极面图像的深度估测算法[3，4]。Chen[1]和Yu[2]提出基于立体匹配的深度估测算法，其主要思路是提取同一场景点在多个镜头中的成像，选取最小匹配代价对应的深度作为深度估测结果，其优点在于能够有效利用多个镜头内成像图像，充分利用了光场相机多镜头的特点，对比多个角度成像差异，从而匹配得到匹配代价最小的深度作为深度估测结果，但是其劣势也十分明显，当对若纹理区域和遮挡区域进行估测时，立体匹配将会出现极大的误差，其原因在于，对于若纹理区域，大面积的图像显示出单一色彩，对于立体匹配算法来说，大面积的相似颜色之间的匹配结果显示出极小的差异，从而也很难比较出匹配代价最小的深度标签，从而极大地影响深度估测结果，而对于遮挡区域，其在正确深度下的角采样图像为颜色不相同的一组像素点，因此在基于立体匹配的深度估测算法中，对于遮挡区域的深度估测时，其在正确深度下的匹配代价将会增大，在错误深度下得到一个匹配代价的最小值，从而导致深度估测的结果出现严重的误差；Wanner[3，4]提出了针对极面图像的深度估测方法，改技术能够比较好的避免类似的问题，基于极面图像的深度估测算法其主要思想是匹配得到极面图像上的线性结构从而实现深度估测的目的，由于光场相机连续角度观测场景的特点，使得被观测像素点在极面图像上由于深度不同形成了斜率不同的直线结构，依据极面图像上的线性结构特点，可以通过识别匹配线性结构从而达到估测场景深度的目的，相比于基于立体匹配的深度估测算法，基于极面图像的深度估测使用了更少角度的图像但是具有更强的抗干扰性，尤其是对于遮挡区域有着更好的深度估测效果，但是由于使用的图像信息不充分，其准确度依旧有待提高。目前光场图像的深度估测与场景重建已经取得了相关研究成果，但是对于应用于实际光场相机还存在一些技术难点，其中不仅需要深度估测算法的运算效率高，能够较快的依据使用者拍摄图像做出反应并估测，还需要应对大部分存在不确定噪声的现实复杂场景，具有较高的鲁棒性。如何将快速准确的深度估测算法应用于光场相机是目前的首要问题。当光场相机在非常规结构化的环境下工作，拍摄场景中常出现难以预测的噪声，因此挑选深度估测算法时，不仅需要考虑到算法的计算速度问题，还需要寻求一种对于遮挡噪声鲁棒的深度估测方法。【1】ChenC，LinH，YuZ，etal.Lightfieldstereomatchingusingbilateralstatisticsofsurfacecameras[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2014：1518-1525.【2】YuZ，GuoX，LinH，etal.Lineassistedlightfieldtriangulationandstereomatching[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.2013：2792-2799.【3】WannerS，GoldlueckeB.Globallyconsistentdepthlabelingof4Dlightfields[C]//2012IEEEConferenceonComputerVisionandPatternRecognition.IEEE，2012：41-48.【4】WannerS，GoldlueckeB.Variationallightfieldanalysisfordisparityestimationandsuper-resolution[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2013，36(3)：606-619.【5】ZhangS，ShengH，LiC，etal.Robustdepthestimationforlightfieldviaspinningparallelogramoperator[J].ComputerVisionandImageUnderstanding，2016，145：148-159.综上，现有技术具有以下若干技术不足：1)现有算法计算速度慢；2)现有算法对噪声敏感，鲁棒性低。
技术实现思路
本专利技术的技术解决问题：为克服现有技术的光场相机容易被噪声干扰、对颜色差异不敏感等技术不足，本专利技术提供了一种基于极面图像颜色差异的光场相机深度估测系统及方法，以保证对拍摄场景进行高效率且对噪声不敏感的深度估测。本专利技术的技术解决方案：本专利技术提供了一种基于极面图像颜色差异的光场相机深度估测系统，包括极面图像提取模块、颜色差异计算模块、颜色差异整体性优化模块与深度估测可视化输出模块；所述极面图像提取模块，负责完成从拍摄得到的原始光场图像中提取出水平方向极面图像与垂直方向极面图像的功能；获取原始光场图像ImageLF及原始光场图像的参数信息PImageLF，根据PImageLF设置极面图像的提取参数PEpi，依据PEpi分别提取水平方向极面图像Epi_h与垂直方向极面图像Epi_v，并作为输入传递给所述颜色差异计算模块；所述颜色差异计算模块，负责完成对所述极面图像提取模块所传递的水平方向极面图像与垂直方向极面图像上代表不同深度标签的直线计算直线两侧颜色差异的功能；设定深度标签个数NumD，构建深度标签与视差值的对应函数，对每个深度标签θ，构建深度标签θ下的直线两侧颜色差异值卷积核Filterθ，利用构建完成的深度标签θ下的直线两侧颜色差异值卷积核Filterθ在水平方向极面图像Epi_h与垂直方向极面图像Epi_v各个颜色通道上分别进行卷积操作并求和，依次得到深度标签θ下各个像素点的水平方向直线两侧颜色差异结果Diff_hθ(i，j)与垂直方向直线两侧颜色差异结果Diff_vθ(i，j)，并作为输入传递给差异值整体性优化模块；所述颜色差异整体性优化模块，负责完成对所述颜色差异计算模块得到的不同深度标签下各个像素点的水平方向直线两侧颜色差异结果与垂直方向直线两侧颜色差异结果进行整体性优化的功能；分别计算水平方向极面图像Epi_h上各个像素点的水平方向可信度DiffC本文档来自技高网...

【技术保护点】
1.一种基于极面图像颜色差异的光场相机深度估测系统，其特征在于，所述系统包括极面图像提取模块、颜色差异计算模块、颜色差异整体性优化模块与深度估测可视化输出模块；/n所述极面图像提取模块，负责完成从拍摄得到的原始光场图像中提取出水平方向极面图像与垂直方向极面图像的功能；获取原始光场图像ImageLF及原始光场图像的参数信息P

【技术特征摘要】
1.一种基于极面图像颜色差异的光场相机深度估测系统，其特征在于，所述系统包括极面图像提取模块、颜色差异计算模块、颜色差异整体性优化模块与深度估测可视化输出模块；
所述极面图像提取模块，负责完成从拍摄得到的原始光场图像中提取出水平方向极面图像与垂直方向极面图像的功能；获取原始光场图像ImageLF及原始光场图像的参数信息PImageLF，根据PImageLF设置极面图像的提取参数PEpi，依据PEpi分别提取水平方向极面图像Epi_h与垂直方向极面图像Epi_v，并作为输入传递给所述颜色差异计算模块；
所述颜色差异计算模块，负责完成对所述极面图像提取模块所传递的水平方向极面图像与垂直方向极面图像上代表不同深度标签的直线计算直线两侧颜色差异的功能；设定深度标签个数NumD，构建深度标签与视差值的对应函数，对每个深度标签θ，构建深度标签θ下的直线两侧颜色差异值卷积核Filterθ，利用构建完成的深度标签θ下的直线两侧颜色差异值卷积核Filterθ在水平方向极面图像Epi_h与垂直方向极面图像Epi_v上的各个颜色通道上分别进行卷积操作并求和，依次得到深度标签θ下各个像素点的水平方向直线两侧颜色差异结果Diff_hθ(i，j)与垂直方向直线两侧颜色差异结果Diff_vθ(i，j)，并作为输入传递给差异值整体性优化模块；
所述颜色差异整体性优化模块，负责完成对所述颜色差异计算模块得到的不同深度标签下各个像素点的水平方向直线两侧颜色差异结果与垂直方向直线两侧颜色差异结果进行整体性优化的功能；分别计算水平方向极面图像Epi_h上各个像素点的水平方向可信度DiffCov_h与垂直方向极面图像Epi_v上各个像素点的垂直方向可信度DiffCov_v，对Diff_hθ(i，j)与Diff_vθ(i，j)进行加权求和整合优化，得到深度标签θ下各个像素点的优化后的直线两侧颜色差异结果DiffOptθ(i，j)，并作为输入传递给深度估测可视化输出模块；
所述深度估测可视化输出模块，负责完成将所述颜色差异整体性优化模块传递的不同深度标签下各个像素点的优化后的直线两侧颜色差异结果可视化输出的功能；针对每个像素点p(i，j)，求出不同深度标签θ下DiffOptθ(i，j)的最大值对应的深度标签作为深度估测标签Depth(i，j)，根据深度估测标签Depth和深度标签与视差值的对应函数，将深度估测标签Depth投影为不同亮度值Color(i，j)的黑白像素点，表示为深度估测标签分布的单通道二值图像可视化输出。


2.根据权利要求1所述的基于极面图像颜色差异的光场相机深度估测系统，其特征在于，所述极面图像提取模块中，所述原始光场图像的参数信息包括原始光场图像的尺寸长度ImageH和尺寸宽度ImageW、原始光场图像的镜头阵列尺寸长度CapH和尺寸宽度CapW、原始光场图像的颜色通道数目；所述极面图像的提取参数PEpi包括极面图像的尺寸长度与宽度、极面图像的颜色通道数目。


3.根据权利要求1所述的基于极面图像颜色差异的光场相机深度估测系统，其特征在于，所述极面图像提取模块，负责完成从拍摄得到的原始光场图像中提取出水平方向极面图像与垂直方向极面图像的功能的具体实现包括：
1)原始光场图像获取：使用光场相机拍摄获取目标场景的原始光场图像ImageLF及原始光场图像的参数信息PImageLF，ImageLF表示为包含三个维度的三维矩阵，所述三个维度分别为原始光场图像的尺寸长度ImageH、尺寸宽度ImageW、颜色通道数目；
2)极面图像提取：根据所述原始光场图像的尺寸长度ImageH和尺寸宽度ImageW、原始光场图像的镜头阵列尺寸长度CapH和尺寸宽度CapW，计算得到水平方向极面图像的尺寸长度EpiH_h和尺寸宽度EpiW_h、垂直方向极面图像的尺寸长度EpiH_v和尺寸宽度EpiW_v，
EpiH_h＝ImageH/CapH，
EpiW_h＝ImageW，
EpiH_v＝ImageH，
EpiW_v＝ImageW/CapW，
进而得到水平方向极面图像Epi_h与垂直方向极面图像Epi_v，
Epi_h＝ImageLF[1：CapH：ImageH，：，：]，
Epi_v＝ImageLF[：，1：CapW：ImageW，：]。


4.根据权利要求1所述的基于极面图像颜色差异的光场相机深度估测系统，其特征在于，所述颜色差异计算模块，负责完成对所述极面图像提取模块所传递的水平方向极面图像与垂直方向极面图像上代表不同深度标签的直线计算直线两侧颜色差异的功能的具体实现包括：
1)构建深度标签与视差值的对应函数：根据原始光场图像ImageLF的视差值范围和设定的深度标签个数NumD，计算得到每个深度标签对应的视差值，将深度标签均匀分配给各个视差值，深度标签θ对应的视差值：
Dis_d＝Dis_min+(Dis_max-Dis_min)/NumD*θ，
其中，Dis_min为视差值的最小值，Dis_max为视差值的最大值；
2)构建直线两侧颜色差异值卷积核：对每个深度标签θ，根据所述极面图像的提取参数PEpi和所述原始光场图像的参数信息PImageLF，分别使用高斯函数以水平方向极面图像Epi_h与垂直方向极面图像Epi_v上代表深度标签θ的直线Lθ为中心向Lθ两侧扩散，构建深度标签θ下的直线两侧颜色差异值卷积核Filterθ，分配Filterθ的内部权重参数：

【专利技术属性】
技术研发人员：盛浩，崔正龙，杨达，王思哲，周建伟，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11