一种自适应遮挡的单张光场影像准确深度估计方法及系统技术方案

本发明专利技术涉及图像处理分析技术领域，且公开了一种自适应遮挡的单张光场影像准确深度估计方法及系统，本发明专利技术通过综合单方向EPI中对应线上和线周围信息以及聚合多方向EPI的评估结果，充分利用光场影像可用信息，提高了对噪声的抵抗性和对不同场景的鲁棒性。本发明专利技术在评估过程中，为了降低遮挡的影响，利用已评估像素点对应线来剔除待评估点中被遮挡视角，并动态更新遮挡信息，提高了对遮挡的抵抗性。本发明专利技术利用考虑遮挡的整体优化模型，进一步了提高整体，尤其是遮挡区域的深度估计精度。尤其是遮挡区域的深度估计精度。尤其是遮挡区域的深度估计精度。

【技术实现步骤摘要】
一种自适应遮挡的单张光场影像准确深度估计方法及系统


[0001]本专利技术涉及图像处理分析
，具体为一种自适应遮挡的单张光场影像准确深度估计方法及系统。

技术介绍

[0002]目前的单张光场影像深度估计方法主要可分为：基于多视匹配、基于角度域影像（angular patch）和基于EPI的方法三类。
[0003]（1）从光场影像中能够方便地提取多视角子孔径图像，基于多视的方法对这些子孔径图像进行多视匹配，进而估计深度。
[0004]（2）将一个空间点不同视角所对应像素按视角顺序排列在一起可得到该空间点的角度域影像。对光场影像进行重新聚焦，当聚焦到正确的深度时，角度域影像会呈现像素一致性。
[0005]（3）沿着某个方向选择多视角子孔径影像并进行前后排列，同时沿着相同方向取切面，得到的切面影像叫做EPI。EPI中线的方向对应于图像的深度，可通过分析线结构的方向估计深度。因此为准确评估EPI中线的方向，一部分方法利用EPI中线上像素一致性信息，一部分利用了线两边区域差异性信息。
[0006]但是，当前基于EPI的方法仅利用了线上或者线周围一方面信息，降低了深度估计精度，以及同时利用所有视角进行评估，未充分考虑遮挡的影响，但不同视角间影像基线很短，易出现评估错误且会产生遮挡。

技术实现思路

[0007]本专利技术主要是提供一种自适应遮挡的单张光场影像准确深度估计方法及系统。
[0008]为了解决上述技术问题，本专利技术采用如下技术方案：一种自适应遮挡的单张光场影像准确深度估计方法，包括：基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
[0009]进一步，所述基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向，包括：确定像素点，获取所述EPI中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；
对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
[0010]进一步，所述基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡，包括：获取相邻已评估像素点的深度值；计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
[0011]进一步，所述若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度，包括：若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
[0012]进一步，所述构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度，包括：获取相邻已评估像素点的深度值；基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
[0013]一种自适应遮挡的单张光场影像准确深度估计系统，包括：线方向计算模块，用于基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；被遮挡线索计算判断模块，用于基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；EPI结果综合模块，用于若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；模型构建模块，用于构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
[0014]进一步，所述线方向计算模块，包括：线方向原始数据采集子模块，用于确定像素点，获取所述EPI中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；
深度线索衡量子模块，用于对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；线方向计算子模块，用于基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
[0015]进一步，所述被遮挡线索计算判断模块，包括：相邻深度值采集子模块，用于获取相邻已评估像素点的深度值；待评估深度值获取子模块，用于计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；遮挡线索计算子模块，用于基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；被遮挡线索计算子模块，用于基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
[0016]进一步，所述EPI结果综合模块，包括：直接综合子模块，用于若没有被遮挡，则直接综合多方向EPI结果；被遮挡综合子模块，用于若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
[0017]进一步，所述模型构建模块，包括：已评估深度值采集模块，用于获取相邻已评估像素点的深度值；模型构建子模块，用于基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
[0018]有益效果：1、本专利技术通过综合单方向EPI中对应线上和线周围信息以及聚合多方向EPI的评估结果，充分利用光场影像可用信息，提高了对噪声的抵抗性和对不同场景的鲁棒性。2、本专利技术在评估过程中，为了降低遮挡的影响，利用已评估像素点对应线来剔除待评估点中被遮挡视角，并动态更新遮挡信息，提高了对遮挡的抵抗性。3、本专利技术利用考虑遮挡的整体优化模型，进一步了提高整体，尤其是遮挡区域的深度估计精度。
附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应遮挡的单张光场影像准确深度估计方法，其特征在于，包括：基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。2.根据权利要求1所述的方法，其特征在于，所述基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向，包括：确定像素点，获取所述EPI中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。3.根据权利要求2所述的方法，其特征在于：所述基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡，包括：获取相邻已评估像素点的深度值；计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。4.根据权利要求3所述的方法，其特征在于，所述若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度，包括：若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。5.根据权利要求4所述的方法，其特征在于，所述构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度，包括：获取相邻已评估像素点的深度值；基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。6.一种自适应遮挡的单张光场影像准确深...

【专利技术属性】
技术研发人员：刘玉轩，孙钰珊，许彪，莫凡，樊仲藜，王保前，韩晓霞，
申请(专利权)人：中国测绘科学研究院，
类型：发明
国别省市：