一种基于光场的深度图像处理方法技术

本发明专利技术公开了一种基于光场的深度图像处理方法，包括步骤：利用光场采集设备拍摄获得预设拍摄目标的初始4D光场彩色图像和初始深度图像；预处理获得预设拍摄目标的初始3D网格模型和对应的初始法向场；分析并计算获得预设拍摄目标表面反射率；根据预设拍摄目标的初始法向场和表面反射率，对其光场图像进行建模，获得光照模型以及光照参数；根据预设拍摄目标的表面反射率和光照模型具有的光照参数，对预设拍摄目标的初始法向场进行优化；根据优化的法向场，对初始深度图像进行深度增强后，重建预设拍摄目标的3D网格模型。本发明专利技术可以基于4D光场，重建所拍摄目标的形状，实现对所拍摄目标进行光场成像立体显示，获得高质量的深度图像。

A depth image processing method based on light field

The invention discloses an image processing method includes the steps of depth, light field based on acquired preset initial 4D light field shooting target color image and depth image using the initial light field acquisition equipment; pretreatment method of initial preset shooting initial 3D mesh model and the corresponding target to analyze and calculate the default field; shoot the target surface reflectivity; field and surface reflectance method according to the initial preset shooting target, carries on the modeling of light field image, obtain the illumination model and illumination parameters; according to the preset shooting target surface reflectance and illumination model with the illumination parameters, the initial method of preset shooting to the objectives of the field optimization; according to field optimization method, the initial depth of image depth enhancement after reconstruction of 3D mesh model preset shooting target. The invention can reconstruct the shape of the shooting target based on the 4D light field, realize the light field imaging stereo display of the captured target, and obtain the high quality depth image.

【技术实现步骤摘要】

本专利技术涉及光场成像、图像处理和计算机视觉等
，特别是涉及一种基于光场的深度图像处理方法。
技术介绍
目前，随着人类科学技术的不断发展，在计算机视觉系统中，三维场景信息为图像分割、目标检测、物体跟踪等计算机视觉应用提供了更多的可能性，与二维图像相比，深度图像具有物体的三维特征信息，即深度信息，深度图像因此也作为一种普遍的三维场景信息表达方式得到了广泛的应用。因此，利用同时能捕获颜色和深度信息的成像装置，实现三维物体的检测和识别，必将成为计算机视觉领域的一个新的热点，其中深度图像的获取是其中的关键技术。在计算机视觉系统中，获取深度图像的方法可以分为两类：被动式和主动式。其中，被动式获取深度图像的方法主要利用周围环境条件成像，常用的方法是双目立体视觉，光场成像作为一种新兴的被动式成像方式目前在深度估计方面的应用也受到越来越多的关注。光场成像是计算成像领域的一个重要分支。光场是空间中同时包含位置和方向信息的光辐射场，相比只记录二维数据的传统成像方式，光场成像能够获得更加丰富的图像信息。因此，光场成像技术为计算成像提供了许多新的发展方向。目前，光场成像利用其特殊的成像结构，获取四维的光场数据，不仅包括亮度信息，还包括光线的方向信息，同时以其强大的后处理能力，在立体显示、扩大成像景深、深度估计等领域应用广泛。光场成像主要有三种形式：微透镜阵列、相机阵列和掩膜。其中微透镜阵列形式通过放置在主透镜和传感器之间的微透镜阵列来获取光场数据，是目前最常用的光场成像方式。此外，伴随着深度相机的快速发展，高精度3D形状建模变得更具有实用性和挑战性。但是，主动立体成像技术(如激光、结构光、Kinect)通常价格昂贵、分辨率低、室内成像环境，而被动立体成像技术(如双目立体视觉、多视角重建MVS)的算法复杂度非常高、耗时长，因此，3D形状建模很难达到高分辨率、高精度、实时、实用性和普遍性。商业化的光场相机(Lytro、Ratrix)的问世，为3D立体显示、形状建模带来了新的发展。目前，商业化的Lytro光场相机空间分辨率较低，一般根据拍摄过程中的参数设定进行对应白图像的匹配，实现微透镜图像的解码，得到4D光场数据，再进行深度估计、重聚焦、立体显示等算法处理。光场相机作为一种被动成像技术，基于多张2D图像进行深度估计，计算的深度图精确度较低。与Kinect等主动深度获取技术不同，Kinect得到的深度图是全局平滑，深度值偏差小，而基于4D光场估计的深度值对纹理细节描述的很好，对无纹理、重复纹理或纹理少的形状表面无法得到深度估计值，且噪声深度值与真实值偏差很大。阴影重建(SFS)、多视角立体重建(MVS)、光度立体重建(PS)是三种经典的被动立体成像技术。阴影重建SFS技术，从一张亮度图像的阴影线索重建形状，但是，有些场景下无法确定物体亮度的变化是由于几何形状改变还是反射属性不同引起的，因此阴影重建SFS算法在应用中通常假设朗伯反射体、统一反射率、远距离点光源等成像条件。多视角立体重建MVS技术从多张已经标定、不同视角拍摄的2D图像来重建形状，通过对相邻视角的多张图像进行特征提取、匹配、生成初始深度图或稀疏3D点云，最后再优化生成高精度的形状模型，因此，MVS算法复杂度高，耗时长，特征提取和匹配对纹理、遮挡、光照、反射属性的变化非常敏感，大部分算法都无法适用于所有场景。而光度立体重建PS算法需要在可控的室内光照环境下，设置多个光源，拍摄多张图像，精确计算光源方向，由多张图像的亮度变化计算物体表面法向场，对形状进行建模。因此，鉴于光场成像的特殊结构和获取的4D数据，决定了无法直接应用传统的被动立体成像技术来进行深度估计。因此，目前迫切需要开发出一种技术，其可以基于4D光场，重建所拍摄目标的形状，实现对所拍摄目标进行光场成像立体显示，获得高质量的深度图像，并且保证成像的质量，有助于扩大光场成像的普及应用范围。
技术实现思路
有鉴于此，本专利技术的目的是提供一种基于光场的深度图像处理方法，其可以基于4D光场，重建所拍摄目标的形状，实现对所拍摄目标进行光场成像立体显示，获得高质量的深度图像，并且保证成像的质量，有助于扩大光场成像的普及应用范围，促进光场成像应用发展，有利于提高用户的产品使用感受，具有重大的生产实践意义。为此，本专利技术提供了一种基于光场的深度图像处理方法，包括步骤：第一步：利用光场采集设备拍摄获得预设拍摄目标的初始4D光场彩色图像和初始深度图像；第二步：对所获得的预设拍摄目标的初始4D光场彩色图像和初始深度图像进行预处理，获得预设拍摄目标的初始3D网格模型和对应的初始法向场；第三步：根据所述预设拍摄目标的初始彩色图像和初始法向场，分析并计算获得所述预设拍摄目标的表面反射率；第四步：根据所述预设拍摄目标对应的初始法向场和表面反射率，对所述预设拍摄目标对应的光场图像进行建模，获得所述预设拍摄目标具有的光照模型以及该光照模型具有的光照参数；第五步：根据所述预设拍摄目标的表面反射率和光照模型具有的光照参数，对所述预设拍摄目标对应的初始法向场进行优化；第六步：根据优化获得的法向场，对预设拍摄目标的初始深度图像进行深度增强，获得经过深度增强的初始深度图像；第七步：根据经过深度增强的初始深度图像，投影到3D空间中，重建预设拍摄目标的3D网格模型。其中，所述第二步包括以下子步骤：对所述初始4D光场彩色图像和初始深度图像建立蒙板，去除其中的背景干扰；对深度图像进行预处理，投影到3D空间中，获得预设拍摄目标的初始3D网格模型；基于所述预设拍摄目标的初始3D网格模型，获得预设拍摄目标对应的初始法向场。其中，所述第三步包括以下子步骤：对所述预设拍摄目标的初始彩色图像进行处理，获得对应的色度图；对所述色度图通过阀值分割，提取所述色度图具有的边缘点信息；根据所述色度图具有的边缘点信息或者色度值，对所述色度图包括的全部表面区域进行反射率划分，并且对具有不同反射率的表面区域建立不同的标记；对每个具有不同反射率的表面区域，分别计算获得其色度均值，并通过判断该色度均值与预设色度值之间的色度差异是否达到预设阈值，来判断其是否为歧义像素区域，如果是，则定义为歧义像素区域，并基于欧式距离，滤波消除作为歧义像素区域的表面区域；计算经过滤波后色度图中所有表面区域的反射率，最终获得所述预设拍摄目标的表面反射率。其中，根据所述色度图具有的边缘点信息，对所述色度图全部表面区域进行反射率划分的操作具体包括以下步骤：对于所述色度图中的任意两个像素点，判断它们的连线上是否存在边缘点，如果是，定义它们属于具有不同反射率的表面区域，并设置不同的标记。其中，根据所述色度图具有的色度值，对所述色度图包括的全部表面区域进行反射率划分的操作具体包括以下步骤：对于所述色度图中的任意两个表面区域，判断它们之间的色度差异是否达到预设值，如果是，定义它们为具有不同反射率的表面区域，并标记不同的标记。其中，在所述第四步中，根据所述预设拍摄目标对应的初始法向场和表面反射率，采用预设的关于法向和反射率的二次函数对所述预设拍摄目标的光场图像进行建模，获得所述预设拍摄目标具有的光照模型以及该光照模型具有的光照参数；所述二次函数的公式为：I＝s(η)＝ηTAη+bTη+c；ηx，y＝ρx，y·nx，y；其中本文档来自技高网...

【技术保护点】
一种基于光场的深度图像处理方法，其特征在于，包括步骤：第一步：利用光场采集设备拍摄获得预设拍摄目标的初始4D光场彩色图像和初始深度图像；第二步：对所获得的预设拍摄目标的初始4D光场彩色图像和初始深度图像进行预处理，获得预设拍摄目标的初始3D网格模型和对应的初始法向场；第三步：根据所述预设拍摄目标的初始彩色图像和初始法向场，分析并计算获得所述预设拍摄目标的表面反射率；第四步：根据所述预设拍摄目标对应的初始法向场和表面反射率，对所述预设拍摄目标对应的光场图像进行建模，获得所述预设拍摄目标具有的光照模型以及该光照模型具有的光照参数；第五步：根据所述预设拍摄目标的表面反射率和光照模型具有的光照参数，对所述预设拍摄目标对应的初始法向场进行优化；第六步：根据优化获得的法向场，对预设拍摄目标的初始深度图像进行深度增强，获得经过深度增强的初始深度图像；第七步：根据经过深度增强的初始深度图像，投影到3D空间中，重建预设拍摄目标的3D网格模型。

【技术特征摘要】
1.一种基于光场的深度图像处理方法，其特征在于，包括步骤：第一步：利用光场采集设备拍摄获得预设拍摄目标的初始4D光场彩色图像和初始深度图像；第二步：对所获得的预设拍摄目标的初始4D光场彩色图像和初始深度图像进行预处理，获得预设拍摄目标的初始3D网格模型和对应的初始法向场；第三步：根据所述预设拍摄目标的初始彩色图像和初始法向场，分析并计算获得所述预设拍摄目标的表面反射率；第四步：根据所述预设拍摄目标对应的初始法向场和表面反射率，对所述预设拍摄目标对应的光场图像进行建模，获得所述预设拍摄目标具有的光照模型以及该光照模型具有的光照参数；第五步：根据所述预设拍摄目标的表面反射率和光照模型具有的光照参数，对所述预设拍摄目标对应的初始法向场进行优化；第六步：根据优化获得的法向场，对预设拍摄目标的初始深度图像进行深度增强，获得经过深度增强的初始深度图像；第七步：根据经过深度增强的初始深度图像，投影到3D空间中，重建预设拍摄目标的3D网格模型。2.如权利要求1所述的方法，其特征在于，所述第二步包括以下子步骤：对所述初始4D光场彩色图像和初始深度图像建立蒙板，去除其中的背景干扰；对深度图像进行预处理，投影到3D空间中，获得预设拍摄目标的初始3D网格模型；基于所述预设拍摄目标的初始3D网格模型，获得预设拍摄目标对应的初始法向场。3.如权利要求1所述的方法，其特征在于，所述第三步包括以下子步骤：对所述预设拍摄目标的初始彩色图像进行处理，获得对应的色度图；对所述色度图通过阀值分割，提取所述色度图具有的边缘点信息；根据所述色度图具有的边缘点信息或者色度值，对所述色度图包括的全部表面区域进行反射率划分，并且对具有不同反射率的表面区域建立不同的标记；对每个具有不同反射率的表面区域，分别计算获得其色度均值，并通过判断该色度均值与预设色度值之间的色度差...

【专利技术属性】
技术研发人员：侯广琦，孙哲南，谭铁牛，刘菲，
申请(专利权)人：天津中科智能识别产业技术研究院有限公司，
类型：发明
国别省市：天津;12