一种基于光场图像的高光区域修复方法技术

一种基于光场图像的高光区域修复方法，包括：获取四维光场图像以及对应的深度图像；从四维光场图像提取中心视点图像，初步确定高光目标点的空间域坐标，依照输入的深度图像对四维光场图像进行重聚焦，获取高光目标点的角度域特性并划分成饱和高光点与非饱和高光点；对一个视点或多个视点的图像进行本征图像分解，得到图像本征反射属性，找到高光目标点对应的本征反射信息；对非饱和高光点，利用多视点下的局部区域特性分离出漫反射分量，结合步骤A3确定的本征反射信息，对非饱和高光点进行修复；A5：对饱和高光点，利用临近像素点的漫反射分量进行传播，结合步骤A3确定的本征反射信息，对饱和高光点进行修复。利用本发明专利技术能够提高含有高光表面的图像的质量。

【技术实现步骤摘要】
一种基于光场图像的高光区域修复方法
本专利技术涉及计算机视觉与数字图像处理领域，特别是涉及一种基于光场图像的高光区域修复方法。
技术介绍
高光，也称镜面反射。在计算机视觉和模式识别领域，图像的高光给许多应用的实现效果带来困难与挑战。高光其实是现实场景中一种非常常见的现象，它是光照在不同视角下的变化引起物体表面颜色、亮度的变化，反映了物体表面的光学反射特征。在数字图像中，高光像素往往具有高亮度，因而遮盖了物体表面的颜色、轮廓、纹理，饱和的高光更是直接导致了局部区域信息的丢失，故高光通常被认为是图像的瑕疵。目前，在计算机视觉、计算机图像学和模式识别领域的很多算法都假设物体表面仅含有漫反射，忽略高光的存在或将高光当做噪声或异常处理。例如图像分割，这类算法通常假定物体表面亮度变化均匀或平滑；而立体视点匹配、物体识别和跟踪算法试图对不同条件下拍摄的具有相同或相似场景的图像进行像素匹配，因此他们所需的物体表面要在不同拍摄条件下颜色、亮度尽可能一致。因此，使用这些算法处理含有高光反射的图像可能会导致显著的错误。然而，现实世界中的绝大多数物体表面都包含漫反射和高光反射。为了从数字图像中准确提取物体的颜色、轮廓、纹理信息，保证图像能够应用于传统的计算机视觉、模式识别等算法，准确地检测出高光并恢复出高光掩盖下的原始图像信息至关重要。近年来，随着计算摄像学和光场成像技术的发展，一系列光场采集系统(相机阵列、移动相机、光场相机)应运而生，为计算机视觉和图像处理中的很多应用提供了新的解决方案。由于传统相机拍照时只记录一个视点的信息，只能聚焦到一个深度，因而场景的大部分光线信息丢失。光场相机在传感器前加入了一个微透镜阵列，能够在单次曝光的同时记录到达成像平面任意光线的角度与位置，完全刻画四维光场。由于光场图像携带了空间、角度共四维光场信息，人们可在后续处理中变换视点和数字重聚焦；而高光反射的特点正是光照在不同视角下引起物体表面颜色、亮度的变化。因此，利用光场成像技术记录了丰富光线信息的优势，将对高光区域的复原问题带来有效的帮助。
技术实现思路
本专利技术的主要目的在于针对现有技术的不足，提供。为实现上述目的，本专利技术采用以下技术方案：一种基于多视点的高光图像修复方法，其特征在于，所述方法包括：A1：获取四维光场图像以及对应的深度图像；A2：从四维光场图像提取中心视点图像，初步确定高光目标点的空间域坐标，依照输入的深度图像对四维光场图像进行重聚焦，获取高光目标点的角度域特性并划分成饱和高光点与非饱和高光点；A3：对一个视点或多个视点的图像进行本征图像分解，得到图像本征反射属性，找到高光目标点对应的本征反射信息；A4：对非饱和高光点利用多视点下的局部区域特性分离出漫反射分量，结合步骤A3确定的本征反射信息，对非饱和高光点进行修复；A5：对饱和高光点，利用临近像素点的漫反射分量进行传播，结合步骤A3确定的本征反射信息，对饱和高光点进行修复。进一步地：步骤A1中，采用图像深度估计方法或主动深度测量方法提取场景对应的深度图像，采用四维光场的双平面模型表示光场，光场图像I＝I(x,y,u,v)，其中(u,v)表示光线的角度域坐标，(x,y)表示其空间域坐标。步骤A2中，对高光点进行检测和分类，针对中心视点图像，采用亮度阈值设定的方法，找出中心视点下高光目标点的空间域坐标，结合深度图像对光场图像进行重聚焦，找到高光目标点在各个视点下的对应像素，作为该点的像素集合，计算集合内像素RGB值的方差，若方差小于某一设定阈值，则将该点划分为饱和高光点；若方差大于该阈值，则将该点划分为非饱和高光点。步骤A3中，利用本征图像分解的方法从某一视点或多个视点图像中分离光照的影响，获取相对稳定的本征反射属性。步骤A3中，本征图像分解算法中添加全局纹理约束，利用不相邻但具有相同纹理特性的像素恢复出高光区域的本征反射信息。所述步骤A4中，使用原四维光场图像I对非饱和高光点修复后的光场图像Id(x,y,u,v)进行初始化，再利用多视点下局部区域特性分离的漫反射分量Dm和相应非饱和高光点的本征反射属性Di，将两者按照设定的权重组合并修复非饱和高光点的漫反射信息，如下式：Id(x，y，u，v)＝wmDm(x，y，u，v)+wiDi(x，y，u，v)其中(u,v)表示光线的角度域坐标，(x,y)表示非饱和高光点的空间域坐标，wm和wi为设定的权重。所述步骤A4中，从多视点下局部区域特性分离漫反射分量，对每一非饱和高光点，利用非饱和高光点在不同视点下的像素集合按照聚类算法分为两类，漫反射和镜面反射结合类、仅含漫反射类，计算两类类别中心M1和M2及置信度，利用置信度和邻域窗口处理，从光场图像中减去镜面反射分量，得到漫反射分量Dm。所述步骤A5中，使用非饱和高光点修复后的光场图像Id对饱和高光点修复后的光场图像Ir(x,y,u,v)进行初始化，对饱和高光点，利用邻域漫反射分量的加权和Dn和相应饱和高光点的本征反射属性Di，将两者按照设定的权值进行组合修复饱和高光点的颜色信息，如下式：Ir(x，y，u，v)＝wnDn(x，y，u，v)+wiDi(x，y，u，v)其中(u,v)表示光线的角度域坐标，(x,y)表示饱和高光点的空间域坐标，wn和wi为设定的权重。至此，非饱和高光点及饱和高光点的漫反射信息均得到修复，输出高光修复后的光场图像。Dn通过以下公式计算：Dn(x,y,u,v)＝∑m＝1,...kweightmId(xm,ym,u,v)weightm＝1/2m其中，m表示Φ中像素距饱和像素p的距离从小到大排序的序号，从1取到k,(xm,ym)表示Φ中距离p第m小的像素空间域坐标，weightm表示Φ中距离p第m小的像素对应的权值。所述步骤A1中，四维光场图像可利用多视点成像设备采集，所述多视点成像设备采集包括相机阵列或光场相机。本专利技术的有益效果：本专利技术将高光场景点划分为饱和高光点与非饱和高光点，针对不同类型，综合其在不同视点下的颜色、强度以及本征反射属性，采用对应方法进行高光修复，利用本专利技术能够提高类似Lytro等光场相机或基线较小的相机阵列拍摄的含有高光表面的图像质量，恢复其原有纹理、颜色特征，应用于三维重建、图像分割等领域，能有效提升场景三维重建质量和图像分割的准确性。附图说明图1为本专利技术基于光场图像的高光区域修复方法一种实施例的流程图。具体实施方式以下对本专利技术的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。参阅图1，在一种实施例中，本专利技术所提出的一种基于光场图像的高光区域修复方法，所述方法如下：步骤A1：输入一幅四维光场图像(可利用多视点成像设备采集，如相机阵列、光场相机等)，以及对应深度图像步骤A2：从四维光场图像提取中心视点图像，初步确定高光目标点的空间域坐标，依照已知的深度图像对光场图像进行重聚焦，获取高光目标点的角度域特性并划分成饱和高光点与非饱和高光点步骤A3：对某一视点或多个视点的图像进行本征图像分解，得到图像本征反射属性，找到高光目标点对应的本征反射信息步骤A4：对非饱和高光点，利用多视点下的局部区域特性分离出漫反射分量，结合A3确定的本征反射属性，对其进行修复步骤A5：对饱和高光点，利用临近像素点的漫反射分量进本文档来自技高网...

【技术保护点】
一种基于多视点的高光图像修复方法，其特征在于，所述方法包括：A1：获取四维光场图像以及对应的深度图像；A2：从四维光场图像提取中心视点图像，初步确定高光目标点的空间域坐标，依照输入的深度图像对四维光场图像进行重聚焦，获取高光目标点的角度域特性并划分成饱和高光点与非饱和高光点；A3：对一个视点或多个视点的图像进行本征图像分解，得到图像本征反射属性，找到高光目标点对应的本征反射信息；A4：对非饱和高光点利用多视点下的局部区域特性分离出漫反射分量，结合步骤A3确定的本征反射信息，对非饱和高光点进行修复；A5：对饱和高光点，利用临近像素点的漫反射分量进行传播，结合步骤A3确定的本征反射信息，对饱和高光点进行修复。

【技术特征摘要】
1.一种基于多视点的高光图像修复方法，其特征在于，所述方法包括：A1：获取四维光场图像以及对应的深度图像；A2：从四维光场图像提取中心视点图像，初步确定高光目标点的空间域坐标，依照输入的深度图像对四维光场图像进行重聚焦，获取高光目标点的角度域特性并划分成饱和高光点与非饱和高光点；A3：对一个视点或多个视点的图像进行本征图像分解，得到图像本征反射属性，找到高光目标点对应的本征反射信息；A4：对非饱和高光点利用多视点下的局部区域特性分离出漫反射分量，结合步骤A3确定的本征反射信息，对非饱和高光点进行修复；A5：对饱和高光点，利用临近像素点的漫反射分量进行传播，结合步骤A3确定的本征反射信息，对饱和高光点进行修复。2.如权利要求1所述的方法，其特征在于，步骤A1中，采用图像深度估计方法或主动深度测量方法提取场景对应的深度图像，采用四维光场的双平面模型表示光场，光场图像I＝I(x,y,u,v)，其中(u,v)表示光线的角度域坐标，(x,y)表示其空间域坐标。3.如权利要求1所述的方法，其特征在于，步骤A2中，对高光点进行检测和分类，针对中心视点图像，采用亮度阈值设定的方法，找出中心视点下高光目标点的空间域坐标，结合深度图像对光场图像进行重聚焦，找到高光目标点在各个视点下的对应像素，作为该点的像素集合，计算集合内像素RGB值的方差，若方差小于某一设定阈值，则将该点划分为饱和高光点；若方差大于该阈值，则将该点划分为非饱和高光点。4.如权利要求1所述的方法，其特征在于，步骤A3中，利用本征图像分解的方法从某一视点或多个视点图像中分离光照的影响，获取相对稳定的本征反射属性。5.如权利要求4所述的方法，其特征在于，步骤A3中，本征图像分解算法中添加全局纹理约束，利用不相邻但具有相同纹理特性的像素恢复出高光区域的本征反射信息。6.如权利要求1所述的方法，其特征在于，所述步骤A4中，使用原四维光场图像I对非饱和高光点修复后的光场图像Id(x,y,u,v)进行初始化，再利用...

【专利技术属性】
技术研发人员：王好谦，许晨雪，王兴政，方璐，张永兵，戴琼海，
申请(专利权)人：深圳市未来媒体技术研究院，清华大学深圳研究生院，
类型：发明
国别省市：广东,44