一种基于原始图像的四维光场解码预处理方法技术

本发明专利技术公开了一种基于原始图像的四维光场解码预处理方法，该方法包括以下步骤：利用光场成像装置采集场景原始图像；对于原始图像进行标定，得到原始图像的中心坐标集；利用标定信息对原始图像进行重采样处理，获得子孔径图像阵列；对子孔径图像阵列中的边缘子孔径图像进行去渐晕处理，获得去渐晕后的子孔径图像阵列；利用去渐晕后的子孔径图像阵列完成四维光场解码，得到四维光场的参数化表示。本发明专利技术在标定和去渐晕两个关键预处理步骤上突破了传统预处理方法对白图像的依赖限制，提高了光场成像应用灵活性，有助于扩大光场成像的普及应用范围，对促进光场成像应用发展具有积极意义。

A four-dimensional optical field decoding preprocessing method based on original image

The invention discloses a four-dimensional image preprocessing method based on light field decoding, the method comprises the following steps: using the light field imaging device to capture a scene for the original image; the original image calibration, the coordinates of the center from the original image set; using the calibration information of the original image resampling, sub aperture image arrays the edge sub aperture image; sub aperture image array of vignetting to processing, to obtain sub aperture image vignetting array after use; go to the sub aperture image vignetting array after the completion of the 4D light field decoding, get the parametric representation of 4D light field. The present invention in calibration and vignetting two key preprocessing step to break the limit of traditional pretreatment methods on dependent image, improves the light field imaging application flexibility, help expand the popularity of light field imaging applications, has a positive significance to promote the development of light field imaging applications.

【技术实现步骤摘要】
一种基于原始图像的四维光场解码预处理方法
本专利技术属于光场成像、图像处理、计算机视觉等
，涉及一种四维光场解码预处理方法，尤其是一种不依赖于白图像(Whiteimage)的自适应性解码预处理方法。
技术介绍
光场成像利用其特殊的成像结构，能够获取四维的光场数据，显著拓宽图像捕获的数据种类，因此也就能为图像重建带来更多的信息，目前已经在扩大成像景深、深度估计等领域得到应用。光场成像主要有三种形式：微透镜阵列、相机阵列、掩膜及其他。其中，微透镜阵列形式通过放置在主透镜和传感器之间的微透镜阵列来获取光场数据，是目前最常用的光场成像方式。从微透镜阵列形式的光场相机采集到的原始图像(Rawimage)中解码出四维光场信息是进行光场数据处理的首要步骤，而四维光场解码的预处理操作又是决定光场解码准确与否的关键。四维光场解码预处理主要包括标定和去渐晕，其中，标定即是精确定位每一个微透镜所成像的中心位置，利用标定信息对采集到的原始光场图像进行准确四维光场解码，但微透镜阵列并不是完全与传感器像素配准，存在偏移和旋转，因此四维光场解码过程依赖于对光场相机的精确标定，同时，标定信息并不是固定不变的，它会随着相机镜头的变焦等发生变化，所以标定是光场数据处理的关键，也是制约光场图像处理灵活性的瓶颈。去渐晕同时也是四维光场解码预处理的必要环节，它用来消除微透镜对光线的部分阻碍影响，提高光场成像质量。现有的用于解决标定和去渐晕这两大问题的主流方法是采用相同拍摄参数采集一张白图像作为校准模板，通过白图像中微透镜图像的亮度极大值点定位中心完成标定，采用将原始采集图像对应像素与白图像对应像素值相除的方式来达到去渐晕的效果。目前商业化的lytro光场相机预存了关于主镜头不同参数设置的近50张白图像，拍摄过程中根据参数设定找到相匹配的白图像用于解码，用户体验较好但是不能更换镜头。Raytrix可以更换镜头，但要求每次更换镜头或者变焦的时候都要使用匀光器拍摄一幅对应的白图像用于预处理，与传统的单反相机相比使用灵活度差。这些方法虽然在四维光场解码的预处理方面能够取得较好的效果，但仍然受制于白图像，当光场相机更换了镜头或进行了变焦等操作时，都需要重新采集新的白图像用于预处理才能进行进一步的数据处理，这样就极大地影响了光场相机使用的灵活性，进一步限制了光场相机的普及使用。
技术实现思路
针对现有技术中存在的问题，为了突破四维光场解码预处理需基于白图像这一局限，本专利技术提供了一种基于原始图像的白适应的四维光场解码预处理方法，以提高光场成像应用的灵活性。为了实现上述目的，本专利技术提供一种基于原始图像的四维光场解码预处理方法，该方法包括以下步骤：步骤S1，利用光场成像装置采集得到场景原始图像；步骤S2，对于所述原始图像进行标定，得到所述原始图像的中心坐标集gc(x)；步骤S3，利用所述步骤S2获得的标定信息对所述原始图像进行重采样处理，获得子孔径图像阵列；步骤S4，对所述子孔径图像阵列中的边缘子孔径图像进行去渐晕处理，获得去渐晕后的子孔径图像阵列；步骤S5，利用去渐晕后的子孔径图像阵列完成四维光场解码，得到四维光场的参数化表示。本专利技术基于微透镜阵列形式光场成像的特点，将光场成像中的标定问题建模为图像特征配准问题，将退渐晕问题转化为光照校正问题，在将现有成熟算法灵活运用的基础上，提出了一种基于原始图像的四维光场解码预处理方法，以解决预处理过程中关键的标定和去渐晕问题，突破了传统预处理对白图像的依赖，提高了光场成像应用的灵活性，有望扩大光场成像的普及应用范围，促进光场成像的应用发展。附图说明图1为白图像标定示意图，图1(a)为一幅白图像示意图，图1(b)为图1(a)的局部放大图，图1(c)为白图像的标定结果示意图；图2为传统四维光场解码预处理方法的流程图；图3为本专利技术提供的基于原始图像的四维光场解码预处理方法的流程图；图4为光场相机采集原始图像示意图，图4(a)为采集到的原始图像示意图，图4(b)为图4(a)的局部放大图；图5为光场成像过程中的渐晕效果示意图，图5(a)为具有渐晕效果的子孔径图像阵列示意图，图5(b)为图5(a)的中心子孔径图像，图5(c)为图5(a)的边缘子孔径图像；图6为去渐晕后的子孔径图像阵列示意图；图7为本专利技术提供的基于原始图像的标定方法的流程图；图8为光场成像相关标定参数的示意图；图9为本专利技术提供的确定初始关键点集方法的示意图，图9(a)为原始图像示意图，图9(b)为待标定图像示意图，图9(c)为标定区域示意图，图9(d)为初始关键点集示意图；图10为本专利技术提供的去渐晕方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。四维光场解码是进行光场处理的首要步骤，而解码前的预处理过程中的标定和去渐晕操作又是决定解码优劣的关键，目前的预处理操作都是基于白图像展开的。图1(a)即为一幅白图像示意图，图1(b)为图1(a)的局部放大图，标定即是定位微透镜所成像的中心位置，如图1(c)所示。图2为传统四维光场解码预处理方法的流程图，该方法包括以下步骤：步骤S1，光场成像装置采集场景原始图像；步骤S2，光场成像装置在保持与步骤S1成像参数一致的情况下采集一幅白图像；步骤S3，通过白图像中微透镜图像的亮度极大值点定位中心完成标定；步骤S4，将原始图像与白图像对应像素值相除来达到去渐晕效果；步骤S5，利用步骤S3的标定信息对步骤S4去渐晕后的原始场景图像进行重采样处理，获得子孔径图像，重采样方法依据文献D.G.Dansereau，O.Pizarro，andS.B.Williams.Decoding，calibrationandrectificationforlenselet-basedplenopticcameras.InComputerVisionandPatternRecognition(CVPR)，2013IEEEConferenceon.IEEE，2013.步骤S6：利用重采样结果完成四维光场解码，得到四维光场的参数化表示。上述基于白图像的传统预处理方法虽然能够取得较好的效果，但应用过程受白图像所限，当成像装置更换镜头或变焦后，都需要重新采集白图像做预处理，极大地影响了光场成像应用的灵活性。图3为本专利技术提供的基于原始图像的四维光场解码预处理方法的流程图，本专利技术方法突破了传统预处理方法对于白图像的依赖，如图3所示，该方法包括以下步骤：步骤S1，利用光场成像装置采集得到场景原始图像；图4(a)为根据本专利技术一实施例采集到的原始图像的示意图；步骤S2，对于所述原始图像进行标定，得到所述原始图像的中心坐标集gc(x)；图4(b)为图4(a)所示的原始图像的局部放大图，该步骤利用原始图像的微透镜图像边缘信息进行标定，即利用图4(b)中的微透镜图像(白色部分)间隙的黑色部分进行标定；所述步骤S2中的标定操作采用本专利技术提出的基于原始图像的标定方法，如图7所示，所述步骤S2进一步包括以下步骤：步骤S21，根据所述光场成像装置的传感器大小和微透镜阵列数目建立所述原始图像的微透镜阵列中心的初始坐标集g(x)，g(x)=(gv(x)，gh(x)，1)T，其中x为微透镜的索引值，为1到N本文档来自技高网...

【技术保护点】
一种基于原始图像的四维光场解码预处理方法，其特征在于，该方法包括以下步骤：步骤S1，利用光场成像装置采集得到场景原始图像；步骤S2，对于所述原始图像进行标定，得到所述原始图像的中心坐标集g

【技术特征摘要】
1.一种基于原始图像的四维光场解码预处理方法，其特征在于，该方法包括以下步骤：步骤S1，利用光场成像装置采集得到场景原始图像；步骤S2，对于所述原始图像进行标定，得到所述原始图像的中心坐标集gc(x)；步骤S3，利用所述步骤S2获得的标定信息对所述原始图像进行重采样处理，获得子孔径图像阵列；步骤S4，对所述子孔径图像阵列中的边缘子孔径图像进行去渐晕处理，获得去渐晕后的子孔径图像阵列；步骤S5，利用去渐晕后的子孔径图像阵列完成四维光场解码，得到四维光场的参数化表示；所述步骤S2进一步包括以下步骤：步骤S21，根据所述光场成像装置的传感器大小和微透镜阵列数目建立所述原始图像的微透镜阵列中心的初始坐标集g(x)，g(x)＝(gv(x)，gh(x)，1)T，其中，x为微透镜的索引值，为1到N的整数，N为微透镜的个数，gv(x)、gh(x)分别为微透镜阵列中心的垂直和水平坐标值，并设定微透镜阵列中心坐标偏移量的水平分量初始值oh＝0，垂直分量初始值ov＝0；步骤S22，增强所述原始图像中的微透镜图像间隙的暗区域，以建立初始关键点集L；步骤S23，在所述初始关键点集L的范围内，利用所述微透镜阵列中心的初始坐标集g(x)的先验知识估计得到最近邻中心点集gn(x)；步骤S24，计算所述最近邻中心点集gn(x)的有效掩模m(x)；步骤S25，根据所述最近邻中心点集gn(x)及其有效掩模m(x)，在所述最近邻中心点集gn(x)中筛选出有效中心点集gm(x)，并利用有效中心点之间的邻域关系计算各微透镜中心点的水平和垂直步长值sh和sv；步骤S26，利用转换矩阵t＝t(sv，sh，ov，oh)和所述微透镜阵列中心的初始坐标集g(x)，根据公式gt＝g·t计算得到预估计中心坐标集gt(x)；步骤S27，基于所述预估计中心坐标集gt(x)和最近邻中心点集gn(x)计算得到各微透镜中心点的水平和垂直偏移量oh和ov；步骤S28，基于所述步骤S25和步骤S27计算得到的步长值和偏移量，构建新的转换矩阵t＝t(sv，sh，ov，oh)，基于所述微透镜阵列中心的初始坐标集g(x)，并根据公式gc＝g·t计算得到最终中心坐标集gc(x)；所述步骤S22进一步包括以下步骤：步骤S221，将所述原始图像经过反相处理和高斯滤波后得到待标定图像；步骤S222，对于所述待标定图像中亮度值接近最大的区域，采用...

【专利技术属性】
技术研发人员：谭铁牛，孙哲南，侯广琦，张驰，秦娅楠，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11