一种聚焦型光场相机的渲染方法和系统技术方案

本发明专利技术公开了一种聚焦型光场相机的渲染方法和系统，该方法包括：S1.输入聚焦型光场相机拍摄的图片，记录每个微透镜和子孔径图的位置信息和中心位置；S2.根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小；S3.在每一个子孔径图的中心位置，取一个半径为R的正六边形区域块；S4.将正六边形区域块，按子孔径图的顺序平铺合并得合并图；S4.对合并图进行处理，得到最终渲染图。该方法利用微透镜阵列的六边形排列特性，通过对微透镜子孔径图取正六边形的区域块，在渲染过程中，无需经过坐标系的变换，能有效减少聚焦型光场相机的渲染方法的计算量。

Method and system for rendering focus type light field camera

The invention discloses a focusing light field camera rendering method and system, the method includes: S1. input image focusing light field camera, recording position information and the center position of each micro lens and sub aperture map; S2. image to focus according to the plane, calculate the depth of field, according to the depth of field to determine the radius the size of R; S3. in the center of each sub aperture image, a radius of hexagonal block R; S4. hexagonal block, according to the order of sub aperture tiled map combined with S4. on the map; the combined image processing, the final renderings. This method uses the orientation characteristics of microlens array with hexagonal, through the regional block on the micro lens aperture for hexagonal, in the process of rendering, without coordinate transformation, can effectively reduce the amount of computation method of rendering the camera focal Xingguang field.

【技术实现步骤摘要】
一种聚焦型光场相机的渲染方法和系统
本专利技术属于光场相机的渲染
，特别涉及一种聚焦光场相机的渲染方法和系统。
技术介绍
光场相机是一种能记录光线方向和位置信息的装置，与传统相机相比，在结构上多一个微透镜阵列，采用这种装置得到图像的过程即为光场成像。光场成像作为成像技术中的一个新的方向，它可以实现拍摄后无需机械对焦，而是通过图像处理计算实现再聚焦，并且可以实现3D重建和多目标点聚焦等，这些特点都使得它在未来的生活中将会有很大的发展空间。光场相机可以同时捕捉到场景的空间(或位置)和方向(或角度)信息，即光场的四维信息。这样，在一次曝光后记录到的光场利用软件就可以聚焦在任意位置，也就是再聚焦。第一代手持式光场相机于2005年出现，但是这种装置得到的最终图像分辨率受微透镜个数影响，其最大空间分辨率为其微透镜数目，限制了传统光场相机的发展。为提高图像分辨率，提出了第二代光场相机，又称为聚焦型光场相机。第二代与第一代的主要区别是微透镜阵列与图像传感器的间距可调，这样就可以使微透镜聚焦在主透镜的像面上，而不是主透镜平面上。这种装置可以使图像空间分辨率和方向分辨率之间有个很好的权衡关系，同时可以提高图像的空间分辨率，使图像看起来更加清晰。光场相机中必不可少的一步是后期图像的处理，一般采用光场渲染技术。光场相机渲染技术是指基于图像渲染技术的场景的获取及重现的一种实现方法，后期渲染处理的好坏直接影响图像的最终成像质量。从原始图像的每一个微透镜子孔径图像中选取中间一个区域块得到的图像，即为渲染处理的过程。区域块的大小与场景的深度有关，可以人为确定，也可以由其深度信息确定，在不同的场景中使用不同的大小。在传统的渲染方法中，区域块所取的形状为正方形，而聚焦型光场相机的微透镜阵列通常采用正六边形的排列方式，故在渲染过程中，需要先经过一个正六边形坐标系到正交坐标系的转换，其渲染方法的计算量大，影响渲染的速率。
技术实现思路
为解决上述问题，本专利技术提供了一种聚焦型光场相机的渲染方法和系统，其能避免坐标系的转换，减少渲染方法的计算量。本专利技术提供一种聚焦型光场相机的渲染方法，该方法包括如下步骤：S1.输入聚焦型光场相机拍摄的图片，记录每个微透镜和子孔径图的位置信息和中心位置；S2.根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小；S3.在每一个子孔径图的中心位置，取一个半径为R的正六边形区域块；S4.将正六边形区域块，按子孔径图的顺序平铺合并得合并图；S5.对合并图进行处理，得到最终渲染图。优选地，所述步骤S2需要重聚焦的平面图像为单个时，在不同景深处选取相同的半径R，该重聚焦平面图像的景深人为确定。优选地，所述步骤S2需要重聚焦的平面图像为全平面时，在不同景深处选取不同的半径R，各平面图像的景深根据深度估计的方法计算得到，再通过深度值与R的关系表中查找确定R的大小。优选地，所述步骤S2需要重聚焦的平面图像为单个时，在不同景深处选取相同的半径R，该重聚焦平面图像的深度根据深度估计的方法计算得到，再通过深度值与R的关系表中查找确定R的大小。优选地，所述步骤S3的正六边形为纵向正六边形。正六边形的方向根据微透镜排列方式进行调整。如微透镜排列方式为横向，则正六边形的方向为纵向；如微透镜排列方式为纵向，则正六边形的方向为横向。优选地，步骤S4的正六边形区域块的边缘像素通过四舍五入的方法进行整数化。优选地，步骤S5对对合并图的处理为：取出其中最大的矩形块，舍弃多余的边角信息。优选地，步骤S5对合并图的处理为：对合并图中六边形区域块内的每个像素，对其原始图像中像素点相隔(μ-R)处的值求平均得到输出图像给定的一点像素值，其中μ为微透镜的大小；再对合并图取出其中最大的矩形块，舍弃多余的边角信息。进一步地优选，对其原始图像中像素点相隔(μ-R)处的值求平均的表达公式如下：其中，fi(x)＝pi+q′μ＝R(a/b)i＝0,±1,±2,Li的绝对值有一个确定的上限值；a,b分别为微透镜平面到传感器平面、主透镜成像平面的距离，pi为微透镜位置，fi(x)为输出图像中一点x在原始图像中所对应的偏移数为i处的位置，为fi(x)处所对应的像素值，ωi为其权重，与fi(x)有关，q为偏移量，q′为实际偏移量。本专利技术还提供一种聚焦型光场相机的渲染系统，该系统包含如下模块：记录模块、半径模块、分块模块、合并模块、处理模块；记录模块用于记录每个微透镜和子孔径图的位置信息及其中心位置；半径模块用于根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小；分块模块用于将每一个子孔径图中心位置，取一个半径为R的正六边形区域块；合并模块用于将正六边形区域块，按子孔径图的顺序平铺合并得合并图；处理模块用于对合并图进行处理，得到最终渲染图。本专利技术的有益效果为：利用微透镜阵列的六边形排列特性，通过对微透镜子孔径图取正六边形的区域块，在渲染过程中，无需经过坐标系的变换，能减少聚焦型光场相机的渲染方法的计算量。在本专利技术的优选的方案中，还具有如下的有益效果：通过人为确定图形景深，在不同景深处选取相同的半径R，可以实现单个平面图像的重聚焦。通过深度估计计算各平面图像的景深，在不同景深处选取不同的半径R，可以实现全图像清晰，有效消除图像中的Artifacts，改善最终渲染图的图像质量。通过深度估计计算各平面图像的景深，在不同景深处选取相同的半径R，再对合并图中六边形区域块内的每个像素，对其原始图像中像素点相隔(μ-R)处的值求平均得到输出图像给定的一点像素值，可以实现单个平面图像，即特定深度的图像重聚焦，且无Artifacts。通过对正六边形区域块的边缘像素进行四舍五入的方法进行整数化，使平铺合并时，相对两条边上的像素能很好地互补，减少最终渲染出图像的像差。附图说明图1为本专利技术实施例流程示意图。图2为本专利技术实施例聚焦光场相机光学结构示意图，A为传感器，B为微透镜阵列，C为像平面，D为主透镜，E为物体。图3为本专利技术实施例微透镜实际排列方式示意图。图4为本专利技术实施例对单个子孔径图取正六边形区域块方法示意图。图5为本专利技术实施例对所有子孔径图取正六边形区域块示意图。图6为本专利技术实施例正六边形区域块排列示意图。图7为本专利技术实施例边界处理示意图。具体实施方式下面结合附图对本专利技术的实施方式做进一步的说明，具体过程如下，其流程示意图如图1所示。S1.输入聚焦型光场相机拍摄的图片，记录每个微透镜和子孔径图的位置信息和中心位置。S2.根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小。S3.在每一个子孔径图的中心位置，取一个半径为R的正六边形区域块。S4.将正六边形区域块，按子孔径图的顺序平铺合并得合并图；S5.对合并图进行处理，得到最终渲染图。光场相机是获取光场信息的装置，包信息含空间位置和方向的四维光辐射场。因此每个传感器单元捕捉到的是物体从特定角度发出的光线，不仅记录了光线的位置信息，也记录了其方向信息，实际上是四维全光函数的采样。但传统光场相机存在空间分辨率太低的缺点，聚焦光场相机则提供了一种空间分辨率和角度分辨率的折中，其光学结构示意图如图2所示。微透镜排列方式本文档来自技高网...

【技术保护点】
一种聚焦型光场相机的渲染方法，其特在于，包括如下步骤：S1.输入聚焦型光场相机拍摄的图片，记录每个微透镜和子孔径图的位置信息和中心位置；S2.根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小；S3.在每一个子孔径图的中心位置，取一个半径为R的正六边形区域块；S4.将正六边形区域块，按子孔径图的顺序平铺合并得合并图；S5.对合并图进行处理，得到最终渲染图。

【技术特征摘要】
1.一种聚焦型光场相机的渲染方法，其特在于，包括如下步骤：S1.输入聚焦型光场相机拍摄的图片，记录每个微透镜和子孔径图的位置信息和中心位置；S2.根据需要重聚焦的平面图像，计算其景深，根据景深确定半径R的大小；S3.在每一个子孔径图的中心位置，取一个半径为R的正六边形区域块；S4.将正六边形区域块，按子孔径图的顺序平铺合并得合并图；S5.对合并图进行处理，得到最终渲染图。2.如权利要求1所述的方法，其特征在于，所述步骤S2需要重聚焦的平面图像为单个时，在不同景深处选取相同的半径R，重聚焦平面图像的景深人为确定。3.如权利要求1所述的方法，其特征在于，所述步骤S2需要重聚焦的平面图像为全平面时，在不同景深处选取不同的半径R，各平面图像的景深根据深度估计的方法计算得到，再通过深度值与R的关系表中查找确定R的大小。4.如权利要求1所述的方法，其特征在于，所述步骤S2需要重聚焦的平面图像为单个时，在不同景深处选取相同的半径R，该重聚焦平面图像的深度根据深度估计的方法计算得到，再通过深度值与R的关系表中查找确定R的大小。5.如权利要求1所述的方法，其特征在于，所述步骤S3的正六边形为纵向正六边形。6.如权利要求1所述的方法，其特征在于，所述步骤S4的正六边形区域块的边缘像素通过四舍五入的方法进行整数化。7.如权利要求2或3所述的方法，其特征在于，所述步骤S5对合并图的处理为：取出其中最大的矩形块，舍弃多余的边角信息。8.如权利要求4所述的方法，其特征在于，所述步...

【专利技术属性】
技术研发人员：王好谦，刘帝，刘烨斌，王兴政，张永兵，戴琼海，
申请(专利权)人：深圳市未来媒体技术研究院，清华大学深圳研究生院，
类型：发明
国别省市：广东,44