一种光场相机的子孔径图像对齐方法技术

本发明专利技术公开了一种光场相机的子孔径图像对齐方法，包括：采用光场相机拍摄第一光场图像，再将光场相机沿轴向移动预定间距后拍摄第二光场图像；分别提取第一、第二光场图像的子孔径图像；分别从第一、第二光场图像的子孔径图挑选中心子孔径图像及其相邻的子孔径图像，计算目标物体分别在第一、第二光场图像的子孔径图像中的视差；根据预定间距以及两组视差，计算光场相机的聚焦平面和目标物体的相对位置；根据该相对位置，沿轴向移动光场相机直至目标物体与光场相机的聚焦平面重合，拍摄新的光场图像，并从新的光场图像中提取子孔径图像，输出对齐的子孔径图像。本发明专利技术能够在所有的子孔径图像中对齐目标物体，并提高子孔径图像对齐方法的精准度。

【技术实现步骤摘要】
一种光场相机的子孔径图像对齐方法
本专利技术涉及计算机视觉与数字图像处理领域，尤其涉及一种光场相机的子孔径图像对齐方法。
技术介绍
光场相机在计算机视觉领域的应用引发了研究者们的广泛关注。2005年，斯坦福大学的Ng和Levoy首先提出手持式光场相机的原型。不同于传统相机，光场相机的主镜头和传感器平面之间插入了一块微透镜阵列。借助于特殊的几何关系，光场相机利用微透镜阵列和传感器平面记录了空间中光线的强度和方向。2013年Dansereau等人提出了一套光场相机的解码、标定、校正和去噪方法，实现了光场相机子孔径图像的提取。2017年，Mignard等人提出了将光场相机等价为相机阵列的光场相机等效结构。子孔径图像对齐的实现是很多问题的基础问题，例如：虚拟现实、增强现实、光场超分辨等。现有子孔径图像对齐的方法有两种：基于视差模型的对齐方法和基于单映性变换模型的对齐方法。基于视差模型的对齐方法计算某一子孔径图像和其余子孔径图像的视差，并依据此视差对其余子孔径图像进行平移。基于单映性变换模型的对齐方法计算某个子孔径图像和其余子孔径图像之间的单映性变换矩阵，并根据此单映性变换矩阵对其余子孔径图像进行映射。考虑到子孔径图像之间的视差非常小，现有的子孔径图像对齐方法的精准度都不高。以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
为了提高子孔径图像对齐方法的精准度，本专利技术提出一种光场相机的子孔径图像对齐方法，能够在所有的子孔径图像中对齐目标物体。为了达到上述目的，本专利技术采用以下技术方案：本专利技术提出了一种光场相机的子孔径图像对齐方法，包括以下步骤：A1：采用光场相机拍摄第一光场图像，再将所述光场相机沿轴向移动预定间距后拍摄第二光场图像；A2：分别提取所述第一光场图像和所述第二光场图像的子孔径图像；A3：分别从步骤A2中的所述第一光场图像和所述第二光场图像的子孔径图像中挑选中心子孔径图像及其相邻的子孔径图像，计算目标物体分别在所述第一光场图像和所述第二光场图像的子孔径图像中的视差；A4：根据所述预定间距以及步骤A3计算得到的两组视差，计算所述光场相机的聚焦平面和目标物体的相对位置；A5：根据步骤A4得到的所述光场相机的聚焦平面和目标物体的相对位置，沿轴向移动所述光场相机直至目标物体与光场相机的聚焦平面重合，拍摄新的光场图像，并从新的光场图像中提取子孔径图像，输出对齐的子孔径图像。与现有技术相比，本专利技术的有益效果在于：本专利技术中光场相机的子孔径图像对齐方法通过在轴线上不同位置处拍摄两张光场图像并记录它们的间距，分别提取子孔径图像，并分别计算目标物体在提取出的子孔径图像中的视差，进而基于光场相机的等效模型，推导光场相机的聚焦平面和目标物体的相对位置与视差之间的关系，从而计算光场相机的聚焦平面和目标物体的相对位置，然后沿轴向移动相机直到目标物体与相机的聚焦平面重合，保持相机参数并拍摄新的光场图像，即可从新的光场图像中提取出目标物体已经对齐的子孔径图像；通过本专利技术的光场相机的子孔径图像的对齐方法可以获取目标物体已经对齐的子孔径图像，即目标物体在所有子孔径图像中没有视差。相对于现有的子孔径图像对齐方法，本专利技术的子孔径图像对齐方法对于图像处理方法的依赖非常低，引入的误差非常少，进而大大提高精准度。附图说明图1是本专利技术优选实施例的光场相机的子孔径图像对齐方法的流程示意图；图2是本专利技术优选实施例的光场相机的等效结构图；图3是本专利技术优选实施例的将光场相机的等效结构用于计算视差的光路图。具体实施方式下面对照附图并结合优选的实施方式对本专利技术作进一步说明。如图1所示，本专利技术优选实施例的光场相机的子孔径图像对齐方法，包括以下步骤：A1：拍摄并输入光场数据：拍摄第一光场图像，保持相机参数，将光场相机沿轴向(相机与物体连线方向)移动预定间距后，再拍摄第二光场图像，并记录这两张光场图像的预定间距；在本实例中，选择光场相机Illum作为光场图像采集装置，通过滑动导轨对Illum相机进行轴向移动，并且在拍摄光场图像的过程中，始终保持相机参数不变。A2：提取子孔径图像：根据输入的第一光场图像和第二光场图像，提取子孔径图像；在本实例中，从Illum提取出来的子孔径图像共有15×15个，提取出来的子孔径图像的大小为434×625。A3：计算视差：从步骤A2得到的子孔径图像中挑选中心子孔径图像及其相邻的子孔径图像，并计算目标物体在它们中的视差；；在本实施例，步骤A3具体包括以下步骤：A31：在步骤A2中提取到的子孔径图像中挑选中心子孔径图像及其相邻子孔径图像：A32：根据块匹配算法，计算目标物体在步骤A2中挑选出来的中心子孔径和它的某一个相邻子孔径之间的视差：其中，Icen为步骤A31中挑选出来的中心子孔径图像，表示中心子孔径图像Icen的第k个相邻子孔径图像，1≤k≤4，(x,y)和(x+dx,y+dy)表示像素的坐标，其中dx和dy分别表示像素在行和列方向上的偏移，width和height分别表示子孔径图像的列数和行数，d(k)为中心子孔径图像Icen与第k个相邻子孔径图像之间的视差，dx(k)和dy(k)分别表示中心子孔径图像Icen与第k个相邻子孔径图像在行和列方向上的视差；A33：计算中心子孔径图像及其所有相邻子孔径图像之间视差的均值：其中，drow和dcol分别表示中心子孔径图像及其所有相邻子孔径图像在行和列方向上的视差；A34：计算A33中求得的视差在行和列方向上的均值：其中，d表示中心子孔径图像及其所有相邻子孔径图像在行和列方向上的视差的均值；由光场相机的等效结构可知，目标物体在子孔径图像中的视差在行和列方向上等价。因而，式(4)计算得到的结果被认为是目标物体在子孔径图像中的视差。A4：计算相对位置：基于光场相机的等效结构，利用拍摄两幅光场图像时光场相机移动的预定间距和步骤A3获取的两组视差，计算光场相机的聚焦平面和目标物体的相对位置；在本实施例，步骤A4具体包括以下步骤：A41：基于光场相机的等效结构，推导光场相机聚焦平面和目标物体的相对位置与视差之间的关系：如图2所示，光场相机包括传感器平面10、微透镜阵列20、主镜头30、焦平面40和聚焦平面50，其中传感器平面10与微透镜阵列20的间距为fs(也即光场相机内部的微透镜阵列20上每个微透镜的焦距)，微透镜阵列20与主镜头30的间距为v(也即光场相机的像距)，主镜头30与焦平面40的间距为f(也即光场相机的焦距)，主镜头30与聚焦平面50的间距为u。如图3所示，光场相机可以等效为由多个等效相机组成的相机阵列，多个等效相机的主镜头构成等效镜头平面60，等效相机的主镜头在光场相机的焦平面上紧密排列，其中等效相机的主镜头中心的间距为B，表示为下式：其中，f表示光场相机的焦距，fs表示位于光场相机内部的微透镜阵列20上每个微透镜的焦距，Pp表示光场相机传感器平面10上像素的大小；所有的等效相机的成像平面有相同的空间位置，而且彼此成像互不影响；其中所有的等效相机的成像平面均位于等效传感器平面70，此平面位于光场相机的聚焦平面5本文档来自技高网...

【技术保护点】
1.一种光场相机的子孔径图像对齐方法，其特征在于，包括以下步骤：A1：采用光场相机拍摄第一光场图像，再将所述光场相机沿轴向移动预定间距后拍摄第二光场图像；A2：分别提取所述第一光场图像和所述第二光场图像的子孔径图像；A3：分别从步骤A2中的所述第一光场图像和所述第二光场图像的子孔径图像中挑选中心子孔径图像及其相邻的子孔径图像，计算目标物体分别在所述第一光场图像和所述第二光场图像的子孔径图像中的视差；A4：根据所述预定间距以及步骤A3计算得到的两组视差，计算所述光场相机的聚焦平面和目标物体的相对位置；A5：根据步骤A4得到的所述光场相机的聚焦平面和目标物体的相对位置，沿轴向移动所述光场相机直至目标物体与光场相机的聚焦平面重合，拍摄新的光场图像，并从新的光场图像中提取子孔径图像，输出对齐的子孔径图像。

【技术特征摘要】
1.一种光场相机的子孔径图像对齐方法，其特征在于，包括以下步骤：A1：采用光场相机拍摄第一光场图像，再将所述光场相机沿轴向移动预定间距后拍摄第二光场图像；A2：分别提取所述第一光场图像和所述第二光场图像的子孔径图像；A3：分别从步骤A2中的所述第一光场图像和所述第二光场图像的子孔径图像中挑选中心子孔径图像及其相邻的子孔径图像，计算目标物体分别在所述第一光场图像和所述第二光场图像的子孔径图像中的视差；A4：根据所述预定间距以及步骤A3计算得到的两组视差，计算所述光场相机的聚焦平面和目标物体的相对位置；A5：根据步骤A4得到的所述光场相机的聚焦平面和目标物体的相对位置，沿轴向移动所述光场相机直至目标物体与光场相机的聚焦平面重合，拍摄新的光场图像，并从新的光场图像中提取子孔径图像，输出对齐的子孔径图像。2.根据权利要求1所述的光场相机的子孔径图像对齐方法，其特征在于，步骤A3中计算目标物体分别在所述第一光场图像和所述第二光场图像的子孔径图像中的视差具体包括：A32：根据块匹配算法，计算目标物体在中心子孔径图像和它的某一个相邻子孔径图像之间的视差：其中，Icen为中心子孔径图像，表示中心子孔径图像Icen的第k个相邻子孔径图像，1≤k≤4，(x,y)和(x+dx,y+dy)表示像素的坐标，其中dx和dy分别表示像素在行和列方向上的偏移，width和height分别表示子孔径图像的列数和行数，d(k)为中心子孔径图像Icen与第k个相邻子孔径图像之间的视差，dx(k)和dy(k)分别表示中心子孔径图像Icen与第k个相邻子孔径图像在行和列方向上的视差；A33：计算中心子孔径图像及其相邻子孔径图像之间视差的均值：其中，drow和dcol分别表示中心子孔径图像及其所有相邻子孔径图像在行和列方向上的视差；A34：计算目标物体在子孔径图像中的视差：其中，d表示目标物体在子孔径图像中的视差。3.根据权利要求1所述的光场相机的子孔径图像对齐方法，其特征在于，步骤A4具体包括：A41：基于光场相机的等效结构，推导光场相机聚焦平面和目标物体的相对位置与视差之间的关系；A42：结合光场相机聚焦平面和目标物体的相对位置与视差之间的关系以及所述...

【专利技术属性】
技术研发人员：金欣，张恒，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44