一种光场相机的两步标定方法技术

一种光场相机的两步标定方法，以光场相机成像模型为基础，第一步通过提取中心子孔径图像中的特征点坐标，利用等效相机投影模型实现主透镜参数的标定；第二步结合光场视差与物体深度的约束关系，拟合求解微透镜参数，经过两步标定得到光场相机的物理参数。本发明专利技术基于光场相机的成像原理，建立了一种可退化到传统相机的投影模型，尤其是针对非聚焦型光场相机提出了一种更为通用的两步标定方法。通过对光场相机成像模型的推导，将中心子孔径图像等效为传统相机图像，从而将经典张正友平面标定法应用到光场相机标定中，通过推导光场视差与深度的约束关系，实现直线拟合求解微透镜参数的方法。

A Two-step Calibration Method for Light Field Camera

【技术实现步骤摘要】
一种光场相机的两步标定方法
本专利技术涉及相机标定技术，涉及基于非聚焦型光场相机的标定，用于为基于光场相机的三维成像提供技术参数，为一种光场相机的两步标定方法。
技术介绍
传统的相机标定算法基于针孔模型，首先拍摄标定板图像，标定板即每个特征点的空间位置都经事先测准的基准板，再根据特征点的图像坐标与真实三维空间坐标的投影映射关系，求解得到相机的内外参数。而针对光场相机的标定，目前的主要方法是建立与传统模型不同的光场相机投影模型，利用多平面的参数化结构描述投影映射关系，再通过拍摄标定板图像标定光场相机参数。但是此类方法存在一定的缺陷，由于光场相机的投影模型相比于传统相机的针孔模型发生了改变，上述方法的标定结果通常只能获得光场相机的投影矩阵，而无法求解出具有物理意义的光学参数，如子孔径宽度、微透镜焦距等。目前针对光场相机尚未有高效且通用的标定方法。
技术实现思路
本专利技术要解决的问题是：现有针对光场相机的标定方法建立在光场相机的投影模型基础上，只能获得光场相机的投影矩阵，无法求解得到具有物理意义的光学参数，不能满足使用需求。本专利技术的技术方案为：一种光场相机的两步标定方法，针对非聚焦型光场相机，以光场相机投影模型为基础，把每个微透镜视为一个等效像元，将传统相机投影模型等效为光场相机投影模型的一种退化表达，再利用传统标定算法进行标定，包括两步：第一步，提取光场相机的子孔径图像，定义主镜头光心位置的子孔径图像为中心子孔径图像，通过提取中心子孔径图像中的点的坐标，将中心子孔径图像等效视为传统相机图像，由中心子孔径图像根据张正友平面标定法标定主透镜的内外参数，实现主透镜参数的标定；第二步，由空间中一点的三维坐标，及该点入射到光场相机时通过主镜头平面的位置坐标，可确定该点在微透镜平面上的坐标，结合光场视差与物体深度的约束关系，拟合求解得到微透镜参数，所述光场视差指物点P在任意两幅相邻子孔径图像的视差；经过两步标定得到光场相机的物理参数。第一步标定具体为：1)采集标定板图像，固定光场相机，使用光场相机对不同角度的同一块标定板进行拍摄；2)从光场相机采集的原始图像中解码四维光场信息，并提取子孔径图像，解码过程包括：微图像中心提取、微图像倾斜校正、微图像分割及色彩校正，所述微图像指光线经过一个微透镜后成的像，解码得到的四维光场L(s,t,x,y)，通过下式转换为子孔径图像：其中(s,t)表示光线经过主透镜平面的坐标，表征方向信息，(x,y)表示光线入射微透镜平面的坐标，表征位置信息，I(x,y)表示在(x,y)处的微透镜在(s0,t0)到(s0+Δs,t0+Δt)孔径范围内的光线积分；3)把每个微透镜视为一个等效像元，将中心子孔径图像的像素坐标视为传统相机投影模型的图像像素坐标，等效像元宽度视为像素物理尺寸，对中心子孔径图像根据张正友平面标定法标定主透镜的内外参数。作为优选方式，所述标定板表面至少具有4个白色圆图案，圆越多对标定准确度的提升越大，并且白色圆圆心按照水平、竖直方向排列，相邻圆心间的间距相等。第二步标定具体为：4)计算光场视差,对提取的所有子孔径图像，计算其特征点坐标，而后将特征点坐标在极图中表示，由于物空间同一特征点对应的不同像点在极图中呈一条直线，因此通过直线拟合的方法确定每个特征点对应的极图直线，从而计算其光场视差；5)获取特征点深度，根据第一步标定得到的主透镜外参数矩阵M2,对于每一个特征点在世界坐标系下的坐标pw＝(xw,yw,zw)，均可得到其在相机坐标系下的坐标(xc,yc,zc)＝pc＝M2pw，zc即为该特征点的深度；6)拟合求解微透镜参数，对于每一个特征点，步骤4)5)分别计算出了其光场视差与深度，存在下式所示的约束关系：其中，hm为物距，h′m为像距，Δx为物点P在任意两幅相邻子孔径图像的视差，d为相邻微透镜中心间距，q为像素宽度，D为子孔径宽度，b为微透镜焦距，据此通过最小二乘拟合的方法标定参数b、D及hm的值，完成微透镜参数的标定。作为优选方式，对两步标定得到的参数进行非线性优化：采用Levenberg-Marquardt算法进行非线性优化，优化目标是使得特征点的重投影误差最小，优化的参数为光场相机主透镜及微透镜的所有物理参数。针对现有技术存在的问题，本专利技术基于光场相机的成像原理，建立了一种可退化到传统相机的投影模型，尤其是针对非聚焦型光场相机提出了一种更为通用的两步标定方法。通过对光场相机成像模型的推导，将中心子孔径图像等效为传统相机图像，从而将经典张正友平面标定法应用到光场相机标定中，通过推导光场视差与深度的约束关系，实现直线拟合求解微透镜参数的方法，由此求解得到具有物理意义的光学参数。附图说明图1为光场相机投影模型，(a)为整体投影模型，(b)表示图像坐标系，(c)为微透镜平面坐标系。图2为本专利技术投影模型中的相似变换关系，(a)为D与q的线性关系示意图，(b)为s与u的线性关系示意图。图3为本专利技术中退化的等效投影模型。图4为本专利技术中重投影误差模型，(a)显示了传统相机的情况，(b)显示了光场相机的情况。图5为本专利技术中标定算法流程图。图6为本专利技术中圆标定板。图7为本专利技术中光场相机与标定板的位置关系。图8为本专利技术中重投影误差结果，(a)为初始值结果，(b)为非线性优化后的结果。具体实施方式本专利技术提供了一种基于非聚集型光场相机的两步标定方法，该方法采用光场相机对不同角度的标定板进行拍摄，通过提取中心子孔径图像，首先标定主透镜参数。再根据光场视差与深度的约束关系，拟合获得微透镜参数，从而完成光场相机的标定。本专利技术可以用于为基于光场相机的三维成像提供技术参数，适用于工业检测、医学检测等诸多领域。本专利技术以光场相机投影模型为基础，把每个微透镜视为一个等效像元，将传统相机投影模型，即针孔投影模型，等效为光场相机投影模型的一种退化表达，在此基础上利用传统标定算法对光场相机进行标定，包括两步：第一步，提取光场相机的子孔径图像，定义主镜头光心位置的子孔径图像为中心子孔径图像，通过提取中心子孔径图像中的点的坐标，将中心子孔径图像等效视为传统相机图像，由中心子孔径图像根据张正友平面标定法标定主透镜的内外参数，实现主透镜参数的标定。1)采集标定板图像，固定光场相机，使用光场相机对不同角度的同一块标定板进行拍摄；所述标定板表面至少具有4个白色圆图案，圆越多对标定准确度的提升越大，并且白色圆圆心按照水平、竖直方向排列，相邻圆心间的间距相等。2)从光场相机采集的原始图像中解码四维光场信息，并提取子孔径图像，解码过程包括：微图像中心提取、微图像倾斜校正、微图像分割及色彩校正，微图像指光线经过一个微透镜后成的像，如图1(b)中的一个圆，4个圆即为4个微图像。解码得到的四维光场L(s,t,x,y)，通过下式转换为子孔径图像：其中(s,t)表示光线经过主透镜平面的坐标，表征方向信息，(x,y)表示光线入射微透镜平面的坐标，表征位置信息，I(x,y)表示在(x,y)处的微透镜在(s0,t0)到(s0+Δs,t0+Δt)孔径范围内的光线积分；3)把每个微透镜视为一个等效像元，将中心子孔径图像的像素坐标视为传统相机投影模型的图像像素坐标，等效像元宽度视为像素物理尺寸，对中心子孔径图像根据张正友平面标定法标定主透镜的内外参数。本文档来自技高网...

【技术保护点】
1.一种光场相机的两步标定方法，其特征是针对非聚焦型光场相机，以光场相机投影模型为基础，把每个微透镜视为一个等效像元，将传统相机投影模型等效为光场相机投影模型的一种退化表达，再利用传统标定算法进行标定，包括两步：第一步，提取光场相机的子孔径图像，定义主镜头光心位置的子孔径图像为中心子孔径图像，通过提取中心子孔径图像中的点的坐标，将中心子孔径图像等效视为传统相机图像，由中心子孔径图像根据张正友平面标定法标定主透镜的内外参数，实现主透镜参数的标定；第二步，由空间中一点的三维坐标，及该点入射到光场相机时通过主镜头平面的位置坐标，可确定该点在微透镜平面上的坐标，结合光场视差与物体深度的约束关系，拟合求解得到微透镜参数，所述光场视差指物点P在任意两幅相邻子孔径图像的视差；经过两步标定得到光场相机的物理参数。

【技术特征摘要】
1.一种光场相机的两步标定方法，其特征是针对非聚焦型光场相机，以光场相机投影模型为基础，把每个微透镜视为一个等效像元，将传统相机投影模型等效为光场相机投影模型的一种退化表达，再利用传统标定算法进行标定，包括两步：第一步，提取光场相机的子孔径图像，定义主镜头光心位置的子孔径图像为中心子孔径图像，通过提取中心子孔径图像中的点的坐标，将中心子孔径图像等效视为传统相机图像，由中心子孔径图像根据张正友平面标定法标定主透镜的内外参数，实现主透镜参数的标定；第二步，由空间中一点的三维坐标，及该点入射到光场相机时通过主镜头平面的位置坐标，可确定该点在微透镜平面上的坐标，结合光场视差与物体深度的约束关系，拟合求解得到微透镜参数，所述光场视差指物点P在任意两幅相邻子孔径图像的视差；经过两步标定得到光场相机的物理参数。2.根据权利要求1所述的一种光场相机的两步标定方法，其特征是第一步标定具体为：1)采集标定板图像，固定光场相机，使用光场相机对不同角度的同一块标定板进行拍摄；2)从光场相机采集的原始图像中解码四维光场信息，并提取子孔径图像，解码过程包括：微图像中心提取、微图像倾斜校正、微图像分割及色彩校正，所述微图像指光线经过一个微透镜后成的像，解码得到的四维光场L(s,t,x,y)，通过下式转换为子孔径图像：其中(s,t)表示光线经过主透镜平面的坐标，表征方向信息，(x,y)表示光线入射微透镜平面的坐标，表征位置信息，I(x,y)表示在(x,y)处的微透镜在(s0,t0)到(s0+Δs,t0+Δt)孔径范围内的光线积分；3)把每个微透镜视为一个等效像元，将中心子孔径图像的像素坐标视为传统相...

【专利技术属性】
技术研发人员：周平，蔡维嘉，于云雷，
申请(专利权)人：英特科利江苏医用内窥影像技术有限公司，
类型：发明
国别省市：江苏,32