一种聚焦光场相机内外参数标定方法技术

本发明专利技术公开了一种聚焦光场相机内外参数标定法，包括如下步骤：使用聚焦光场相机拍摄并保存标定板图像；记录标定板图像上的各角点的像点以及对应的微透镜中心在图像坐标系下的坐标，以及角点在世界坐标系下的坐标；计算各虚拟像点在图像坐标系下的坐标；建立标定板上角点与虚拟像点的标定模型，基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵和外部参数；根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离，微透镜阵列与CCD的距离以及虚拟像面与微透镜阵列的距离。与现有技术相比，本发明专利技术能够精确标定聚焦光场相机的全部内外参数，而现有的标定技术无法实现这一目的。

【技术实现步骤摘要】

本专利技术属于光场相机标定
，具体涉及一种聚焦光场相机的内外参数标定 方法。
技术介绍
光场相机，基本机构和原理不同于传统相机，置一个微透镜阵列于主镜头和探测 器之间，每个微透镜接收经主透镜进入的光线后，然后将不同方向的光线聚焦到微透镜下 的不同位置的像素。这样，传感器所有像素被MXN的微透镜阵列划分为MXN个子图像，子图 像中每个像素都对应着某个特定方向的光线，代表着目标某位置的成像。通过微透镜的划 分，探测器同时记录了二维的强度信息和二维的方向信息，构成光场的四维数据。相机不仅 能够记录投射到相机探测器上光线的强度信息，还能够分辨光线的方向，从而实现四维光 场的记录。虚拟焦平面是相机探测器(CCD)关于光场相机的整个成像系统在物空间的共辄 面。虚拟焦平面关于主透镜成像系统有一个共辄面，由于没有成像探测器记录这一像，称作 虚拟像面，虚拟像面关于微透镜阵列也有一个共辄面，即相机的CCD。虚拟光源点，经过这两 个成像单元，最后在CCD上成像。光场相机可根据微透镜与CCD的位置关系分为传统光场相 机和聚焦光场相机，传统光场相机中微透镜阵列与CCD的距离等于微透镜的焦距，聚焦光场 相机中该距离不等于微透镜的焦距。 要根据光场相机拍摄的原始图像，确定各光线的空间方向及位置，获取被拍摄目 标的三维信息，需要通过标定技术确定光场相机的内外参数。传统的相机标定方法如直接 线性变换方法(DLT变换)和径向一致约束法(RAC)。标定过程中需要运用到精密加工的标定 模块，标定模块可以是一维、二维和三维的，通过标定模块上已知的三维坐标点与其图像对 应点之间的对应关系，可以计算出相机的内部和外部参数，估计相机参数的精度较高，可以 使用任意的相机模型来进行标定。目前光场相机标定研究较少，Yunsu Bok提出了基于传统 相机标定方法的光场相机的标定方法，该标定法使用标定模块原始图像中的线性特征来进 行标定。然而，对于聚焦光场相机，光场原始图像有可识别特征点，这些特征点可直接用于 聚焦光场相机的标定，因此不需要使用线性特征。同时，由于聚焦光场相机与传统光场相机 的结构差异，Yunsu Bok提出了基于传统相机标定方法不能进一步计算所有聚焦光场相机 内部参数，包括主透镜（主面)与微透镜阵列的距离L，微透镜阵列与CCD的距离S v以及微透 镜阵列与虚拟像面的距离lm，因而该方法不能用于聚焦光场相机的标定。Ole Johannsen提 出基于传统相机标定方法的聚焦光场相机的标定方法。该标定法使用标定模块原始图像， 建立了基于小孔相机模型的标定模块上已知三维坐标点与其图像对应点之间的对应关系， 通过序列二次规划(SQP)算法优化目标函数来求解该模型，从而计算出相机的内部和外部 参数，然而该方法优化求解时需要较为精确的初始值，否则容易出现局部最优解。
技术实现思路
专利技术目的：针对已有的标定技术无法精确获得聚焦光场相机的全部内外参数，为 了能够计算光线的空间方向及位置或被拍摄目标的空间三维信息，本专利技术提出了一种聚焦 光场相机内外参数标定方法。 基本思路:聚焦光场相机拍摄标定板（印有国际象棋棋盘图案的平板）的图像，将 聚焦光场相机主透镜和各微透镜近视为薄透镜，先根据微透镜成像原理，将光场相机原始 图像上已知的像点（棋盘图案角点）转化成虚拟像面上虚拟像点，再根据主透镜成像原理， 建立虚拟像点与标定板上对应角点之间的数学模型，该模型可利用张正友相机标定算法进 行求解，获得待标定的外部参数和相机部分内部参数，再利用聚焦光场相机F数匹配这一特 性，进一步计算出相机的全部内部参数。 -种聚焦光场相机内外参数标定法，其特征在于，包括如下步骤： 步骤一、在图像上定义图像坐标系U-0-V，每一像素的坐标分别是该像素在数组中 的列数和行数，（u，v)是以像素为单位的图像坐标系坐标;固定聚焦光场相机，转动标定板， 改变标定板平面相对于相机探测面的夹角，从不同角度拍摄并保存η张(η 2 3,通常为4-6) 标定板图像;记录标定板图像上的各角点Μ的像点m以及对应的微透镜中心在图像坐标系下 的坐标，以及角点Μ在世界坐标系下的坐标； 该步骤一在图像上定义图像坐标系υ-ο-ν，ο点称为相机光心，X轴和Υ轴与图像的X 轴与Υ轴平行，Ζ轴为相机的光轴，它与图像平面垂直，由点0与Χ，Υ，Ζ轴组成的直角坐标系为 相机坐标系。在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中任何物 体的位置，该坐标系称为世界坐标系，由Xw，Yw，Zw轴组成。标定板使用棋盘格图案，为保证 标定板图像上的角点坐标能够被精确识别，用高清打印机打印高清晰度的标定板图案，将 标定板和光场相机置于光学平台上，二者相距一定距离，调整标定板的位置，使得光场相机 能够拍摄到全部标定板的图像。变换标定板和光场相机的相对放置角度，拍摄并保存若干 张不同角度下的标定板原始图像(相机CCD直接获得的未经处理的图像）。记录标定板图像 上的各角点Μ的像点m以及对应的微透镜中心在图像坐标系下的坐标，以及角点Μ在世界坐 标系下的坐标。 步骤二、计算各虚拟像点m'在图像坐标系下的坐标： *m \ J'm V ^·ν J 式中，lm是微透镜阵列与CCD的距离，Sv是虚拟像面与微透镜阵列的距离，（Mu，Mv) 是微透镜中心在图像坐标系下的坐标； 将微透镜等效成小孔模型，两个像点过微透镜中心的成像光线交于虚拟像点处， 根据微透镜的放大率匕计算公式，利用步骤一得到的两像点在图像坐标系下的u坐标m、 U2， 微透镜中心在图像坐标系下的U坐标Mul、Mu2计算虚拟像点m '在图像坐标系下的坐标：式中，（U，V)和(Mu，Mv)分别是像点m及其对应微透镜中心在图像坐标系下的坐标。 步骤三、建立标定板上角点Μ与虚拟像点m'的标定模型：[0013[0014 .s-m' = \M 基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵A和外部参 数，其中为相机坐标系与世界坐标系的坐标转换矩阵，R是旋转变换矩阵，t是平移 变换矩阵，A是基于小孔模型的聚焦光场相机主透镜物像转换矩阵；s是比例系数，?'是各 虚拟像点m'在图像坐标系下的坐标τ，Μ是对应角点Μ在世界坐标系下的坐标T； 将主透镜简化成小孔模型，则角点m与虚拟像点m'的对应关系可由下式确定， sfii:' = AM[00211引入单应性矩阵H，上式进一步简化为： = HM 其中， 式中s是比例系数，A是聚焦光场相机主透镜成像的物像(M-m'）转换矩阵，是 世界坐标系与相机坐标系的坐标变换矩阵，其中R是旋转变换矩阵，t是平移变换矩阵。(uo， vo)是主透镜的光心点在图像坐标系下的坐标。L是主透镜与微透镜阵列之间的距离。dx和 dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角(两图像坐标轴 夹角与直角之差）。'是各虚拟像点m'在图像坐标系下的坐标τ，:麻:是对应角点Μ在 世界坐标系下的坐标T。基于张正友标定法求解得到单应性矩阵Η，内部参数矩阵A 和外部参数矩阵。 步骤四、根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离 L，微透镜阵列与(XD的距离Sv以及虚拟像面与微透镜阵列的距离l m; 利用步骤三中得到的α，即（L本文档来自技高网...

【技术保护点】
一种基聚焦光场相机内外参数标定法，其特征在于，包括如下步骤：步骤一、在图像上定义图像坐标系U‑O‑V，每一像素的坐标分别是该像素在数组中的列数和行数，(u，v)是以像素为单位的图像坐标系坐标；固定聚焦光场相机，转动标定板，改变标定板平面相对于相机探测面的夹角，从不同角度拍摄并n张标定板图像；记录标定板图像上的各角点M的像点m以及对应的微透镜中心在图像坐标系下的坐标，以及角点M在世界坐标系下的坐标，其中n≥3；步骤二、计算各虚拟像点m’在图像坐标系下的坐标：[-Svlm(u-(1+lmSv)Mu),-Svlm(v-(1+lmSv)Mv)]]]>式中，lm是微透镜阵列与CCD的距离，Sv是虚拟像面与微透镜阵列的距离，(Mu，Mv)是微透镜中心在图像坐标系下的坐标；步骤三、建立标定板上角点M与虚拟像点m’的标定模型：sm~′=A[R t]M~]]>基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵A和外部参数[Rt]，其中[R，t]为相机坐标系与世界坐标系的坐标转换矩阵，R是旋转变换矩阵，t是平移变换矩阵，A是基于小孔模型的聚焦光场相机主透镜物像转换矩阵；s是比例系数，是各虚拟像点m’在图像坐标系下的坐标[u,v,1]T，是对应角点M在世界坐标系下的坐标[Xw,Yw,1]T；步骤四、根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离L，微透镜阵列与CCD的距离Sv以及虚拟像面与微透镜阵列的距离lm。...

【技术特征摘要】

【专利技术属性】
技术研发人员：许传龙，孙俊，张彪，李健，王式民，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32