一种多相机系统的标定方法及系统技术方案

本申请涉及立体视觉技术领域，提供的一种多相机系统的标定方法及系统，标定系统包括至少两台相机、图像处理器、采集状态评估器、采集状态引导指示器、相机参数第一计算器和相机参数第二计算器，图像处理器用于提取相机拍摄的多帧图像中标记点的2D坐标，采集状态评估器用以评估标定杆在空间中的挥动位置与姿态，相机参数第一计算器用于利用采集到的标记点坐标计算和优化多相机内参与外参，相机参数第二计算器用以进行标记点坐标的空间重采样并再次进行相机参数优化，本申请提供的一种多相机系统的标定方法及系统，不仅实现了多相机系统的快速精确标定，还可以指引标定杆在标定空间中均匀分布，得到空间定位精度分布均匀的标定结果。果。果。

【技术实现步骤摘要】
一种多相机系统的标定方法及系统


[0001]本申请涉及立体视觉
，尤其涉及一种多相机系统的标定方法及系统。

技术介绍

[0002]随着立体视觉的火热，由多个相机组成的多视系统在3D重建、人体动作捕捉、多视点视频等有广泛应用，多相机系统应用的前提是完成多相机系统标定，多相机系统标定是多相机系统进行可靠高效工作不可或缺的重要步骤。
[0003]相机标定是指求解相机模型参数的过程，具体包括相机本征参数、像差参数和多相机间方位参数，进而建立多视图像中像素点坐标与对应3D空间坐标点之间的映射关系。标定方法主要分为传统标定、自标定、基于主动视觉的标定方法以及多相机标定方法。
[0004]传统标定方法一般需要制造高精度的校准物，根据校准物的图像坐标和3D坐标的对应关系求取相机参数。相机自标定方法是根据场景和相机成像模型本身存在的约束关系，对相机模型参数进行求解，相机需要从多个方位采集未知结构的标定参照物的图像，相机自标定方法不需要标定靶标的参与，标定方法灵活，速度快，适和现场标定，但自标定方法精度低，鲁棒性差，适合精度要求不高的场合。基于主动视觉的相机标定方法需要控制相机做某些特殊类型运动，利用其运动信息进行标定。虽然算法简单，但需要比较精密的仪器设备控制相机的运动。
[0005]多相机系统的标定，是通过对应点建立多相机间的联系，求解相机内参与外参。根据标定物的不同，可将标定物分为：1D标定，2D标定及3D标定。传统的2D和3D标定物很难在被测范围内做自由运动，易产生自遮挡，多相机无法同时获取校准物图像信息，只能对相机逐个或分组依次标定，最后再通过刚体变换原理统一坐标系求取相机间的方位，这样使得标定过程繁琐、操作不便、还会引入较大的累积误差。1D标定物进行标定可有效避免上述问题，实现快速标定，但一些现有技术方案仍然存在相机内参与外参计算精度较低，及标定空间定位精度不均匀的问题。

技术实现思路

[0006]在多相机系统标定过程中，为了相机内参与外参的计算精度，以及，保证标定空间定位精度均匀，本申请提供一种多相机系统的标定方法及系统。
[0007]本申请第一方面提供的一种多相机系统的标定方法，包括：
[0008]至少两台相机，用于同步采集在多相机共视场中自由运动的标定杆的多帧图像，所述标定杆上设置有标记点；
[0009]图像处理器，用于提取所述多帧图像中标记点的2D坐标，并作为第一坐标点集传输至采集状态评估器；
[0010]采集状态评估器，用于根据第一坐标点集中的2D坐标，计算标定杆在各相机坐标系下的位置及姿态，并根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示；
[0011]采集状态引导指示器，用于根据标定杆的分布指示，指引标定杆后续的运动位置；
[0012]相机参数第一计算器，用于根据第一坐标点集中的2D坐标和内参初值，计算各相机外参，并根据第一坐标点集中的2D坐标和各相机外参，计算标记点的3D坐标，并生成3D特征点集；
[0013]以及，用于利用非线性光束平差算法，以相机重投影误差为优化目标，分层对标记点的3D坐标、相机外参、内参初值和畸变系数初值进行优化，获得优化后的相机内参、相机外参和畸变系数；
[0014]相机参数第二计算器，用于对所述标记点的3D坐标进行重采样，获得重采样后标记点的3D坐标，并对重采样后标记点的3D坐标、相机参数第一计算器优化后的相机内参和相机外参，再次进行非线性光束平差优化，获得分布优化后的相机内参和相机外参。
[0015]可选的，所述相机参数第一计算器包括：
[0016]内参求解器，用于根据相机镜头焦距、CMOS像元数量与像元尺寸，计算内参初值；
[0017]外参求解器，用于通过第一坐标点集中的坐标点，建立两两相机间的基本矩阵方程，并根据基本矩阵方程、两个相机对应的内参初值，建立本质矩阵，以及，用于对所述本质矩阵进行分解，获得两两相机之间的旋转矩阵和平移向量；
[0018]3D点计算器，用于将第一坐标点集中的2D坐标转化为标记点的3D坐标，生成3D特征点集。
[0019]可选的，所述相机参数第一计算器还包括：
[0020]第一参数优化器，用于以标定杆图像标记点的2D坐标作为优化源数据，以相机重投影误差为优化目标，以迭代次数达到设定的最大迭代次数或重投影误差函数下降梯度模值小于设定阈值为终止条件，分层对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行优化；
[0021]以及，用于将重投影误差大于设定阈值的标记点视作离群点，并删除图像源数据中对应的第一坐标点集中的坐标点和标记点的3D坐标；
[0022]再次以标定杆图像标记点的2D坐标为优化源数据，以重投影误差最小为优化目标，对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行一次光束平差非线性优化，获得优化后的相机内参、相机外参和畸变系数。
[0023]可选的，所述标定杆的分布指示包括：中心点占比指示、标记点的分层指示和偏角指示；
[0024]所述根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示的步骤，具体为：
[0025]将多帧图像中每一帧图像以图像中心点为坐标原点，划分为四个象限，计算每一个象限内标记点的2D坐标数量，以及计算每一个象限内标定杆中心点坐标数量与所属的图像中的标定杆中心点坐标数量的比例，作为第一占比，若第一占比达到第一预设比例，则将对应象限的中心点占比指示标记为1；
[0026]根据相机镜头参数估算标定杆距离相机最近和最远时，对应最近和最远的两端点标记点坐标之间的长度，并等距划分为3层空间区间，计算每一层空间区域内标记点坐标的数量，若每一层空间区域内标记点坐标的数量均达到第一预设值，则将对应象限内标记点的分层指示标记为1；
[0027]第一预设值以横坐标轴的方向为起始向量，将每个象限均分为三个空间角区域，计算标定杆向量相对于横坐标轴的偏角，若偏角属于三个空间角区域内的标定杆数量均达到第二预设值，则将对应象限的偏角指示标记为1。
[0028]可选的，所述相机上设置有LED灯环，所述LED环灯均匀分布有12个灯珠，相机拍摄图像的每个象限对应三个灯珠，三个灯珠分别对应中心点占比指示、标记点的分层指示和偏角指示，若标定杆的分布指示被标记为1，则对应的灯珠被点亮。
[0029]可选的，相机参数第二计算器包括：
[0030]空间区域分割计算器，用于对标记点的3D坐标组成的点云进行主成分分析，建立近似包围盒；以及对所述包围盒的内空间进行均匀体素划分，获得多个体素空间；
[0031]标定物姿态分布计算器，用于对任一体素空间内每帧标定杆通建立方向向量，将体素空间划分为以体心为顶点，以正二十面体三角形外表面为底面的四面体，确定每个四面体内标定杆方向向量的数量；
[0032]标定物姿态重采样计算器，用于对四面体内包含的标定杆方向向量的数量设定最大的阈值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多相机系统的标定系统，其特征在于，包括：至少两台相机，用于同步采集在多相机共视场中自由运动的标定杆的多帧图像，所述标定杆上设置有标记点；图像处理器，用于提取所述多帧图像中标记点的2D坐标，并作为第一坐标点集传输至采集状态评估器；采集状态评估器，用于根据第一坐标点集中的2D坐标，计算标定杆在各相机坐标系下的位置及姿态，并根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示；采集状态引导指示器，用于根据标定杆的分布指示，指引标定杆后续的运动位置；相机参数第一计算器，用于根据第一坐标点集中的2D坐标和内参初值，计算各相机外参，并根据第一坐标点集中的2D坐标和各相机外参，计算标记点的3D坐标，并生成3D特征点集；以及，用于利用非线性光束平差算法，以相机重投影误差为优化目标，分层对标记点的3D坐标、相机外参、内参初值和畸变系数初值进行优化，获得优化后的相机内参、相机外参和畸变系数；相机参数第二计算器，用于对所述标记点的3D坐标进行重采样，获得重采样后标记点的3D坐标，并对重采样后标记点的3D坐标、相机参数第一计算器优化后的相机内参和相机外参，再次进行非线性光束平差优化，获得分布优化后的相机内参和相机外参。2.根据权利要求1所述的一种多相机系统的标定系统，其特征在于，所述相机参数第一计算器包括：内参求解器，用于根据相机镜头焦距、CMOS像元数量与像元尺寸，计算内参初值；外参求解器，用于通过第一坐标点集中的坐标点，建立两两相机间的基本矩阵方程，并根据基本矩阵方程、两个相机对应的内参初值，建立本质矩阵，以及，用于对所述本质矩阵进行分解，获得两两相机之间的旋转矩阵和平移向量；3D点计算器，用于将第一坐标点集中的2D坐标转化为标记点的3D坐标，生成3D特征点集。3.根据权利要求1所述的一种多相机系统的标定系统，其特征在于，所述相机参数第一计算器还包括：第一参数优化器，用于以标定杆图像标记点的2D坐标作为优化源数据，以相机重投影误差为优化目标，以迭代次数达到设定的最大迭代次数或重投影误差函数下降梯度模值小于设定阈值为终止条件，分层对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行优化；以及，用于将重投影误差大于设定阈值的标记点视作离群点，并删除图像源数据中对应的第一坐标点集中的坐标点和标记点的3D坐标；再次以标定杆图像标记点的2D坐标为优化源数据，以重投影误差最小为优化目标，对标记点3D坐标与相机外参的平移向量、相机外参的旋转矩阵、相机内参与畸变系数初值进行一次光束平差非线性优化，获得优化后的相机内参、相机外参和畸变系数。4.根据权利要求1所述的一种多相机系统的标定系统，其特征在于，所述标定杆的分布指示包括：中心点占比指示、标记点的分层指示和偏角指示；所述根据标定杆在各相机坐标系下的位置及姿态，生成标定杆的分布指示的步骤，具
体为：将多帧图像中每一帧图像以图像中心点为坐标原点，划分为四个象限，计算每一个象限内标记点的2D坐标数量，以及计算每一个象限内标定杆中心点坐标数量与所属的图像中的标定杆中心点坐标数量的比例，作为第一占比，若第一占比达到第一预设比例，则将对应象限的中心点占比指示标记为1；根据相机镜头参数估算标定杆距离相机最近和最远时，对应最近和最远的两端点标记点坐标之间的长度，并等距划分为3层空间区间，计算每一层空间区域内标记点坐标的数量，若每一层空间区域内标记点坐标的数量均达到第一预设值，则将对应象限内标记点的分层指示标记为1；以横坐标轴的方向为起始向量，将每个象限均分为三个空间角区域，计算标定杆向量相对于横坐标轴的偏角，若偏角属于三个空间角区域内的标定杆数量均达到第二预设值，则将对应象限的偏角指示标记为1。5.根据权利要求4所述的一种多相机系统的标定系统，其特征在于，所述相机上设置有LED灯环，所述LED环灯均匀分布有12个灯珠，相机拍摄图像的每个象限对应三个灯珠，三个灯珠分别对应中心点占比指示、标记点的分层指示和偏角指示，若标定杆的分布指示被标记为1，则对应的灯珠被点亮。6.根据权利要求1所述的一种多相机系统的标定系统，其特征在于，相机参数第二计算器包括：空间区域分割计算器，用于对标记点的3D坐标组成的点云进行主成分分析，建立近似包围盒；以及对所述包围盒的内空间进行均匀体素划分，获得多...

【专利技术属性】
技术研发人员：张军，杜华，姚毅，杨艺，
申请(专利权)人：深圳市凌云视迅科技有限责任公司，
类型：发明
国别省市：