一种3D相机群的外参标定方法技术

本发明专利技术公开了一种3D相机群的外参标定方法，其可以解决现有相机标定技术中操作不方便、精度低、鲁棒性差等问题，包括如下步骤：S1、3D相机群内参的标定；S2、相机对的外参标定；S3、利用行人检测校准相机群外参。本发明专利技术操作简单、精度高、鲁棒性好，与现有技术相对比其优势较为明显，适合市场推广。

An external parameter calibration method for 3D camera group

The invention discloses an external parameter calibration method for 3D camera group, which can solve the problems of inconvenient operation, low precision and poor robustness in the existing camera calibration technology, including the following steps: calibration of S1 and 3D camera group, S2, camera pair calibration; S3, using pedestrian detection to calibrate the external parameter of the camera group. The invention has the advantages of simple operation, high precision and good robustness, and is superior to the existing technology in terms of its advantages, and is suitable for market promotion.

【技术实现步骤摘要】
一种3D相机群的外参标定方法
本专利技术涉及一种相机标定技术，特别是涉及一种3D相机群的外参标定方法。
技术介绍
相机标定是机器视觉检测、摄影几何测量等中最为关键的部分，相机标定的目的是通过从相机获取的二维图像信息出发，计算出物体的三维位置、形状等几何信息。从而获取二维图像上的点与空间物体表面点的相对应关系。这种关系是由相机成像的几何模型决定的，这些模型的参数称为相机参数，主要包括内部参数和外部参数。相机标定就是计算这些参数的过程。目前在计算机视觉和摄影测量领域常用的相机标定方法有：Tsai两步法标定法、张正友平面标定法、基于交比不变性的相机标定方法、基于非测量镜头畸变矫正的标定方法。这些标定方法中有的是基于特定的实验条件如形状、尺寸已知的标定参照物求取相机模型的参数，有不依赖于标定参照物，仅利用相机在运动过程中周围环境的图像与图像之间的对应关系对相机进行标定。但传统的相机标定方法往往存在标定过程繁琐、参数耦合、实时性较差、标定精度有限、仅适用于背景比较简单的场景。针对目前相机标定方法存在的精度低、实时性较差、标定过程繁琐、鲁棒性差等问题，本专利技术提出一种3D相机群的外参标定方法，其可以有效的改善相机标定的结果。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种3D相机群的外参标定方法，其可以解决现有相机标定技术中操作不方便、精度低、鲁棒性差等问题。为实现上述目的，本专利技术提供了一种3D相机群的外参标定方法，包括如下步骤：S1、3D相机群内参的标定；S2、相机对的外参标定；S3、利用行人检测校准相机群外参。作为本专利技术的进一步改进，S1、3D相机群内参的标定：包括如下步骤：标定相机的内参数矩阵，内参数矩阵的参数主要包括：相机焦距、光学中心和镜头畸变系数；准备标定图片，打印一张棋盘格，并将其贴在平板上，确保板面是平坦的，不然会影响后续的校准；对于相机群中的每一个相机从不同角度、不同位置拍摄标定图片，并从每幅图像中取十个特征点来进行相机的标定；把被取的十个点的世界坐标(齐次坐标)进行转置，把多个角度拍摄的图片的单应性矩阵求解并优化，进而得到相机的内参矩阵。作为本专利技术的进一步改进，S2、相机对的外参标定，包括如下步骤：与内参标定不同，外参标定一次涉及所有的相机，首先是让标定板在相机视野内以一定速度移动，利用深度相机获取标定图像，之后对相机和标定板的姿态进行全局优化；将相机摆放在标定板的周围，相邻的两台相机构成一个相机对；由于标定板不能同时被多台相机完整的拍摄到，假定同一时刻标定板只能被相邻的2个相机的视野同时完整的覆盖；当相机和PC机被设置好，在相机视野内移动标定板，并拍摄多幅图像；根据两台摄像头获取的图像，实时的估计两相机之间的相对位姿，并画出其参考坐标轴；每一次标定板进入新的相机视野时，同时另一台相机已经被校正过，新相机的姿态会被估计并且添加到可视化的进程中；待到所有的相机已经全部被标定过，将标定板放到地平面上，通过此操作，来标定地平面与各相机之间的位置关系；相机的姿势和棋盘在世界坐标系下的位置一起进行了优化，随着时间的推移相机会收集更多的帧，为参数的优化添加了更多的限制；假设B是棋盘格(在参考系下),是棋盘格上设置的角点，C＝{C1，C2﹒﹒﹒CN}是相机群组。根据以上标记，假设已经执行了k步获取步骤，我们很容易列举在获取的数据上加的限制；相机群的姿态表示成(wCn，n＝1…N)，相对于世界坐标系来说，每个相机的第k步是相同的；在世界坐标系统下第k步棋盘格的位姿表示成wBk，必须保持不变；因此误差函数e可表示成：上述公式中，ecam是可以根据图像数据计算出来的误差，σcam是归一化因子，unk是指标函数：在步骤k时，如果摄像头Cn看到棋盘B，其值为1，否则就等于0；误差函数ecam为棋盘角到图像上的重投影误差，对于每个角b∈B，b是从像素坐标中的图像中提取的角点。角点的重投影误差可以计算为：其中reprC()是二维平面上的点重投影到三维空间的投影函数。作为本专利技术的进一步改进，在校准期间以恒定的时间间隔重复优化上述步骤，并且实时的更新其优化结果；作为本专利技术的进一步改进，S3、利用行人检测校准相机群外参，包括如下步骤：假设只有一个人行走在相机的视野范围内，用不同的颜色代表行人在不同相机下的运动轨迹；由于只有一个人行走在视野内，所以相同时间的不同运动点应该是一致的，通过校正人的运动轨迹来校准相机群的外参数标定结果。本专利技术的有益效果是：与现有技术相比本专利技术具有实时性好，操作简单，精度高、鲁棒性好等优点，此外本专利技术加入了行人检测作为相机参数的校正，进一步优化了相机的参数的标定结果。附图说明图1是本专利技术一种3D相机群的外参标定方法具体实施方式的流程图。图2是本专利技术一种3D相机群的外参标定方法具体实施方式的矫正前示意图。图3是本专利技术一种3D相机群的外参标定方法具体实施方式的矫正后示意图。图4是本专利技术一种3D相机群的外参标定方法具体实施方式的架构图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明：本实施例需要用到的硬件设备包括：用于相机群标定的标定板和相机群，还有用于接受平面棋盘格图像并显示平面棋盘格图像的显示器。一种3D相机群的外参标定方法，包括如下步骤：S1、相机内参的标定：S1.1将相机接通电源并通过USB接口连接到电脑上，打印棋盘格，并将棋盘格贴在平板上，保证棋盘格表面足够的平坦，这样一张简单的标定板就制作好了；S1.2将标定板放在相机视野中，控制打开相机，开始拍摄棋盘格图像进行相机标定；S1.3将相机朝多个不同方向移动，从多个视角拍摄标定板图像，为了得到准确的相机参数，提出两点建议：(1)拍摄时，主光轴与标定板成60度以下。(2)多次拍摄调整角度。S1.4检测图像特征点，本专利技术将Harris角点作为图像特征点，角点是梯度变化为极大值的点。角点的详细检测过程如下：利用水平、竖直差分算子对图像每个像素进行滤波以求得Ix、Iy，进而求得像素点n中四个元素的关联矩阵：(1，此处代表公式的编号，下同)其中，其中，Ix，Iy分别是水平和垂直方向的方向导数。对像素点n中的四个元素进行平滑滤波，得到新的m。在此，利用离散二维零均值高斯滤波器对n的四个元素进行平滑。离散二维零均值高斯函数为：为了得到更为精确的角点位置，需要对检测到的Harris角点坐标进行亚像素级求精。S1.5匹配图像特征点。通过检测得到的Harris角点，可以得到一个N×N的焦点网格，对角点进行一定规则的顺序编号。如果图像中检测到的角点数量与棋盘格设定的焦点数量不一样，则需要对图像进行进一步的滤波处理后返回S1.6重新检测角点。对图像角点网格进行遍历，然后同时与棋盘格图像做匹配。S1.7畸变矫正。现实中，相机在拍摄的过程中会产生径向畸变；如果直接使用发生畸变的图像进行相机标定，那么标定结果必然是不准确的。因此，在标定之前必须对图像进行畸变校正。畸变校正的过程是就是通过加入一个畸变因子，从而建立理想针孔模型成像像素坐标(u，v)与实际像素坐标(x，y)之间的关系：其中δx(x,y)，δy(x,y)是径向畸变和切向畸变的线性畸变值，它与像素点在图像中的位置有关：其中，k1、k2是描述需要标定的两个径向畸变系数，p1，p2为需要标本文档来自技高网...

【技术保护点】
1.一种3D相机群的外参标定方法，其特征在于，包括以下步骤：S1、3D相机群内参的标定；S2、相机对的外参标定；S3、利用行人检测校准相机群外参。

【技术特征摘要】
1.一种3D相机群的外参标定方法，其特征在于，包括以下步骤：S1、3D相机群内参的标定；S2、相机对的外参标定；S3、利用行人检测校准相机群外参。2.根据权利要求书1所述的3D相机群的外参标定方法，其特征在于，S1、3D相机群内参的标定：包括如下步骤：标定相机的内参数矩阵，内参数矩阵的参数主要包括：相机焦距、光学中心和镜头畸变系数；准备标定图片，打印一张棋盘格，并将其贴在平板上，确保板面是平坦的，不然会影响后续的校准；对于相机群中的每一个相机从不同角度、不同位置拍摄标定图片，并从每幅图像中取至少十个特征点来进行相机的标定。3.根据权利要求书1所述的3D相机群的外参标定方法，其特征在于，S2、相机对的外参标定，包括如下步骤：与内参标定不同，外参标定一次涉及所有的相机，首先是让标定板在相机视野内以一定速度移动，利用深度相机获取标定图像，之后对相机和标定板的姿态进行全局优化；将相机摆放在标定板的周围，相邻的两台相机构成一个相机对；由于标定板不能同时被多台相机完整的拍摄到，假定同一时刻标定板只能被相邻的2个相机的视野同时完整的覆盖；当相机和PC机被设置好，在相机视野内移动标定板，并拍摄多幅图像；根据两台摄像头获取的图像，实时的估计两相机之间的相对位姿，并画出其参考坐标轴；每一次标定板进入新的相机视野时，同时另一台相机已经被校正过，新相机的姿态会被估计并且添加到可视化的进程中；待到所有的相机已经全部被标定过，将标定板放到地平面上，通过此操作，来标定地平面与各相机之间的位置关系；相机的姿势和棋盘在世界坐标系下的位置一起进行了优化，随着时间的推移相机会收集更多的帧，为参数的优化添加了更多的限制；假设B是棋盘格，是棋盘格上设置的角点，C＝{C1，C2﹒﹒﹒CN}是相机群组；根据以上标记，假设已经执行了k步获取步骤，我们很容易列举在获取的数据上加的限制；相机群的姿态表示成相对于世界坐标系来说，每个相机的第k步是相同的；在世界坐标系统下第k步棋盘格的位姿表示成必须保持不变；因此误差函数e可表示成：上述公式中，ecam是可以根据图像数据计算出来的误差，σcam是归一化因子，unk是指标函数：在步骤k时，如果摄像头Cn看到棋盘B，其值为1，否则就等于0；误差函数ecam为棋盘角到图像上的重投影误差，对于每个角b∈B，b是从像素坐标中的图像中提取的角点，角点的重投影误差可以计算为：其中reprC()是二维平面上的点重投影到三维空间的投影函数；在校准期间以恒定的时间间隔重复优化上述步骤，并且实时的更新其优化结果。4.根据权利要求书1或2所述的3D相机群的外参标定方法，其特征在于，S1、3D相机群内参的标定，包括如下步骤：S1.1将相机接通电源并通过USB接口连接到电脑上；制作标定板：打印棋盘格，并将棋盘格贴在平板上，保证棋盘格表面足够的平坦，并将标定板放在相机视野中，打开相机，开始拍摄棋盘格图像进行相机标定；S1.2对于相机群中的每一个相机从不同角度、不同位置拍摄标定图片；S1.3检测拍摄到的图像的特征点，本发明将Harris角点作为图像特征点，角点是梯度变化为极大值的点；S1.4匹配图像特征点，通过检测得到的Harris角点，可以得到一个N×N的焦点网格，对角点按顺序进行编号；如果图像中检测到的角点数量与棋盘格设定的焦点数量不一样，则需要对图像进行进一步的滤波处理后返回S1.3重新检测角点；S1.5畸变矫正，畸变校正的过程是就是通过加入一个畸变因子，从而建立理想针孔模型成像像素坐标(u，v)与实际像素坐标(x，y)之间的关系：其中δx(x,y)，δy(x,y)是径向畸变和切向畸变的线性畸变值，它与像素点在图像中的位置有关：其中，k1、k2是描述需要标定的两个径向畸变系数，p1，p2为需要标定的两个切向畸变系数，他们描述了畸变矩阵D，D＝[k1,k2,p1,p2]；S1.6利用理想针孔投影模型建立图像坐标之间的关系，从而标定出相机的内部参数，将标定板所在的平面当作z＝0的世界坐标系，所以标定板上的角点的世界坐标Xi＝[xi,yi,0]T，所以相机理想针孔投影模型为：其中r1,r2,r3分别为旋转矩阵R的三个列向量，S是一个比例系数，通过上述方程计算得到：[xn,yn,0]T为点P在世界坐标系下的坐标；R和t分别为世界坐标系到相机坐标系的旋转变换矩阵和平移变换向量；K为相机内部参...

【专利技术属性】
技术研发人员：骞志彦，陈学伟，张斌，王国强，
申请(专利权)人：视缘上海智能科技有限公司，
类型：发明
国别省市：上海,31