基于进化算法的多摄像机高精度自动标定方法技术

基于进化算法的多摄像机高精度自动标定方法属于相机标定技术领域。本发明专利技术首次通过人体的躯干而不是头脚点位置来回归和聚类消失点和消失线，增强了基于行人检测的消失点估计方法的鲁棒性，能降低了在人体姿态变化大的场景中摄像机自标定的误差。本发明专利技术使用基于进化算法的多摄像机参数联合优化方法，有效地降低了摄像机标定参数中由重投影误差和对称转移误差所组成的几何误差，能为视频监控等高级视觉应用提供精确的标定参数。

【技术实现步骤摘要】
基于进化算法的多摄像机高精度自动标定方法
本专利技术属于相机标定
，特别是涉及到一种基于进化算法的多摄像机高精度自动标定方法。
技术介绍
相机标定是计算机视觉应用中的一项基本任务。相机标定的目的是求出相机的内参，外参，以及畸变参数，由此来建立确定三维空间点的坐标与其在图像中对应点之间的相互关系的相机成像的几何模型。为了实现从物理空间到虚拟空间三维位置的准确映射，除了相机焦距、图像中心点等摄像机内部参数外，还需要得到摄像机的准确位置和方向。因此相机的内参可以在相机部署前完成，但在许多场景中外部参数需要在实际场景中现场确定。传统相机标定法使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，来获得相机模型的内外参数。但在视频监控等相机固定的摄像机场景中，制作满足要求的标定物并在摄像机视角下进行标定是非常困难的。因此，研究者们对灵活性强、在实际应用中更简单便捷的相机自动标定方法开展了广泛的研究。自标定方法主要利用场景中一些平行或正交的场景约束信息来估计相机参数，其中，基于消失点和消失线的自标定方法是目前被广泛应用的一种自标定方法。在监控安防、体育竞赛等许多摄像机的实际应用场景中，常常有行人行走在场景中，因此利用行人来估计消失点进而计算相机参数是一种不需要标定物、适用范围较广的摄像机自标定方法。这类方法通常只需要一段行人在场景中行走的视频作为输入。目前，大多数基于行人检测的自标定方法假设行人垂直于地面，然后利用行人头和脚的位置来估计消失点和水平线。但由于消失点的几何特性和消失点与相机参数的对应关系，这类方法通常需要假设除焦距以外的相机内部参数已知，加上消失点估计中存在的噪声，所得到的相机标定结果中通常存在较大的重投影误差。多摄像机系统在视频监控等计算机视觉应用中发挥着重要的作用。多摄像机系统自动标定的目标是求取至少有两两视角重叠的多个相机的相机参数。多摄像机自动标定任务是一个具有挑战性的问题，因为它还要求同时构建空间中三维点与多个相机像素坐标系之间的关系，相较于单相机自标定而言这显著地增加了标定的难度。目前大多数基于行人检测的多摄像机自动标定方法鲁棒性能有限，标定结果的重投影误差和对称转移误差等几何误差较大，有待进一步改进。现有的基于消失点估计的单相机自标定技术：通过估计三个方向的消失点来求解相机参数是一种有效的自动标定方法。Lv等人设计了一种方法，首次将场景中运动的行人用于相机自标定。人的行走是一个周期性的运动，该方法假设在人步行周期的同一阶段人的形状和身高是相同的，然后基于该假设，使用人在两腿交叉时候人体的头和脚的位置来完成相机自标定。如图1所示，该方法通过检测行人的头和脚的位置来自动地估计水平消失线和竖直方向上的消失点，然后根据图像中的主点位置与消失点、水平消失线的几何关系求取三个方向上的三个消失点，最后根据三个消失点的几何属性计算相机参数。在Lv等人所提出的基于场景中行人进行自标定方法的基础上，一些研究者提出了一些改进方法以提高这种自标定方法的性能，例如利用Levenberg-Marquardt算法对参数进行了非线性优化、利用贝叶斯概率建模来处理自标定过程中的测量噪声与异常值、利用全局最小二乘法求解超定方程组以降低噪声。在基于消失点估计相机参数的自标定方法中，RANSAC算法通常被用来消除估计竖直消失点和水平消失线时的异常值或离群点。但由于测量中存在的噪声，在某些离群点数量过多的情况下RANSAC算法会失效，同时RANSAC算法的性质也要求需要多次对算法进行微调。因此，TangZeng等人进一步地改进了基于消失点检测的自标定方法。如图2所示，该方法使用一个鲁棒的目标分割和跟踪系统来得到精确的人体头和脚的位置，然后采用均值漂移聚类算法来估计竖直方向上的消失点，同时采用拉普拉斯线性回归法将水平消失线的拟合问题转化为一个凸优化问题，增强了消失线估计的鲁棒性。在基于消失点的自标定方法所得到的相机参数中，通常存在着较大的几何误差。因为这种方法通常给内参中除焦距以外的其它参数设一个初值，然后假设焦距是内部参数中唯一要估计的参数。如果一个以上的内参未知，就无法实现基于三个消失点的完全自校准，这使得标定参数的重投影误差增加。针对基于消失点的单相机自标定方法中存在的这种问题，TangZeng等人提出了一种基于分布估计算法的相机参数优化方法。如图3所示，这种方法将摄像机参数优化问题转化为地平面上网格点的平均重投影误差最小化问题，通过基于多元正态分布的分布估计算法求取焦距、主点、三个旋转角等8个相机内参、外参的局部最优值组合，放宽了对未知相机内部参数的假设。现有的基于行人的相机自标定方法大多假设人体垂直于地面，然后利用行人头和脚的位置来估计消失点和水平线。然而，在一般的情况下人体不一定是垂直于地面的，这个假设与真实情况存在一定的偏差；特别地，在体育比赛等人体姿势变化较大的场景中，该假设与实际情况的偏差很大。因此，通过行人头和脚的位置来估计消失点的测量噪声值较大，方法的鲁棒性较差。现有的多相机联合自标定技术：多相机自标定在体育竞赛转播、城市监控网络等多种实际应用中发挥着重要的作用，在许多跟踪和观测动态目标的计算机视觉应用中，需要将多个摄像机精确地标定到一个统一的坐标系中。自动地对多个摄像机进行联合标定、找出三维场景中物体在多个二维图像平面上投影的映射关系是一项非常具有挑战性的任务。Liu等人提出了一种用于多摄像机网络的联合自标定方法，不需要跨时间、跨视图地跟踪同一个人所获得的交叉视图对应信息也可完成多相机的标定。如图4和图5所示，该方法将人体的前景杆点作为算法的唯一输入，它先将每个摄像机粗略地标定到其局部的世界坐标系中，然后将鲁棒的相机匹配与部分的直接线性变换方法相结合，再迭代地依次将所有的局部世界坐标系对齐到统一的世界坐标系中。在这个过程中，该方法使用截断最小二乘作为鲁棒的误差度量来迭代地确定对应关系，同时使用一系列的部分线性变换来求解投影变换。这种方法的缺点是对相机间位置关系进行粗粒度地估计所得到的相机参数中存在较大的几何误差。Kurillo等人提出了一种基于LED标定物来创建虚拟标定对象的广域标定方法，不需要所有相机的视角都共享同一区域，只需要相机的视角有两两成对的重叠。该方法假设相机已经经过内参的校准，内参是已知的。如图6所示，标定棒被放置在摄像机视角覆盖区域的上方，然后该方法通过几何关系进行相机标定，利用基本矩阵分解法计算摄像机的初始姿态。进一步地，该方法自动地构造加权视角图，使用权值来描述相机对之间关系的图模型，通过寻找摄像机之间的最佳变换路径来最小化标定误差。该方法有效地降低了重投影误差，在噪声干扰的情况下仍具有较高的精度和鲁棒性，但该方法需要特制的标定物体——两个固定距离的可移动LED标定物，需要专门针对所使用的标定物体设计检测算法，且标定物受光照条件等环境因素的影响较大，这限制了该方法的实际应用。此外，目前还存在一些基于行人头脚位置的多摄像头自标定方法，这些方法的共同缺点是测量噪声值较大，并且通常假设除焦距外的内参已知，本文档来自技高网...

【技术保护点】
1.基于进化算法的多摄像机高精度自动标定方法，利用基于进化算法的多摄像机高精度自动标定系统，/n所述基于进化算法的多摄像机高精度自动标定系统包括多个摄像机、中央处理器、图像处理器以及存储器，所述中央处理器分别与摄像机、图像处理器以及存储器连接；所述摄像机中每台摄像机与至少其他一台摄像机的视角有重叠；/n其特征是：所述方法包括以下步骤，并且以下步骤顺次进行，/n步骤一、摄像机拍摄同一个场地中行人行走的视频；/n步骤二、中央处理器同步采集每台摄像机拍摄同一个场地中行人行走的视频，作为输入；/n步骤三、使用基于深度神经网络的人体检测算法检测每幅图像中人体的位置；/n步骤四、根据检测到的每幅图像中人体的位置从图像中分割预先设定的人体感兴趣区域小图像；/n步骤五、通过基于深度神经网络的人体重识别算法和关键点检测算法分别检测并获得人体感兴趣区域小图中的行人关键点位置信息和身份信息；/n步骤六、根据人体关键点位置信息获得人体的躯干位置；同时，通过人体关键点位置信息和身份信息获得同一个人在不同摄像机视角中的对应脚点及脚点的数据信息，所述脚点的数据信息包括脚点的像素坐标；/n步骤七、根据人体的躯干位置，通过聚类和回归的方法计算并获得每幅图像中坐标系X、Y、Z三个方向上消失点的位置信息；/n步骤八、通过消失点的位置信息根据基于消失点的摄像机参数重建法获得每个摄像机的初始参数，然后根据初始参数和不同摄像机视角中的对应脚点获得每个摄像机对应的世界坐标系间的变换矩阵；/n步骤九、使用进化算法迭代优化每个摄像机初始的摄像机参数，得到摄像机标定参数的局部最优值；/n步骤十、将每组摄像机的局部最优参数投射到同一个世界坐标系中，得到高精度的多摄像机参数，多摄像机高精度自动标定完成。/n...

【技术特征摘要】
1.基于进化算法的多摄像机高精度自动标定方法，利用基于进化算法的多摄像机高精度自动标定系统，
所述基于进化算法的多摄像机高精度自动标定系统包括多个摄像机、中央处理器、图像处理器以及存储器，所述中央处理器分别与摄像机、图像处理器以及存储器连接；所述摄像机中每台摄像机与至少其他一台摄像机的视角有重叠；
其特征是：所述方法包括以下步骤，并且以下步骤顺次进行，
步骤一、摄像机拍摄同一个场地中行人行走的视频；
步骤二、中央处理器同步采集每台摄像机拍摄同一个场地中行人行走的视频，作为输入；
步骤三、使用基于深度神经网络的人体检测算法检测每幅图像中人体的位置；
步骤四、根据检测到的每幅图像中人体的位置从图像中分割预先设定的人体感兴趣区域小图像；
步骤五、通过基于深度神经网络的人体重识别算法和关键点检测算法分别检测并获得人体感兴趣区域小图中的行人关键点位置信息和身份信息；
步骤六、根据人体关键点位置信息获得人体的躯干位置；同时，通过人体关键点位置信息和身份信息获得同一个人在不同摄像机视角中的对应脚点及脚点的数据信息，所述脚点的数据信息包括脚点的像素坐标；
步骤七、根据人体的躯干位置，通过聚类和回归的方法计算并获得每幅图像中坐标系X、Y、Z三个方向上消失点的位置信息；
步骤八、通过消失点的位置信息根据基于消失点的摄像机参数重建法获得每个摄像机的初始参数，然后根据初始参数和不同摄像机视角中的对应脚点获得每个摄像机对应的世界坐标系间的变换矩阵；
步骤九、使用进化算法迭代优化每个摄像机初始的摄像机参数，得到摄像机标定参数的局部最优值；
步骤十、将每组摄像机的局部最优参数投射到同一个世界坐标系中，得到高精度的多摄像机参数，多摄像机高精度自动标定完成。


2.根据权利要求1所述的基于进化算法的多摄像机高精度自动标定方法，其特征是：所述步骤五中的行人关键点位置信息包括人体五个头部关键点、四个躯干关键点和八个四肢关键点的像素坐标。


3.根据权利要求1所述的基于进化算法的多摄像机高精度自动标定方法，其特征是：所述步骤五中的身份信息为多个摄像机所拍摄的图像中，将人体的感兴趣区域小图与之前时刻所检测到的人体图像相匹配，所检测识别到的人体的唯一身份信息。


4.根据权利要求1所述的基于进化算法的多摄像机高精度自动标定方法，其特征是：步骤八中，摄像机的初始参数包括γ，β，α，fx，fy，c...

【专利技术属性】
技术研发人员：张立华，苏柳桢，林野，张沛轩，邢警，
申请(专利权)人：长春博立电子科技有限公司，
类型：发明
国别省市：吉林;22