基于光学动捕的大空间环境下多相机标定方法及相关设备技术

本发明专利技术涉及计算机视觉技术领域，尤其涉及一种基于光学动捕的大空间环境下多相机标定方法及相关设备。该方法包括：采集每个光学相机对标定杆捕获的多帧数据，将多帧数据按帧进行分类，每帧均得到对应的多个初始数据；将每帧的所述坐标数据进行剔除和检测，每帧得到对应的多个所述有效数据；根据多个有效数据，对每个光学相机进行初始化，得到每个光学相机的目标内参；将含有有效数据最多的相机序号确定为主相机，根据主相机的内外参数，得到所有光学相机的目标外参。本发明专利技术最终得到了高精度的相机内外参，对后续的二维空间坐标转化为三维空间坐标操作提供了充分必要条件，进而为整个光学动捕系统中高精度的定位与跟踪打下了基础。

【技术实现步骤摘要】
基于光学动捕的大空间环境下多相机标定方法及相关设备
本专利技术涉及计算机视觉
，尤其涉及一种基于光学动捕的大空间环境下多相机标定方法及相关设备。
技术介绍
随着机器视觉应用日益广泛，大空间环境中的多相机视觉系统的需求越来越多了，主要方向是大空间内的高精度定位与跟踪。在机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型就是相机参数。而这些参数必须通过实验与计算才能得到，求解参数的过程就称为相机标定。传统的相机标定法需要使用尺寸已知的标定物，如棋盘标定板，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机模型的内外参数。而在多目相机环境中，为实现对物体的定位与跟踪，不仅要确定每个相机的参数，也需要确定相机与相机之间的位置关系。光学动捕系统是通过动捕相机内的超大功率近红外光源发出红外光，照射在被动式标记点上，感光元件再将光信号转化为图像信号输出到控制电路，而控制电路中的图像处理单元使用FPGA，以硬件形式对图像信号进行预处理，最后向跟踪软件流出标记点的2D坐标信息。光学动捕的这些特质使得其不适用传统的相机标定法，原因有三：第一，光学相机是无法得到棋盘标定板的坐标信息的；第二，动捕系统中相机数量很多，且相机与相机之间的区域交叉关系复杂，棋盘标定板需要花费大量人力和物力；第三，棋盘标定板算法使用条件严苛，且算法时间太长，使用非常不方便。
技术实现思路
本专利技术的主要目的在于提供一种基于光学动捕的大空间环境下多相机标定方法及相关设备，旨在解决在大空间环境中多个光学相机标定的技术问题。为实现上述目的，本专利技术提供一种基于光学动捕的大空间环境下多相机标定方法，所述方法包括以下步骤：获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，若含有，则将多个所述坐标点及对应的相机序号进行记录形成有效数据，否则，剔除所述初始数据，则每帧得到对应的多个所述有效数据；根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参；将含有所述有效数据最多的相机序号确定为主相机，将所述主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，所述单位阵和所述零矩阵为所述主相机的目标外参；根据每帧的多个所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参；将已得到目标外参的所述目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。可选地，所述将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，包括：获取一帧中每个所述坐标数据中的坐标点个数，判断坐标点个数是否少于所述标定杆的多个标记点个数，若少于，则将所述坐标数据从对应帧中剔除；若不少于，则继续判断坐标点个数是否大于预设的最大个数，若大于，则将所述坐标数据从对应帧中剔除，每帧均得到剔除后的初始数据；获取所述标定杆上多个标记点的位置关系数据，在剔除后的所述初始数据中，检测所述坐标数据中是否含有所述位置关系数据的多个坐标点。可选地，所述根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参，包括：所述光学相机的目标内参包括成像长度、成像宽度和焦距，在所述光学相机对应的所有有效数据中，查找坐标数据的横坐标的最大值和纵坐标的最大值，将所述横坐标的最大值记为所述光学相机的成像长度，将所述纵坐标的最大值记为所述光学相机的成像宽度；所述光学相机的焦距通过以下计算公式得到：设所述成像长度为W，所述成像宽度为H，则成像长度比值alpha、成像宽度beta比值为：alpha＝W/(W+H)beta＝H/(W+H)；所述光学相机的焦距在成像长度方向上的值fx、在成像宽度方向上的值fy为fx＝W*0.5/alphafy＝H*0.5/beta；其中，fx、fy为所述光学相机的焦距。可选地，所述根据每帧的多个所述初始数据和所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，包括：逐帧查找所述有效数据中是否含有所述主相机的相机序号，若不含有所述主相机的相机序号，则继续查找下一帧；若含有所述主相机的相机序号，则继续逐个查找所述初始数据或所述有效数据中的其他光学相机的坐标数据是否含有足够的匹配数据，若预设帧数以上的有效数据中同时含有所述主相机和当前光学相机的坐标数据，则认为所述主相机和所述当前相机之间含有足够的匹配数据；若不含有匹配数据，则继续查找下一个光学相机，若含有匹配数据，则将当前光学相机标记为目标相机，最终每帧得到多个目标相机及对应的坐标数据。可选地，所述通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参，包括：在所述匹配数据的任一一帧中，分别获取所述主相机和所述目标相机的坐标数据，获取所述标定杆上多个标记点的位置关系数据，根据所述位置关键数据，将所述主相机的坐标数据与所述目标相机的坐标数据进行匹配，得到多组二维空间特征对，将多组所述二维空间特征对和两个所述光学相机参数构造线性方程组，求解出本质矩阵；通过奇异值分解算法分解所述本质矩阵，得到所述目标相机的旋转信息和平移信息。可选地，将所述主相机的目标内参和目标外参、所述目标相机的目标内参和目标外参、所述主相机和所述目标相机的所有的匹配数据一起通过迭代优化，在迭代优化过程中的代价函数为重投影误差，得到优化后的所述主相机的目标内参和目标外参、所述目标相机的目标内参和目标外参，所述迭代优化过程如下：把世界坐标p转换到相机坐标：P’＝R*p+T＝{X,Y,Z}其中，R和T为光学相机外参；将P’投到归一化平面上，得到归一化坐标：Pc＝{u,v,1}＝{X/Z,Y/Z,1}进行去畸变：u’＝u*(1+k1*r*r+k2*r*r*r*r)v’＝v*(1+k1*r*r+k2*r*r*r*r)计算像素坐标M(Us,Vs)：Us＝fx*u’+cxVs＝fy*v’+cy其中，fx、fy、cx、cy为光学相机内参；设光学相机检测到的像素坐标N本文档来自技高网...

【技术保护点】
1.一种基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述方法包括以下步骤：/n获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；/n将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，若含有，则将多个所述坐标点及对应的相机序号进行记录形成有效数据，否则，剔除所述初始数据，则每帧得到对应的多个所述有效数据；/n根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参；/n将含有所述有效数据最多的相机序号确定为主相机，将所述主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，所述单位阵和所述零矩阵为所述主相机的目标外参；/n根据每帧的多个所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参；/n将已得到目标外参的所述目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。/n...

【技术特征摘要】
1.一种基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述方法包括以下步骤：
获取多个光学相机的相机序号，采集每个所述光学相机对挥动中的标定杆捕获的多帧数据，将含有坐标数据的所述多帧数据按帧进行分类，每帧均得到对应的多个初始数据，每个所述初始数据均包括相机序号及对应的坐标数据；
将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，若含有，则将多个所述坐标点及对应的相机序号进行记录形成有效数据，否则，剔除所述初始数据，则每帧得到对应的多个所述有效数据；
根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参；
将含有所述有效数据最多的相机序号确定为主相机，将所述主相机的旋转信息定义为单位阵，将所述主相机平移信息定义为零矩阵，所述单位阵和所述零矩阵为所述主相机的目标外参；
根据每帧的多个所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参；
将已得到目标外参的所述目标相机记为主相机，与未匹配到匹配数据的其他光学相机重复上一步操作，直至得到所有光学相机的目标外参。


2.根据权利要求1所述的基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述将每帧的所述坐标数据中的坐标点少于预设个数的初始数据剔除，在剩下的初始数据中，检测所述坐标数据是否包含属于所述标定杆的多个标记点的坐标点，包括：
获取一帧中每个所述坐标数据中的坐标点个数，判断坐标点个数是否少于所述标定杆的多个标记点个数，若少于，则将所述坐标数据从对应帧中剔除；
若不少于，则继续判断坐标点个数是否大于预设的最大个数，若大于，则将所述坐标数据从对应帧中剔除，每帧均得到剔除后的初始数据；
获取所述标定杆上多个标记点的位置关系数据，在剔除后的所述初始数据中，检测所述坐标数据中是否含有所述位置关系数据的多个坐标点。


3.根据权利要求1所述的基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述根据多个所述有效数据，对每个所述光学相机进行初始化，得到每个所述光学相机的目标内参，包括：
所述光学相机的目标内参包括成像长度、成像宽度和焦距，在所述光学相机对应的所有有效数据中，查找坐标数据的横坐标的最大值和纵坐标的最大值，将所述横坐标的最大值记为所述光学相机的成像长度，将所述纵坐标的最大值记为所述光学相机的成像宽度；
所述光学相机的焦距通过以下计算公式得到：
设所述成像长度为W，所述成像宽度为H，则成像长度比值alpha、成像宽度beta比值分别为：
alpha＝W/(W+H)
beta＝H/(W+H)；
所述光学相机的焦距在成像长度方向上的值fx以及在成像宽度方向上的值fy为：
fx＝W*0.5/alpha
fy＝H*0.5/beta；
其中，fx、fy为所述光学相机的焦距。


4.根据权利要求1所述的基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述根据每帧的多个所述有效数据，将其他的光学相机和所述主相机进行匹配，将含有匹配数据的光学相机记为目标相机，包括：
逐帧查找所述有效数据中是否含有所述主相机的相机序号，若不含有所述主相机的相机序号，则继续查找下一帧；
若含有所述主相机的相机序号，则继续逐个查找所述有效数据中的其他光学相机的坐标数据是否含有足够的匹配数据，若预设帧数以上的有效数据中同时含有所述主相机和当前光学相机的坐标数据，则认为所述主相机和所述当前相机之间含有足够的匹配数据；
若不含有匹配数据，则继续查找下一个光学相机，若含有匹配数据，则将当前光学相机标记为目标相机，最终每帧得到多个目标相机及对应的坐标数据。


5.根据权利要求1所述的基于光学动捕的大空间环境下多相机标定方法，其特征在于，所述通过所述主相机的所述旋转信息和所述平移信息得到所述目标相机的旋转信息和平移信息，所述旋转信息和所述平移信息为所述目标相机的目标外参，包括：
在所述匹配数据的任一一帧中，分别获取所述主相机和所述目标相机的坐标数据，获取所述标定杆上多个标记点的位置关系数据，根据所述位置关系数据，将所述主相机的坐标...

【专利技术属性】
技术研发人员：王越，许秋子，
申请(专利权)人：深圳市瑞立视多媒体科技有限公司，
类型：发明
国别省市：广东;44