视觉系统的云台标定方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例所公开的一种视觉系统的云台标定方法、装置、电子设备及存储介质，其中，视觉系统包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合。通过对多个靶标进行采样，可以规避相机视场角对云台可转动角度的限制，覆盖云台的全部转角范围。通过将靶标投影误差作为约束进行优化，可以减小二次误差传递。可以对可动视觉系统的所有自由度结构在各种旋转角度下采样的数据进行全局的标定，可以扩大应用场景，此外可以减小可动视觉系统在运动状态下对相机位姿的预测误差。相机位姿的预测误差。相机位姿的预测误差。

【技术实现步骤摘要】
视觉系统的云台标定方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算视觉
，尤其涉及一种视觉系统的云台标定方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算视觉技术和机器人技术的应用与发展，越来越多的机器人将视觉传感器作为其三维感知的重要设备。尤其是在物体抓取和操作、导航路径规划和目标三维重建等基础任务中，视觉感知是获取信息最重要的来源之一。然而，现有视觉感知技术存在诸多问题，如感知范围受限于视觉传感器视场范围，感知图像质量容易受到视觉传感器载体震动而不佳，感知目标的运动轨迹容易离开感知传感器视野。
[0003]可动视觉系统通过主动控制视觉传感器的运动，可以弥补视觉传感器视场范围的不足，可以抵消载体震动对感知图像质量的影响，可以主动追踪动态目标。然而，现有由单个可动视觉传感器或多个可动视觉传感器构成的可动视觉系统，在使用过程中，视觉传感器对应的坐标系和可动视觉系统对应的基座坐标系间的相对位姿关系会随着机械形态的变化而发生变化。如何将视觉传感器在可动视觉系统不同机械形态下的感知结果精确地转换和融合至基座坐标系，是可动视觉系统必须要解决的一大核心难题，其涉及对于内部结构参数的合理估计，即转轴标定。
[0004]目前，大部分可精确控制的可动视觉系统是基于串联式结构来实现视觉传感器的二自由旋转或者三自由旋转。转轴标定的意义在于确定各个旋转轴对应的坐标系与视觉传感器对应的坐标系之间的几何关系，从而可以达到通过少量矩阵运算即可实时计算可动视觉系统在任意机械形态下视觉传感器的位姿。然而，现有转轴标定方法未能综合地将二维平面图像之间的约束信息和可动视觉系统末端视觉传感器之间内在的转轴参数约束信息利用起来。并且，现有标定方法基于的几何模型的精度有待提高，一方面，现有标定方法只能依次对单个转轴进行旋转轴估计，缺少全面包含多个转轴耦合转动在内的几何制约关系，另一方面，现有标定方法在标定过程中允许的转轴转动范围受限于视觉传感器视角大小，导致标定结果在未覆盖的转轴转角范围内的误差变得不可控制。

技术实现思路

[0005]本申请实施例提供了一种视觉系统的云台标定方法、装置、电子设备及存储介质，通过对多个靶标进行采样，可以规避相机视场角对云台可转动角度的限制，覆盖云台的全部转角范围。通过采集云台对应的第三坐标系变换数据集以及相机拍摄靶标集合得到的图像集，可以考虑多轴耦合转动时产的组合误差。通过确定每个靶标与相机标定坐标系间的坐标系变换数据，可以保证全部靶标集合的全局自洽。通过将靶标投影误差作为约束进行优化，可以减小二次误差传递。通过建立预设目标函数确定靶标集合中所有内角点重投影差的加权累加合，可以完成对串联式可动视觉系统的高精度标定，可以对可动视觉系统的所有自由度结构在各种旋转角度下采样的数据进行全局的标定，可以扩大应用场景，此外
可以减小可动视觉系统在运动状态下对相机位姿的预测误差。
[0006]本申请实施例提供了一种视觉系统的云台标定方法，该视觉系统包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合；
[0007]该视觉系统的云台标定方法包括：
[0008]当云台处于标定位置时，获取相机与云台对应的第一坐标系变换数据集，以及靶标集合与相机对应的第二坐标系变换数据集；
[0009]当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集；
[0010]确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集；
[0011]根据第一坐标系变换数据集、第二坐标系变换数据集、第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集；
[0012]根据参考位置数据集和预测位置数据集，确定目标标定数据集。
[0013]进一步地，第一坐标系变换数据集包括相机的标定相机坐标系与云台中每个自由度的标定自由度坐标系间的坐标系变换数据；
[0014]第二坐标系变换数据集包括靶标集合中每个靶标的靶标坐标系与标定相机坐标系间的坐标系变换数据；
[0015]第三坐标系变换数据集包括每个自由度的转动自由度坐标系与对应的标定自由度坐标系间的坐标系变换数据。
[0016]进一步地，根据第一坐标系变换数据集、第二坐标系变换数据集、第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集，包括：
[0017]根据第一坐标系变换数据集和第三坐标系变换数据集，确定相机对应的第四坐标系变换数据集；第四坐标系变换数据集包括相机的旋转相机坐标系与标定相机坐标间的坐标系变换数据；
[0018]根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集。
[0019]进一步地，根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集之前，还包括：
[0020]从图像集中确定目标图像集；目标图像集中的图像数量小于等于图像集中的图像数量；
[0021]根据目标图像集确定相机对应的内参数据和畸变数据。
[0022]进一步地，根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集，包括：
[0023]根据第二坐标系变换数据集和靶标位置数据集，确定靶标集合在标定相机坐标系中的候选位置数据集；
[0024]根据第四坐标系变换数据集和候选位置数据集，确定靶标集合在旋转相机坐标系中的待映射位置数据集；
[0025]根据内参数据、畸变数据和待映射位置数据集，确定靶标集合在图像集中的预测位置数据集。
[0026]进一步地，根据参考位置数据集和预测位置数据集，确定目标标定数据集，包括：
[0027]基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值；
[0028]对第一坐标系变换数据集和第二坐标系变换数据集进行更新处理，重复步骤：当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集；
[0029]确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集；
[0030]根据更新后的第一坐标系变换数据集、第二坐标系变换数据集以及第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集；
[0031]基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值，得到损失值集合；
[0032]将损失值集合中最小值对应的第一坐标系变换数据集和第二坐标系变换数据集确定为目标标定数据集。
[0033]进一步地，基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值，包括：
[0034]根据靶标集合中每个靶标对应的参考位置数据和预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉系统的云台标定方法，其特征在于，所述视觉系统包括具有多个自由度的云台、设置在所述云台上的相机和设置在所述云台外且相对于所述云台静止的靶标集合；所述方法包括：当所述云台处于标定位置时，获取所述相机与所述云台对应的第一坐标系变换数据集，以及所述靶标集合与所述相机对应的第二坐标系变换数据集；当所述云台中的至少一个自由度变化时，获取所述云台对应的第三坐标系变换数据集，以及所述相机拍摄所述靶标集合得到的图像集；确定所述靶标集合在靶标坐标系集中对应的靶标位置数据集，以及所述靶标集合在所述图像集中的参考位置数据集；根据所述第一坐标系变换数据集、所述第二坐标系变换数据集、所述第三坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集；根据所述参考位置数据集和所述预测位置数据集，确定目标标定数据集。2.根据权利要求1所述的方法，其特征在于，所述第一坐标系变换数据集包括所述相机的标定相机坐标系与所述云台中每个自由度的标定自由度坐标系间的坐标系变换数据；所述第二坐标系变换数据集包括所述靶标集合中每个靶标的靶标坐标系与所述标定相机坐标系间的坐标系变换数据；所述第三坐标系变换数据集包括所述每个自由度的转动自由度坐标系与对应的标定自由度坐标系间的坐标系变换数据。3.根据权利要求1
‑
2任一所述的方法，其特征在于，所述根据所述第一坐标系变换数据集、所述第二坐标系变换数据集、所述第三坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集，包括：根据所述第一坐标系变换数据集和所述第三坐标系变换数据集，确定所述相机对应的第四坐标系变换数据集；所述第四坐标系变换数据集包括所述相机的旋转相机坐标系与所述标定相机坐标间的坐标系变换数据；根据所述第二坐标系变换数据集、所述第四坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集。4.根据权利要求3所述的方法，其特征在于，所述根据所述第二坐标系变换数据集、所述第四坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集之前，还包括：从所述图像集中确定目标图像集；所述目标图像集中的图像数量小于等于所述图像集中的图像数量；根据所述目标图像集确定所述相机对应的内参数据和畸变数据。5.根据权利要求4所述的方法，其特征在于，所述根据所述第二坐标系变换数据集、所述第四坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集，包括：根据所述第二坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述标定相机坐标系中的候选位置数据集；根据所述第四坐标系变换数据集和所述候选位置数据集，确定所述靶标集合在所述旋
转相机坐标系中的待映射位置数据集；根据所述内参数据、所述畸变数据和所述待映射位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集。6.根据权利要求1
‑
5任一所述的...

【专利技术属性】
技术研发人员：周诚喆，王开放，柳俊，夏剑峰，胡杨红，李嘉茂，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：