一种基于叉车直线运动的外参标定方法及装置制造方法及图纸

本发明专利技术公开了一种基于叉车直线运动的外参标定方法及装置，包括：当叉车在第一位置时，获取标定模板的第一图像数据并得到第一变换关系；当叉车在第二位置时，获取标定模板的第二图像数据并得到第二变换关系；根据第一变换关系和第二变换关系，得到第一和第二摄像机坐标系的第三变换关系；根据第三变换关系，以及和第二位置的原点，得到叉车运动方向的方向向量以及平移矩阵；根据叉车运动方向的方向向量以及地面的法向量，计算得到叉车坐标系的方向向量，从而得到摄像机的旋转矩阵，进而得到摄像机的外参。本发明专利技术在叉车直线前进的过程中进行标定，解决了标定操作复杂性高、效率低和外参准确性低的问题，更加符合叉车的实际应用。更加符合叉车的实际应用。更加符合叉车的实际应用。

【技术实现步骤摘要】
一种基于叉车直线运动的外参标定方法及装置


[0001]本专利技术涉及RGBD相机标定领域，尤其涉及一种基于叉车直线运动的外参标定方法及装置。

技术介绍

[0002]无人智能叉车在智能仓储领域得到了大量的应用。在工厂全自动或者半自动的作业过程中，无人智能叉车承担起了货物转移和搬运的角色，通常是将装载货物的栈板(托盘)或者台车从工厂的某一个位置搬移到另一个位置。栈板(托盘)或者台车在摆放的时候，由于某些原因并没有被按照理想的情况摆放。
[0003]在无人叉车叉取栈板(托盘)或者台车之前，会通过安装在无人叉车上的RGBD传感器摄像机识别并采集栈板(托盘)或者台车的三维空间点云以及对应的RGB二维图像数据，处理分析这些数据来得出栈板(托盘)或者台车的位置和姿态结果。但现有对RGBD传感器摄像机的外参标定方法中，通过外部设置白色线条实现，按照Yaw、Pitch、Roll、Ty的先后顺序计算外参参数，但该计算过程基于旋转矩阵的连乘思想，逐步拆解成每一个自由度的旋转矩阵计算，计算过程复杂，同时也有已标定好的参考深度相机传输给待标定相机他们共同目标的位置信息，从而实现待标定相机空间位置外参的标定，该方法需要多用一个已标定好的参考深度相机，且操作复杂度高，并且存在标定误差。
[0004]因此，目前亟需一种能够保证准确性与高效性的RGBD传感摄像机的外参标定方法。

技术实现思路

[0005]本专利技术提供了一种基于叉车直线运动的外参标定方法及装置，以解决现有技术中标定操作复杂性高、效率低和外参准确性低的技术问题。
[0006]为了解决上述技术问题，本专利技术实施例提供了一种基于叉车直线运动的外参标定方法，包括：
[0007]当叉车在第一位置时，获取将标定模板的第一RGB图像和第一深度图像对齐后的第一图像数据，并根据所述第一图像数据，计算得到第一摄像机坐标系到所述标定模板的坐标系的第一变换关系；
[0008]当叉车在第二位置时，获取将标定模板的第二RGB图像和第二深度图像对齐后的第二图像数据，并根据所述第二图像数据，计算得到第二摄像机坐标系到所述标定模板的坐标系的第二变换关系；
[0009]根据所述第一变换关系和所述第二变换关系，得到第一摄像机坐标系和第二摄像机坐标系的第三变换关系；
[0010]根据所述第三变换关系，以及叉车坐标系分别在第一位置和第二位置的原点，得到第一位置和第二位置的原点分别在第一摄像机坐标系下的坐标，进而得到叉车运动方向在第一摄像机坐标系下的方向向量，以及叉车坐标系到摄像机坐标系的平移矩阵；其中，所
述第一位置为叉车直线运动前的位置，所述第二位置为叉车直线运动后的位置；
[0011]根据叉车运动方向在第一摄像机坐标系下的方向向量，以及地面平面在第一摄像机坐标系下的法向量，计算得到叉车坐标系在摄像机坐标系下的旋转矩阵，并根据摄像机的旋转矩阵与平移矩阵，得到摄像机的外参。
[0012]作为优选方案，所述根据所述第一图像数据，计算得到第一摄像机坐标系到所述标定模板的坐标系的第一变换关系，具体为：
[0013]根据所述第一图像数据，得到标定模板的第一平面方程；
[0014]将标定模板的内角点在所述第一图像数据的投影与第一摄像机坐标系的原点进行连线，并将连线与所述第一平面方程的交点坐标，作为标定模板内角点在摄像机坐标系下的坐标表示；
[0015]根据标定模板内角点在标定模板坐标系下的表示，得到第一摄像机坐标系到标定模板的坐标系的第一变换关系。
[0016]作为优选方案，根据所述第二图像数据，计算得到第二摄像机坐标系到所述标定模板的坐标系的第二变换关系，具体为：
[0017]根据所述第二图像数据，得到标定模板的第二平面方程；
[0018]将标定模板的内角点在所述第二图像数据的投影与第二摄像机坐标系的原点进行连线，并将连线与所述第二平面方程的交点坐标，作为标定模板内角点在摄像机坐标系下的坐标表示；
[0019]根据标定模板内角点在标定模板坐标系下的表示，得到第二摄像机坐标系到标定模板的坐标系的第二变换关系。
[0020]作为优选方案，根据所述第一变换关系和所述第二变换关系，得到第一摄像机坐标系和第二摄像机坐标系的第三变换关系，具体为：
[0021]根据所述第一变换关系和所述第二变换关系，计算得到叉车分别位于第一位置和第二位置时，第一摄像机坐标系和第二摄像机坐标系的第三变换关系。
[0022]作为优选方案，所述根据所述第三变换关系，以及叉车坐标系分别在第一位置和第二位置的原点，得到第一位置和第二位置的原点分别在第一摄像机坐标系下的坐标，进而得到叉车运动方向在第一摄像机坐标系下的方向向量，以及叉车坐标系到摄像机坐标系的平移矩阵，具体为：
[0023]根据所述第三变换关系以及叉车坐标系在第一位置的第一原点，计算出第一原点在第一摄像机坐标系下的坐标，从而得到叉车坐标系到摄像机坐标系的平移矩阵；
[0024]根据叉车坐标系分别在第一位置和第二位置的原点，得到叉车位移距离，并根据所述叉车位移距离，得到第二原点在第一摄像机坐标系下的坐标；
[0025]根据第一原点在第一摄像机坐标系下的坐标，以及第二原点在第一摄像机坐标系下的坐标，计算得到叉车运动方向在第一摄像机坐标系下的方向向量。
[0026]作为优选方案，所述地面平面在第一摄像机坐标系下的法向量的获取方法，具体包括：
[0027]获取并拟合基于第一摄像机坐标系下的地面点云数据，得到在摄像机坐标系下的地面平面方程，进而得到地面平面在第一摄像机坐标系下的法向量。
[0028]作为优选方案，所述根据叉车运动方向在第一摄像机坐标系下的方向向量，以及
地面平面在第一摄像机坐标系下的法向量，计算得到叉车坐标系在摄像机坐标系下的旋转矩阵，并根据摄像机的旋转矩阵与平移矩阵，得到摄像机的外参，具体为：
[0029]根据地面平面在第一摄像机坐标系下的法向量，将叉车坐标系在第一摄像机坐标系下的每个方向向量进行归一化，得到叉车坐标系到摄像机坐标系的旋转矩阵；
[0030]根据叉车坐标系到摄像机坐标系的平移矩阵，以及叉车坐标系到摄像机坐标系的旋转矩阵，计算得到叉车坐标系到摄像机坐标系的外参，进而得到摄像机的外参。
[0031]相应地，一种基于叉车直线运动的外参标定装置，包括：第一位置模块、第二位置模块、变换关系模块、方向向量模块和外参模块；
[0032]所述第一位置模块，用于当叉车在第一位置时，获取将标定模板的第一RGB图像和第一深度图像对齐后的第一图像数据，并根据所述第一图像数据，计算得到第一摄像机坐标系到所述标定模板的坐标系的第一变换关系；
[0033]所述第二位置模块，用于当叉车在第二位置时，获取将标定模板的第二RGB图像和第二深度图像对齐后的第二图像数据，并根据所述第二图像数据，计算得到第二摄像机坐标系到所述标定模板的坐标系的第二变换关系；
[0034]所述变换关系模块，用于根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于叉车直线运动的外参标定方法，其特征在于，包括：当叉车在第一位置时，获取将标定模板的第一RGB图像和第一深度图像对齐后的第一图像数据，并根据所述第一图像数据，计算得到第一摄像机坐标系到所述标定模板的坐标系的第一变换关系；当叉车在第二位置时，获取将标定模板的第二RGB图像和第二深度图像对齐后的第二图像数据，并根据所述第二图像数据，计算得到第二摄像机坐标系到所述标定模板的坐标系的第二变换关系；根据所述第一变换关系和所述第二变换关系，得到第一摄像机坐标系和第二摄像机坐标系的第三变换关系；根据所述第三变换关系，以及叉车坐标系分别在第一位置和第二位置的原点，得到第一位置和第二位置的原点分别在第一摄像机坐标系下的坐标，进而得到叉车运动方向在第一摄像机坐标系下的方向向量，以及叉车坐标系到摄像机坐标系的平移矩阵；其中，所述第一位置为叉车直线运动前的位置，所述第二位置为叉车直线运动后的位置；根据叉车运动方向在第一摄像机坐标系下的方向向量，以及地面平面在第一摄像机坐标系下的法向量，计算得到叉车坐标系在摄像机坐标系下的旋转矩阵，并根据摄像机的旋转矩阵与平移矩阵，得到摄像机的外参。2.如权利要求1所述的一种基于叉车直线运动的外参标定方法，其特征在于，所述根据所述第一图像数据，计算得到第一摄像机坐标系到所述标定模板的坐标系的第一变换关系，具体为：根据所述第一图像数据，得到标定模板的第一平面方程；将标定模板的内角点在所述第一图像数据的投影与第一摄像机坐标系的原点进行连线，并将连线与所述第一平面方程的交点坐标，作为标定模板内角点在摄像机坐标系下的坐标表示；根据标定模板内角点在标定模板坐标系下的表示，得到第一摄像机坐标系到标定模板的坐标系的第一变换关系。3.如权利要求1所述的一种基于叉车直线运动的外参标定方法，其特征在于，根据所述第二图像数据，计算得到第二摄像机坐标系到所述标定模板的坐标系的第二变换关系，具体为：根据所述第二图像数据，得到标定模板的第二平面方程；将标定模板的内角点在所述第二图像数据的投影与第二摄像机坐标系的原点进行连线，并将连线与所述第二平面方程的交点坐标，作为标定模板内角点在摄像机坐标系下的坐标表示；根据标定模板内角点在标定模板坐标系下的表示，得到第二摄像机坐标系到标定模板的坐标系的第二变换关系。4.如权利要求1所述的一种基于叉车直线运动的外参标定方法，其特征在于，根据所述第一变换关系和所述第二变换关系，得到第一摄像机坐标系和第二摄像机坐标系的第三变换关系，具体为：根据所述第一变换关系和所述第二变换关系，计算得到叉车分别位于第一位置和第二位置时，第一摄像机坐标系和第二摄像机坐标系的第三变换关系。
5.如权利要求1所述的一种基于叉车直线运动的外参标定方法，其特征在于，所述根据所述第三变换关系，以及叉车坐标系分别在第一位置和第二位置的原点，得到第一位置和第二位置的原点分别在第一摄像机坐标系下的坐标，进而得到叉车运动方向在第一摄像机坐标系下的方向向量，以及叉车坐标系到摄像机坐标系的平移矩阵，具体为：根据所述第三变换关系以及叉车坐标系在第一位置的第一原点，计算出第一原点在第一摄像机坐标系下的坐标，从而得到叉车坐标系到摄像机坐标系的平移矩...

【专利技术属性】
技术研发人员：邢彦文，卓钟烁，
申请(专利权)人：广东省大湾区集成电路与系统应用研究院，
类型：发明
国别省市：