AGV的TOF相机外参标定方法及装置、电子设备制造方法及图纸

本发明专利技术提供了一种AGV的飞行时间（TOF，Time of Flight）相机外参标定方法及装置、电子设备，所述方法包括：获取标定平面的点云数据；基于点云数据分别确定标定平面的平面方程；基于平面方程确定第一平面及第二平面的法向向量；基于法向向量确定TOF相机的旋转矩阵，根据旋转矩阵确定TOF相机相对于AGV坐标系的翻滚角、俯仰角、偏航角；并确定TOF相机坐标系相对于AGV坐标系的Z、X、Y轴偏移量，实现TOF相机的外参的标定。本发明专利技术排除外界可能引入的各种误差，标定结果更准确并且多车外参一致性更好。

【技术实现步骤摘要】
AGV的TOF相机外参标定方法及装置、电子设备
本专利技术涉及TOF相机外参标定技术，尤其涉及一种自动导引小车（AGV，AutomatedGuidedVehicle）的飞行时间（TOF，TimeofFlight）相机外参标定方法及装置、电子设备、存储介质。
技术介绍
为了增强AGV对周围环境的感知能力和感知范围，AGV通常会配置TOF相机，TOF相机的坐标系与AGV坐标系统之间的参数标定，对于AGV感知周围环境的能力至关重要。现有TOF相机的外参标定方法，一般是通过TOF相机进行图像采集点云数据，对点云数据进行分割，获取叉齿末端挡板平面、地面和叉齿平面的点云，计算挡板平面、地面和叉齿平面的平面方程，利用挡板平面、地面和叉齿平面的平面方程，获得叉齿坐标系与TOF相机坐标系的坐标变换关系。这种技术方案，需要每个挡板要相对于叉齿中心线对称，挡板安装需垂直于叉齿平面，两挡板要相对于车体中心线对称且中心连线要平行于两车轮中心的连线。这些限定在实际应用中难以满足，AGV上的挡板安装精度极高且条件繁多、操作复杂。
技术实现思路
本专利技术提供一种基于视觉的激光切割方法及装置、电子设备、存储介质，以至少解决现有技术中存在的以上技术问题。本专利技术一方面提供一种AGV的飞行时间相机外参标定方法，所述方法包括：获取包含第一平面的第一点云数据，以及获取包含第二平面及位于AGV的第三平面的第二点云数据；基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；<br>基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在TOF相机坐标系及所述AGV坐标系下的法向向量；基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。可选地，所述基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程，包括：对所述第一点云数据采用随机抽样一致RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。可选地，在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，所述方法还包括：遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。可选地，所述确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段，包括：对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。可选地，提取第二平面及第三平面之后，所述方法还包括：检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。本专利技术另一方面提供一种AGV的飞行时间相机外参标定装置，所述装置包括：获取单元，用于获取包含第一平面的第一点云数据，以及获取包含第二平面及位于自动导引小车AGV的第三平面的第二点云数据；第一确定单元，用于基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；第二确定单元，用于基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在飞行时间TOF相机坐标系及所述AGV坐标系下的法向向量；第三确定单元，用于基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；第四确定单元，用于确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；第五确定单元，用于确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；第六确定单元，用于将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。可选地，所述第一确定单元，还用于：对所述第一点云数据采用RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。可选地，所述第六确定单元在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，还用于：遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。可选地，本文档来自技高网...

【技术保护点】
1.一种AGV的飞行时间相机外参标定方法，其特征在于，所述方法包括：/n获取包含第一平面的第一点云数据，以及获取包含第二平面及位于自动导引小车AGV的第三平面的第二点云数据；/n基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；/n基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在飞行时间TOF相机坐标系及所述AGV坐标系下的法向向量；/n基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；/n确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；/n确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；/n将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。/n...

【技术特征摘要】
1.一种AGV的飞行时间相机外参标定方法，其特征在于，所述方法包括：
获取包含第一平面的第一点云数据，以及获取包含第二平面及位于自动导引小车AGV的第三平面的第二点云数据；
基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；
基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在飞行时间TOF相机坐标系及所述AGV坐标系下的法向向量；
基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；
确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；
确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；
将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。


2.根据权利要求1所述的方法，其特征在于，所述基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程，包括：
对所述第一点云数据采用随机抽样一致RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；
采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。


3.根据权利要求1所述的方法，其特征在于，在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，所述方法还包括：
遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。


4.根据权利要求3所述的方法，其特征在于，所述确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段，包括：
对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；
将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。


5.根据权利要求2所述的方法，其特征在于，提取第二平面及第三平面之后，所述方法还包括：
检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。


6.一种AGV的飞行时间相机外参标定装置，其特征在于，所述装置包括：
获取单元，用于获取包含第一平面的第一点云数据，以及获取包含第二平面及位于自动导引小车AGV的第三平面的第二点云数据；
第一确定单元，用于基于所述第一点云数据及所述第二...

【专利技术属性】
技术研发人员：高炳舒，余冬冬，李华玉，李承远，卢维，王政，李铭，
申请(专利权)人：浙江华睿科技股份有限公司，
类型：发明
国别省市：浙江;33