基于RGB-D相机的栈板位姿计算方法技术

本发明专利技术提供了一种基于RGB

【技术实现步骤摘要】
基于RGB
‑
D相机的栈板位姿计算方法


[0001]本专利技术涉及智能物流
，特别是涉及一种基于RGB
‑
D相机的栈板位姿计算。

技术介绍

[0002]近年来，随着传统的物流行业的升级，自动化物流成为了现代物流技术的发展趋势，与传统的人工物流技术相比自动化物流能节省大量物力并且极大的提高运输效率。在货物运输装在中智能叉车占据极大比例，叉车除了需要具有定位导航功能外还需要具有识别放置货物的栈板，并且能成功对准栈板装载货物以实现货物叉取的能力，完成精准的货物搬运。
[0003]智能叉车对准栈板是成功取得货物的关键，但是目前在智能叉车栈板识别对准领域仍存在大量问题。目前有三种主流栈板识别定位的方法，一种方法是通过提前获取栈板的详细位置，利用激光定位实时获取AGV位置坐标，自动对准栈板进行叉取，但是栈板一旦倾斜则会对准失败；或者是利用水平安放的激光雷达对栈板截面进行识别，但是使用了价格昂贵的激光雷达，不利于降低生产成本。另一种是通过添加人工标签的方法比如二维码或者其他具有显著特征的标志，但是这种方法需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
D相机的栈板位姿计算方法，其特征在于，具体包括以下步骤：(1)根据叉车叉臂建立叉车坐标系，RGB
‑
D相机获取叉车图像并建立图像坐标系，获取叉车坐标系x轴和y轴在图像坐标系上的灭点，基于灭点和叉车车臂顶点获取的直线计算旋转矩阵，获取叉车坐标系的两个不同点以及图像坐标系对应的坐标，通过最小二乘、平移矩阵和旋转矩阵得到叉车坐标系到RGB
‑
D相机坐标系转换公式；(2)从深度图中获取点云信息并将其从相机坐标系转换至叉车坐标系，获取栈板截面点云并设为模板点云，建立点云坐标系，计算叉车坐标系相对于点云坐标系的姿态；(3)获取当前帧的上一帧预测点云，将模板点云转移到当前帧的上一帧，利用三自由度ICP计算预测帧到当前帧的转移矩阵，更新模板点云到当前帧点云姿态，计算当前帧点云相对于叉车坐标系的姿态；(4)优化步骤(3)获取的姿态。2.根据权利要求1所述的基于RGB
‑
D相机的栈板位姿计算方法，其特征在于，步骤(1)具体包括以下步骤：(1a)建立叉车坐标系，以叉臂中心与车头交汇处为坐标原点，叉臂指向为y轴正方向，垂直地面向上为z轴正方向，x方向由右手定则确定；RGB
‑
D相机获取叉车图像并建立图像坐标系；(1b)获取叉车坐标系y轴在图像坐标系上的灭点；(1c)根据y轴的灭点计算旋转矩阵R＝[r
1 r
2 r3]的第二列r2；(1d)获取叉车叉臂顶点的直线，利用x方向在直线上的灭点和旋转矩阵R的第二列r2正交计算得到R的第一列r1，旋转矩阵R的第三轮r3则通过r1和r2的叉积得到；(1e)通过叉车实际尺寸获取在叉车坐标系下的两个不同的点P
1 P2，以及对应点在图像上的坐标p
1 p2，通过最小二乘、平移矩阵和旋转矩阵得到叉车坐标系到RGB
‑
D相机坐标系转换公式。3.根据权利要求2所述的基于RGB
‑
D相机的栈板位姿计算方法，其特征在于，步骤(1b)获取叉车坐标系y轴在图像坐标系上的灭点具体指的是通过固定在叉车上的RGB
‑
D相机获取一张叉车叉臂图像，通过高斯滤波灰度增强二值化方法对上述图像进行预处理，采用canny边缘检测得到叉臂的轮廓图，拟合出叉臂两端的直线，通过直线方程构造最小二乘，利用SVD分解得到y方向上灭点坐标。4.根据权利要求2所述的基于RGB
‑
D相机的栈板位姿计算方法，其特征在于，步骤(1c)根据y轴的灭点计算旋转矩阵R＝[r
1 r
2 r3的第二列r2具体指的是根据y轴的灭点计算旋转矩阵R＝[r
1 r
2 r3]的第二列r2，服从如下公式其中，[u v 1]
T
为获取的y轴上的灭点，K为已知的相机内参矩阵，T为平移矩阵，[x y z 1]
T
为y轴的灭点在叉车坐标系下的齐次坐标，为[0 1 0 0]
T
。5.根据权利要求2所述的基于RGB
‑
D相机的栈板位姿计算方法，其特征在于，步骤(1e)具体包括通过叉车实际尺寸获取在叉车坐标系下的两个不同的点P
1 P2，以及对应点在图像上的
坐标p
1 p2，构造最小二乘：Ax＝b其中x＝[t
x t
y t
z
]
T
为平移矩阵，为平移矩阵，f
x
，f
y
为相机在对应方向的焦距，c
x
，c
y
为图像坐标系到像素坐标系的偏移量。6.根据权利要求1所述的基于RGB
‑
D相机的栈板位姿计算方法，其特征在于，步骤(2)具体包括以下步骤(2a)通过RGB
‑
D相机拍摄的深度图获取点云信息，将点云由相机坐标系转到叉车坐标系，利用直通滤波器去除地面上的点以及栈板以上的点；(2b)通过先验信息获取叉车在地图上的坐标以及栈板中心在地图上的坐标，将栈板中心坐标转移到叉车坐标系，进行范围搜索获取栈板点云，计算点云的法向量，筛选出栈板截面，将此点云作为模板点云；获取栈板截面点云中心坐标，搜索与栈板中心点在z轴方向上距离相同的点，拟合出以中心坐标为坐标原点平行于地面且...

【专利技术属性】
技术研发人员：刘晓涛，黎千里，惠笃鹏，曾铎锋，刘静，陈骏，葛鑫，姚舜，靳宝，
申请(专利权)人：京信智能科技广州有限公司，
类型：发明
国别省市：