一种叉车叉取物检测定位系统及方法技术方案

本发明专利技术公开了一种叉车叉取物检测定位系统，设置于叉车上，包括：安装于叉车的带叉的一侧的第一采集器和位于其水平方向上的第二采集器，以及安装于叉车上且分别与第一采集器及第二采集器连接的视觉边缘处理器，以获取第一采集器及第二采集器采集的外界RGB图像及外界深度图像，利用深度学习模型提取图像特征，对外界RGB图像进行叉取物检测，获得对应的叉取物的预测框，记录叉取物的类别信息、预测框坐标信息及置信度信息，并根据所需目标叉取物的类别信息及置信度信息进行预测框的选取，根据选取获得的预测框坐标信息结合外界深度图像的点云计算所需目标叉取物相对于第二采集器的相对位姿关系。本发明专利技术还公开了一种叉车叉取物检测定位方法。物检测定位方法。物检测定位方法。

【技术实现步骤摘要】
一种叉车叉取物检测定位系统及方法


[0001]本专利技术涉及目标检测定位
，尤其涉及一种叉车叉取物检测定位系统及方法。

技术介绍

[0002]自动化物流仓储系统是未来智能制造的发展趋势，而智能叉车在其中起到了重要的作用，在物流仓储系统中，常见的储物容器包括栈板、圆盘和料笼等。目前，自动叉车叉取物识别通常以基于单独的TOF(Time ofFight，飞行时间)相机识别为主，而由于叉取的储物容器尺寸形态不统一，容易导致无法检测，鲁棒性差、检测效率低且可靠性差，使得叉车难以准确叉取物流容器。

技术实现思路

[0003]本专利技术所要解决的技术问题是提供一种叉车叉取物检测定位系统以提高检测效率及检测定位的准确率。
[0004]为解决上述技术问题，本专利技术的目的是通过以下技术方案实现的：提供一种叉车叉取物检测定位系统，包括第一采集器、第二采集器及视觉边缘处理器，所述第一采集器安装于叉车的带叉的一侧，用于采集叉车进叉时的外界RGB图像；所述第二采集器安装于叉车的带叉的一侧，并位于所述第一采集器的水平方向上，用于采集叉车进叉时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种叉车叉取物检测定位系统，设置于叉车上，其特征在于，包括：第一采集器，安装于叉车的带叉的一侧，用于采集叉车进叉时的外界RGB图像；第二采集器，安装于叉车的带叉的一侧，并位于所述第一采集器的水平方向上，用于采集叉车进叉时的外界相对于叉车的深度信息，获取外界深度图像；视觉边缘处理器，安装于叉车上且分别与所述第一采集器及第二采集器连接，用于获取外界RGB图像及外界深度图像，利用深度学习模型提取图像特征，对外界RGB图像进行叉取物检测，获得对应的叉取物的预测框，记录叉取物的类别信息、预测框坐标信息及置信度信息，并根据所需目标叉取物的类别信息及置信度信息进行预测框的选取，根据选取获得的预测框坐标信息结合外界深度图像的点云计算所需目标叉取物相对于第二采集器的相对位姿关系。2.根据权利要求1所述的叉车叉取物检测定位系统，其特征在于，所述视觉边缘处理器包括：深度学习模块，用于根据叉取物的图像建立深度学习模型，并利用深度学习模型提取图像特征，对外界RGB图像进行叉取物检测，获得对应的叉取物的预测框，输出叉取物的类别信息、预测框坐标信息及置信度信息；存储模块，用于记录并存储各叉取物于该外界RGB图像中对应的叉取物的类别信息、预测框坐标信息及置信度信息作为该外界RGB图像的各叉取物的相关信息。3.根据权利要求2所述的叉车叉取物检测定位系统，其特征在于，所述视觉边缘处理器还包括：点云位姿估计模块，用于获取存储于所述存储模块中的该外界RGB图像的各叉取物的相关信息，根据所需目标叉取物的类别信息及置信度信息进行预测框的选取，根据选取获得的预测框坐标信息结合外界深度图像的点云计算所需目标叉取物相对于第二采集器的相对位姿关系。4.根据权利要求3所述的叉车叉取物检测定位系统，其特征在于，所述点云位姿估计模块包括：框选单元，用于根据所需目标叉取物的类别信息及置信度信息进行预测框的选取，获得对应的预测框坐标信息；标定同步单元，用于获取外界深度图像，根据获得的对应的预测框坐标信息，对第一采集器和第二采集器进行内外参标定及时间同步，将对应的预测框投影至外界深度图像上；预测点云获取单元，用于截取对应的预测框投影至外界深度图像上的包含所需目标叉取物的点云图像块，对点云图像块进行二值化处理，获得目标点云块；位姿估计单元，用于对目标点云块进行位姿估计，获取对应的...

【专利技术属性】
技术研发人员：宋锦涛，段斌，廖金辉，林嘉煌，李俊宏，
申请(专利权)人：斯坦德机器人深圳有限公司，
类型：发明
国别省市：