一种基于AI视觉的叉车托盘位置识别方法及系统技术方案

本发明专利技术公开了一种基于AI视觉的叉车托盘位置识别方法，应用于托盘检测识别领域，包括：获取RGBD相机采集到的彩色图像与深度图像；将彩色图像与深度图像进行配准,得到配准彩色图像与配准深度图像；检测配准彩色图像，得到第一托盘区域目标点；获取第一托盘区域目标点在配准深度图像中对应的区域目标点，作为第二托盘区域目标点；根据第二托盘区域目标点计算托盘中心与货叉的距离。本发明专利技术通过RGBD相机分别获取彩色图像与深度图像，并进行检测，计算得到托盘中心与货叉的距离，解决了现有技术计算速度慢，不能满足叉车作业的实时性需求的问题。此外，本发明专利技术还提供了一种托盘位置识别系统、设备及可读存储介质，同样具有以上有益效果。果。果。

【技术实现步骤摘要】
一种基于AI视觉的叉车托盘位置识别方法及系统


[0001]本专利技术涉及托盘检测识别领域，特别涉及一种基于AI视觉的叉车托盘位置识别方法、系统、设备及可读存储介质。

技术介绍

[0002]随着技术的发展，叉车作为货物搬卸的重要工具，在生产中被广泛应用。叉车在搬运货物或者进行货物的堆垛时，主要通过货叉插取承载货物的托盘，由于货叉依托于门架，门架置于叉车行驶的正前方，驾驶员因门架插取托盘时视线受到一定阻碍，需要集中精力进行作业，长期工作使驾驶员精神消耗巨大，造成安全隐患；此外，在仓储环境下，受实际情况限制，在进行较高码垛作业时，驾驶员视线严重受阻，造成堆垛效率低下同时，存在一定的安全隐患。
[0003]现有技术中有使用单目相机，通过卷积神经网络计算托盘的距离信息，使用单目相机计算托盘信息需要经过多次坐标转换，计算过程相对繁琐，并且使用单目相机计算托盘信息计算速度慢，不能满足特定情况下叉车作业的实时性需求，降低了货物搬卸的效率。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于AI视觉的叉车托盘位置识别方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AI视觉的叉车托盘位置识别方法，其特征在于，包括：获取RGBD相机采集到的彩色图像与深度图像；将所述彩色图像与所述深度图像进行配准,得到配准彩色图像与配准深度图像；将所述配准彩色图像输入至.rknn模型中，得到第一托盘区域目标点；获取所述第一托盘区域目标点在所述配准深度图像中对应的区域目标点，作为第二托盘区域目标点；根据所述第二托盘区域目标点计算托盘中心与所述货叉的距离。2.根据权利要求1所述的基于AI视觉的叉车托盘位置识别方法，其特征在于，在所述将所述配准彩色图像输入至.rknn模型中，得到第一托盘区域目标点之前，还包括：训练Yolov5s模型，得到.pt模型；将所述.pt模型导出为.onnx模型；对所述.onnx模型进行转换，得到所述.rknn模型。3.根据权利要求1所述的基于AI视觉的叉车托盘位置识别方法，其特征在于，所述将所述配准彩色图像输入至.rknn模型中，得到第一托盘区域目标点，包括：启动NPU加速对所述.rknn模型进行托盘检测处理，得到所述第一托盘区域目标点。4.根据权利要求1所述的基于AI视觉的叉车托盘位置识别方法，其特征在于，所述将所述配准彩色图像输入至.rknn模型中，得到第一托盘区域目标点，包括：根据设定的anchors值确定所述配准彩色图像中托盘目标候选框；对所述托盘目标候选框进行非极大值抑制处理，得到最终目标框；获取所述最终目标框的边界框坐标点；所述最终目标框的边界框坐标点为(x
min
，y
min
)与(x
max
，y
max
)；根据所述边界框坐标点确定所述第一托盘区域目标点。5.根据权利要求4所述的基于AI视觉的叉车托盘位置识别方法，其特征在于，所述根据所述边界框坐标点确定所述第一托盘区域目标点，包括：将所述边界框坐标点输入至第一托盘区域目标点公式中，得到所述第一托盘区域目标点；所述第一托盘区域目标点公式为：点；所述第一托盘区域目标点公式为：其中P
cx
为所述第一托盘区域目标点横坐标，P
cy
为所述第一托盘区域目标点纵坐标，x
min
为所述...

【专利技术属性】
技术研发人员：王莹，潘鹏飞，简傲，章亚明，冯凯，
申请(专利权)人：杭叉集团股份有限公司，
类型：发明
国别省市：