一种基于深度学习的AGV叉车货物托盘位姿识别方法技术

本发明专利技术公开了一种基于深度学习的AGV叉车货物托盘位姿识别方法，包括以下操作步骤：相机控制模块控制深度相机采集原始RGBD数据；数据预处理模块对收集到的原始数据进行预处理，先对彩色图进行语义分割，找出托盘所在区域作为ROI，然后对ROI对应的点云数据进行平滑处理和噪声过滤。本发明专利技术所述的一种基于深度学习的AGV叉车货物托盘位姿识别方法，具有精度高，成本低，环境鲁棒性强等优点，可以避免因部分遮挡和光照变化导致的误检，采用深度相机收集图像和点云数据，并通过卷积神经网络和PointNet将彩色特征与深度特征进行像素级的稠密融合生成全局特征，并根据此全局特征采用深度学习训练检测模型。训练检测模型。训练检测模型。

【技术实现步骤摘要】
一种基于深度学习的AGV叉车货物托盘位姿识别方法


[0001]本专利技术涉及AGV叉车货物托盘位姿识别领域，特别涉及一种基于深度学习的AGV叉车货物托盘位姿识别方法。

技术介绍

[0002]随着人工智能技术的飞速发展，工业机器人的智能化毫无疑问成为了发展趋势。AGV(Automated Guided Vehicle)叉车是一种工业机器人，其具有自动导航、移动、避障，多传感器控制和装载运输等多种功能，其主要任务包括短途运输和完成对装载货物的托盘的装卸。近年来，随着物流需求的迅速增长，为提升工作效率，越来越多的工厂和仓库选择将传统人工叉车替换为自动引导叉车(AGV)，而对货物托盘的检测是AGV的一项重要技术。实际仓储环境具有背景复杂、光线条件不一致，动态及静态障碍物较多等特点，因此如何精准高效的完成对货物托盘的检测和定位是AGV叉车亟待解决的核心问题，随着科技的不断发展，人们对于AGV叉车货物托盘位姿识别方法的制造工艺要求也越来越高。
[0003]现有的AGV叉车货物托盘位姿识别方法在使用时存在一定的弊端，目前，对货物托盘的检测主要采用机器视觉或激光雷达检测等方法。其中，单目视觉相机成本较低，但是精度不高且受光线影响很大；激光雷达和双目视觉检测都拥有较高检测精度，但是激光雷达价格昂贵，双目视觉相机受光照影响较大；基于特征标签的视觉检测方法对于特征检测的精度要求比较高，环境鲁棒性较差等等。总的来说，现阶段对托盘检测的各种方法在托盘被部分遮挡情况下都易产生误检。
[0004]参考的同类产品专利包括CN104777835A和CN107507167A。CN104777835A公开了一种全向自动叉车及3D视觉导航定位方法，该方法采用双目视觉进行托盘定位，但是容易受到复杂仓储环境下光照的影响。CN107507167A则公开了一种基于点云平面轮廓匹配的货物托盘检测方法，尽管该方法具有高精度和低成本的优点，但是只适用于近距离检测场景，并且无法处理托盘被遮挡的情况。
[0005]综上，针对现有技术的各种缺点和不足，本专利技术的技术问题主要集中在如何在复杂的仓储环境中，提高托盘检测的精度并减小误检，如何提升对托盘检测的环境鲁棒性，尤其是在托盘部分被遮挡的情况下。同时，为了普及AGV叉车的应用，还需要降低托盘检测方法的成本。为此，我们需要开发一种基于深度学习的AGV叉车货物托盘位姿识别方法。

技术实现思路

[0006]解决的技术问题：针对现有技术的不足，本专利技术提供了一种基于深度学习的AGV叉车货物托盘位姿识别方法，具有精度高，成本低，环境鲁棒性强等优点，可以避免因部分遮挡和光照变化导致的误检，采用深度相机收集图像和点云数据，并通过卷积神经网络和PointNet将彩色特征与深度特征进行像素级的稠密融合生成全局特征，并根据此全局特征采用深度学习训练检测模型，可以有效解决
技术介绍
中的问题。
[0007]技术方案：为实现上述目的，本专利技术采取的技术方案为：一种基于深度学习的AGV
叉车货物托盘位姿识别方法，包括以下操作步骤：
[0008]S1：数据采集：相机控制模块控制深度相机采集原始RGBD数据；
[0009]S2：数据预处理：数据预处理模块对收集到的原始数据进行预处理，先对彩色图进行语义分割，找出托盘所在区域作为ROI，然后对ROI对应的点云数据进行平滑处理和噪声过滤，主要滤除传感器原始数据中的明显奇异点和较大离群点；
[0010]S3：数据滤波：对RGBD生成点云进行滤波，具体操作为对相邻数据进行中值滤波以平滑点云，并采用体素滤波进行降采样，采用统计滤波滤除数据中的明显奇异点和较大离群点；
[0011]S4：模型推理：将处理完成的ROI彩色图和对应点云输入预训练的模型，经过模型推理，得到的最优的输出位姿；
[0012]S5：预训练位姿：采用的预训练位姿预测模型主要由主干训练网络和自迭代优化网络两部分构成，在训练过程中不再拘泥于单一颜色或者几何特征，而是输入通过像素级的稠密融合形成的全局特征；
[0013]S6：位姿转换：结合AGV车体位姿与传感器在车体上的相对位姿，将托盘在传感器坐标系下的位姿转换为全局坐标系下的位姿。
[0014]作为本申请一种优选的技术方案，包括以下内容部分：模型训练部分、模型推理部分、程序模块部分与深度学习硬件部分。
[0015]作为本申请一种优选的技术方案，所述模型训练部分包括以下步骤：
[0016]S1：部署仓储环境下的托盘摆放场景，模拟各种遮蔽与光照情况，并在背景中参照数据集摆放二维码标识；
[0017]S2：使用深度相机对仓储环境下货物托盘的样本数据进行拍摄采集，同时根据背景二维码推算记录不同拍摄角度下相机的旋转和平移矩阵真值，即4x4变换矩阵；
[0018]S3：对彩色图像进行语义分割，使用包围盒标注托盘目标，同时在深度图中使用掩码标注分割结果；
[0019]S4：以第一张图片为参考面将深度图转化为点云数据作为model。由此可根据其他的拍摄样本时的摄像头参数计算出对应的点云数据；
[0020]S5：将所有样本数据按照托盘类别分类，并对每类数据划分train、validate和test索引；
[0021]S6：全局特征提取，根据数据集中的掩码标注，使用卷积神经网络编码
‑
解码结构将语义分割的图片部分进行颜色特征提取；
[0022]S7：搭建训练主干网络，输入是预处理之后点云数据随机选择的500个点、物体的分割结果、随机选取的像素索引和物体的类别编号；
[0023]S8：优化网络最终输出为优化之后的旋转和平移，根据新的旋转和平移对points和target进行逆转操作，并重新输入该优化网络进行自迭代，在重复固定次数自迭代后，最终保留最优模型文件。
[0024]作为本申请一种优选的技术方案，所述模型推理部分包括以下步骤：
[0025]S1：部署深度相机采集仓储环境下目标托盘的RGBD图像；
[0026]S2：对收集的图像数据进行预处理，以彩色图像数据为输入，对目标托盘进行语义分割；
[0027]S3：将处理后的彩色图像与对应点云数据输入预训练完成的位姿预测模型，初始化estimator，得到模型预测的最优旋转与平移；
[0028]S4：根据模型中初始托盘model的固定位姿与预测输出的最优姿态计算出目标托盘在传感器坐标系下的位姿，并将其压扁为2D位姿，然后根据相机与AGV车体的2D相对位姿和车体在地图全局坐标系下的2D位姿，最终计算出托盘在地图全局坐标系下的2D位姿。
[0029]作为本申请一种优选的技术方案，所述程序模块部分包括相机模块、图像预处理模块、模型训练模块、模型优化模块和模型推理模块，所述相机模块主要负责控制相机的实时拍摄和数据收集，并将图像数据传输给图像预处理模块，所述图像预处理模块主要负责一系列对输入数据的预处理工作，包括对彩色图的语义分割，彩色图深度图合成点云，点云去噪，bounding box本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的AGV叉车货物托盘位姿识别方法，其特征在于：包括以下操作步骤：S1：数据采集：相机控制模块控制深度相机采集原始RGBD数据；S2：数据预处理：数据预处理模块对收集到的原始数据进行预处理，先对彩色图进行语义分割，找出托盘所在区域作为ROI，然后对ROI对应的点云数据进行平滑处理和噪声过滤，主要滤除传感器原始数据中的明显奇异点和较大离群点；S3：数据滤波：对RGBD生成点云进行滤波，具体操作为对相邻数据进行中值滤波以平滑点云，并采用体素滤波进行降采样，采用统计滤波滤除数据中的明显奇异点和较大离群点；S4：模型推理：将处理完成的ROI彩色图和对应点云输入预训练的模型，经过模型推理，得到的最优的输出位姿；S5：预训练位姿：采用的预训练位姿预测模型主要由主干训练网络和自迭代优化网络两部分构成，在训练过程中不再拘泥于单一颜色或者几何特征，而是输入通过像素级的稠密融合形成的全局特征；S6：位姿转换：结合AGV车体位姿与传感器在车体上的相对位姿，将托盘在传感器坐标系下的位姿转换为全局坐标系下的位姿。2.根据权利要求1所述的一种基于深度学习的AGV叉车货物托盘位姿识别方法，其特征在于：包括以下内容部分：模型训练部分、模型推理部分、程序模块部分与深度学习硬件部分。3.根据权利要求2所述的一种基于深度学习的AGV叉车货物托盘位姿识别方法，其特征在于：所述模型训练部分包括以下步骤：S1：部署仓储环境下的托盘摆放场景，模拟各种遮蔽与光照情况，并在背景中参照数据集摆放二维码标识；S2：使用深度相机对仓储环境下货物托盘的样本数据进行拍摄采集，同时根据背景二维码推算记录不同拍摄角度下相机的旋转和平移矩阵真值，即4x4变换矩阵；S3：对彩色图像进行语义分割，使用包围盒标注托盘目标，同时在深度图中使用掩码标注分割结果；S4：以第一张图片为参考面将深度图转化为点云数据作为model。由此可根据其他的拍摄样本时的摄像头参数计算出对应的点云数据；S5：将所有样本数据按照托盘类别分类，并对每类数据划分train、validate和test索引；S6：全局特征提取，根据数据集中的掩码标注，使用卷积神经网络编码
‑
解码结构将语义分割的图片部分进行颜色特征提取；S7：搭建训练主干网络，输入是预处理之后点云数据随机选择的500个点、物体的分割结果、随机选取的像素索引和物体的类别编号；S8：优化网络最终输出为优化之后的旋转和平移，根据新的旋转和平移对points和target进行逆转操作，并重新输入该优化网络进行自迭代，在重复固定次数自迭代后，最终保留最优模型文件。4....

【专利技术属性】
技术研发人员：朱成，李建明，吴刘成，孙金良，李俊杰，周可可，张宇航，徐文魁，
申请(专利权)人：无锡江南智造科技股份有限公司，
类型：发明
国别省市：