一种基于深度学习的分拣机械手多物体分拣方法技术

本发明专利技术提供了一种基于深度学习的分拣机械手多物体分拣方法，其包括：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对目标图像中的不同目标物品进行定位；基于定位结果对目标图像进行图像分割，并利用目标检测网络根据分割结果确定不同目标物品的点云集合；基于点云集合确定不同目标物品的位姿信息，并基于位姿信息控制分拣机械手对相应的目标物品进行分拣。通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。分拣效率。分拣效率。

【技术实现步骤摘要】
一种基于深度学习的分拣机械手多物体分拣方法


[0001]本专利技术涉及机器人分拣
，特别涉及一种基于深度学习的分拣机械手多物体分拣方法。

技术介绍

[0002]目前，随着机器人技术的不断发展，机器人分拣系统被应用到更多的场景中，例如垃圾分拣、物流仓储和深海勘探等；
[0003]但是现有的分拣系统一般通过目标检测技术方式对环境中的目标物体进行识别与定位，这在面对存在堆叠、遮挡情况的多种物体分拣的情景时，不能完成预定的分拣任务，甚至由于对物体的摆放关系理解不足，导致抓取过程中损坏了目标物体；
[0004]因此，本专利技术提供了一种基于深度学习的分拣机械手多物体分拣方法，通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。

技术实现思路

[0005]本专利技术提供一种基于深度学习的分拣机械手多物体分拣方法，用以通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。
[0006]本专利技术提供了一种基于深度学习的分拣机械手多物体分拣方法，包括：
[0007]步骤1：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对所述目标图像中的不同目标物品进行定位；
[0008]步骤2：基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合；
[0009]步骤3：基于点云集合确定不同目标物品的位姿信息，并基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣。
[0010]优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，包括：
[0011]获取预设目标图像采集点，并基于所述预设图像目标采集点对所述任务场景中的预设物品进行预图像采集，得到待校验图像，其中，所述预设目标图像采集点至少为两个；
[0012]获取管理端对待校验图像的筛选要求，并基于所述筛选要求对所述待校验图像进行筛选，得到标准图像，其中，所述筛选要求包括图像的构造以及对任务场景的拍摄角度；
[0013]确定所述标准图像对应的标准预设目标图像采集点，并基于所述标准预设目标图像采集点处的预设图像采集装置对任务场景中的不同目标物品进行图像采集，得到目标图像。
[0014]优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，还包括：
[0015]获取预设图像采集装置采集到的任务场景中包含不同目标物品的目标图像，并将所述目标图像的清晰度与预设清晰度进行比较；
[0016]若所述目标图像的清晰度大于或等于预设清晰度，判定所述预设图像采集装置采集的目标图像合格；
[0017]否则，判定所述预设图像采集装置采集的目标图像不合格，并获取所述预设清晰度对应的目标图像参数，其中，所述目标图像参数包括像素点的分辨率以及灰度值；
[0018]基于所述目标图像参数对所述目标图像对应的图像参数进行对应调整，直至所述目标图像的清晰度大于或等于所述预设清晰度。
[0019]优选的，一种基于深度学习的分拣机械手多物体分拣方法，步骤1中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位，包括：
[0020]获取分拣机械手历史分拣物，并确定历史分拣物对应的训练物品图像，其中，所述历史分拣物至少为两种不同的物品；
[0021]将所述训练物品图像进行预处理，得到所述训练物品图像的第一特征图像，并确定所述第一特征图像对应的比对特征信息；
[0022]基于所述比对特征信息对初始卷积神经网络进行训练，并基于训练后的初始卷积神经网络对所述训练物品图像进行识别，得到初始识别结果；
[0023]获取所述训练物品图像的实际物品结果，并将所述初始识别结果与所述实际物品结果进行比对，确定所述训练后的初始卷积神经网络对所述训练物品图像的识别误差值；
[0024]基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络；
[0025]基于卷积神经网络对所述目标图像进行识别，提取所述目标图像对应的第二特征图像，并基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征；
[0026]将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配，得到对应的匹配度，并基于所述匹配度确定所述目标图像中包含的物品的目标物品种类；
[0027]同时，基于目标图像中包含的物品的特征信息在所述目标图像中的分布特征，确定相同目标物品种类的物品数量；
[0028]基于所述目标图像中包含的物品的目标物品种类以及相同目标物品种类的物品数量完成对所述目标图像中的不同目标物品的定位。
[0029]优选的，一种基于深度学习的分拣机械手多物体分拣方法，基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征，包括：
[0030]获取所述目标图像，并将所述目标图像进行网格划分，同时获取目标图像中包含的物品的特征信息在所述目标图像中的分布特征；
[0031]基于所述分布特征在网格划分后的目标图像中匹配所述目标图像中包含的物品所在的目标网格图像，并对所述目标网格图像进行标注；
[0032]基于标注结果，提取所述目标网格图像中的预设参考物，并将所述预设参考物在预设任务场景地图中进行匹配，其中，任务场景中的预设参考物种类各不相同；
[0033]基于匹配结果确定所述目标图像中包含的物品在任务场景中的具体位置信息。
[0034]优选的，一种基于深度学习的分拣机械手多物体分拣方法，基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络，包括：
[0035]获取将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配的匹配结果；
[0036]若所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配时，完成对目标图像中包含的物品目标物品种类的确认；
[0037]否则，确定所述目标图像中包含的物品是否为新增物品种类；
[0038]若不是，基于所述卷积神经网络重新对所述目标图像进行识别，直至所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配；
[0039]否则，将当前所述目标图像进行记录，并基于当前所述目标图像对所述卷积神经网络进行再训练，完本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，包括：步骤1：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对所述目标图像中的不同目标物品进行定位；步骤2：基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合；步骤3：基于点云集合确定不同目标物品的位姿信息，并基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣。2.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，包括：获取预设目标图像采集点，并基于所述预设图像目标采集点对所述任务场景中的预设物品进行预图像采集，得到待校验图像，其中，所述预设目标图像采集点至少为两个；获取管理端对待校验图像的筛选要求，并基于所述筛选要求对所述待校验图像进行筛选，得到标准图像，其中，所述筛选要求包括图像的构造以及对任务场景的拍摄角度；确定所述标准图像对应的标准预设目标图像采集点，并基于所述标准预设目标图像采集点处的预设图像采集装置对任务场景中的不同目标物品进行图像采集，得到目标图像。3.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，还包括：获取预设图像采集装置采集到的任务场景中包含不同目标物品的目标图像，并将所述目标图像的清晰度与预设清晰度进行比较；若所述目标图像的清晰度大于或等于预设清晰度，判定所述预设图像采集装置采集的目标图像合格；否则，判定所述预设图像采集装置采集的目标图像不合格，并获取所述预设清晰度对应的目标图像参数，其中，所述目标图像参数包括像素点的分辨率以及灰度值；基于所述目标图像参数对所述目标图像对应的图像参数进行对应调整，直至所述目标图像的清晰度大于或等于所述预设清晰度。4.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位，包括：获取分拣机械手历史分拣物，并确定历史分拣物对应的训练物品图像，其中，所述历史分拣物至少为两种不同的物品；将所述训练物品图像进行预处理，得到所述训练物品图像的第一特征图像，并确定所述第一特征图像对应的比对特征信息；基于所述比对特征信息对初始卷积神经网络进行训练，并基于训练后的初始卷积神经网络对所述训练物品图像进行识别，得到初始识别结果；获取所述训练物品图像的实际物品结果，并将所述初始识别结果与所述实际物品结果进行比对，确定所述训练后的初始卷积神经网络对所述训练物品图像的识别误差值；基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络；基于卷积神经网络对所述目标图像进行识别，提取所述目标图像对应的第二特征图
像，并基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征；将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配，得到对应的匹配度，并基于所述匹配度确定所述目标图像中包含的物品的目标物品种类；同时，基于目标图像中包含的物品的特征信息在所述目标图像中的分布特征，确定相同目标物品种类的物品数量；基于所述目标图像中包含的物品的目标物品种类以及相同目标物品种类的物品数量完成对所述目标图像中的不同目标物品的定位。5.根据权利要求4所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征，包括：获取所述目标图像，并将所述目标图像进行网格划分，同时获取目标图像中包含的物品的特征信息在所述目标图像中的分布特征；基于所述分布特征在网格划分后的目标图像中匹配所述目标图像中包含的物品所在的目标网格图像，并对所述目标网格图像进行标注；基于标注结果，提取所述目标网格图像中的预设参考物，并将所述预设参考物在预设任务场景地图中进行匹配，其中，任务场景中的预设参考物种类各不相同；基于匹配结果确定所述目标图像中包含的物品在任务场景中的具体位置信息。6.根据权利要求4所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到...

【专利技术属性】
技术研发人员：王三祥，王欣，王锋，朱锦华，张朝年，
申请(专利权)人：江苏昱博自动化设备有限公司，
类型：发明
国别省市：