一种机器人及其物体抓取方法和装置制造方法及图纸

本申请提供了一种机器人及其物体抓取方法和装置，该方法和装置具体为检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。

【技术实现步骤摘要】
一种机器人及其物体抓取方法和装置
本申请涉及人工智能
，更具体地说，涉及一种机器人及其物体抓取方法和装置。
技术介绍
随着技术的发展，机器人越来越多地应用于生产生活的各个领域，例如在汽车生产线上的工业机器人已经基本替代了人类的操作，虽然这些机器人的形态千差万别，特别是工业机器人都是以一种非人类形态出现，但是其基本的动作—抓握且是基本所有机器人的共同特征，无论是直接抓取零部件还是对相应位置的操作，都需要利用抓握部件进行抓握操作。当需要抓取有干扰、体积较小或者外形复杂的目标物体时，由于系统固有的误差会导致抓握的位置出现偏差、目标物体本身打滑、力度不够等情况的发生，从而导致对目标物体的抓取失败。
技术实现思路
有鉴于此，本申请提供一种机器人及其物体抓取方法和装置，用于避免出现抓取失败。为了实现上述目的，现提出的方案如下：一种物体抓取方法，应用于机器人，所述物体抓取方法包括步骤：检测目标物体的种类、位置和三维姿态；将所述种类、所述位置和/或所述三维姿态输入抓取动作决策模型，得到抓取策略，并按所述抓取策略控制抓取部件抓取所目标物体；根据所述抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据所述传感器数据对所述抓取策略进行调整，得到调整抓取策略，并根据所述调整抓取策略控制所述抓取部件再次执行抓取，并返回到所述根据抓取部件检测到的传感器数据判断是否抓取成功步骤。可选的，所述检测目标物体的种类、位置和三维姿态，包括：利用视觉检测方法获取所述目标物体的影像；将所述影像输入目标检测模型，得到所述种类、所述位置和所述三维姿态。可选的，还包括：在每次抓取时，记录所述传感器数据，形成第一数据集，所述第一数据集中包括抓取成功时的传感器数据和抓取失败时的传感器数据；利用所述第一数据集进行深度神经网络的训练，得到抓取判断模型，所述抓取判断模型用于判断抓取是否成功。可选的，所述根据所述抓取部件检测到的传感器数据判断是否抓取成功，包括：将所述传感器数据输入到所述抓取判断模型，得到是否抓取成功的判断结果。可选的，还包括：在每次抓取时，记录所述传感器数据和调整前的抓取策略和每次调整后的抓取策略，形成第二数据集；根据所述第二数据集进行深度神经网络的训练，得到抓取决策调整模型。可选的，所述根据所述传感器数据对所述抓取策略进行调整，得到所述抓取调整策略，包括：将所述传感器数据输入所述抓取策略调整模型，得到所述抓取调整策略。可选的，还包括：当对单一目标物体尝试抓取的次数达到预设限值时，控制所述抓取部件终止执行抓取。一种物体抓取装置，应用于机器人，所述物体抓取装置包括：参数检测模块，用于检测目标物体的种类、位置和三维姿态；第一执行模块，用于将所述种类、所述位置和/或所述三维姿态输入抓取动作决策模型，得到抓取策略，并按所述抓取策略控制抓取部件抓取所目标物体；抓取判断模块，用于根据所述抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；第二执行模块，用于如判定没有抓取成功，根据所述传感器数据对所述抓取策略进行调整，得到调整抓取策略，并根据所述调整抓取策略控制所述抓取部件再次执行抓取，并返回到所述根据抓取部件检测到的传感器数据判断是否抓取成功步骤。可选的，所述参数检测模块包括：影像获取单元，用于利用视觉检测方法获取所述目标物体的影像；检测执行单元，用于将所述影像输入目标检测模型，得到所述种类、所述位置和所述三维姿态。可选的，还包括：第一记录模块，用于在每次抓取时，记录所述传感器数据，形成第一数据集，所述第一数据集中包括抓取成功时的传感器数据和抓取失败时的传感器数据；第一训练模块，用于利用所述第一数据集进行深度神经网络的训练，得到抓取判断模型，所述抓取判断模型用于判断抓取是否成功。可选的，所述抓取判断模块用于将所述传感器数据输入到所述抓取判断模型，得到是否抓取成功的判断结果。可选的，还包括：第二记录模块，用于在每次抓取时，记录所述传感器数据和调整前的抓取策略和每次调整后的抓取策略，形成第二数据集；第二训练模块，用于根据所述第二数据集进行深度神经网络的训练，得到抓取决策调整模型。可选的，所述第二执行模块用于将所述传感器数据输入所述抓取策略调整模型，得到所述抓取调整策略。可选的，所述第二执行模块还用于当对单一目标物体尝试抓取的次数达到预设限值时，控制所述抓取部件终止执行抓取。一种机器人，可选的，设置有如上所述的物体抓取装置。从上述的技术方案可以看出，本申请公开了一种机器人及其物体抓取方法和装置，该方法和装置具体为检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以在一次无法抓取成功的情况下通过微调实现最终对目标物体的抓取，这样即使存在干扰、体积较小甚至外形复杂等干扰的情况下，也能避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种物体抓取方法的流程图；图2为本申请实施例提供的另一种物体抓取方法的流程图；图3为本申请实施例提供的又一种物体抓取方法的流程图；图4为本申请实施例提供的一种物体抓取装置的框图；图5为本申请实施例提供的另一种物体抓取装置的框图；图6为本申请实施例提供的又一种物体抓取装置的框图；图7为本申请实施例提供的又一种物体抓取装置的框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。实施例一图1为本申请实施例提供的一种物体抓取方法的流程图。如图1所示，本实施例提供的物体抓取方法应用于机器人，用于对机器人的机器手、机械臂等抓取部件进行控制，以使该抓取部件对目标物体进行抓取。该物体抓取方法包括如下步骤：S1、检测目标物体的种类、位置和三维姿态。本申请中具体为采用视觉方法对待抓取的目标物体的种类、位置和三维姿态进行检测。其中，种类是指目标物体的性质，如书本、杯子或者机械零件等；位置是指目标物体相对于该抓取部件的空间坐标；三维姿态是指该目标物体相对于抓取部件的空间向量，如其一个相应位置的朝向。具体来说，本申请通过如下方法对种类、位置和三维姿态进行检测：首先，利用视觉检测方法获取目标物体的影像，例如采用照相机、摄像机等设备对目标物体进行拍摄，从而获得该目标物体的影像。然后，将该影像输入到预先训练的目标检测模型本文档来自技高网...

【技术保护点】
1.一种物体抓取方法，应用于机器人，其特征在于，所述物体抓取方法包括步骤：检测目标物体的种类、位置和三维姿态；将所述种类、所述位置和/或所述三维姿态输入抓取动作决策模型，得到抓取策略，并按所述抓取策略控制抓取部件抓取所目标物体；根据所述抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据所述传感器数据对所述抓取策略进行调整，得到调整抓取策略，并根据所述调整抓取策略控制所述抓取部件再次执行抓取，并返回到所述根据抓取部件检测到的传感器数据判断是否抓取成功步骤。

【技术特征摘要】
1.一种物体抓取方法，应用于机器人，其特征在于，所述物体抓取方法包括步骤：检测目标物体的种类、位置和三维姿态；将所述种类、所述位置和/或所述三维姿态输入抓取动作决策模型，得到抓取策略，并按所述抓取策略控制抓取部件抓取所目标物体；根据所述抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据所述传感器数据对所述抓取策略进行调整，得到调整抓取策略，并根据所述调整抓取策略控制所述抓取部件再次执行抓取，并返回到所述根据抓取部件检测到的传感器数据判断是否抓取成功步骤。2.如权利要求1所述的物体抓取方法，其特征在于，所述检测目标物体的种类、位置和三维姿态，包括：利用视觉检测方法获取所述目标物体的影像；将所述影像输入目标检测模型，得到所述种类、所述位置和所述三维姿态。3.如权利要求1所述的物体抓取方法，其特征在于，还包括：在每次抓取时，记录所述传感器数据，形成第一数据集，所述第一数据集中包括抓取成功时的传感器数据和抓取失败时的传感器数据；利用所述第一数据集进行深度神经网络的训练，得到抓取判断模型，所述抓取判断模型用于判断抓取是否成功。4.如权利要求3所述的物体抓取方法，其特征在于，所述根据所述抓取部件检测到的传感器数据判断是否抓取成功，包括：将所述传感器数据输入到所述抓取判断模型，得到是否抓取成功的判断结果。5.如权利要求1所述的物体抓取方法，其特征在于，还包括：在每次抓取时，记录所述传感器数据和调整前的抓取策略和每次调整后的抓取策略，形成第二数据集；根据所述第二数据集进行深度神经网络的训练，得到抓取决策调整模型。6.如权利要求5所述的物体抓取方法，其特征在于，所述根据所述传感器数据对所述抓取策略进行调整，得到所述抓取调整策略，包括：将所述传感器数据输入所述抓取策略调整模型，得到所述抓取调整策略。7.如权利要求1～6任一项所述的物体抓取方法，其特征在于，还包括：当对单一目标物体尝试抓取的次数达到预设限值时，控制所述抓取部件终止执行抓取。8.一种物体抓取装置，应用于机器人，其特征在于，所述物体抓取装置包括：参数检测模块...

【专利技术属性】
技术研发人员：蔡颖鹏，陈希，
申请(专利权)人：北京因时机器人科技有限公司，
类型：发明
国别省市：北京,11