机器人抓取方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种机器人抓取方法、装置、电子设备及存储介质，涉及机器人智能控制领域。首先，利用安装在机器人上的相机在多个视角下对目标物体进行拍摄，获得图像集和每个视角对应的相机参数；然后将图像集和相机参数输入预先训练好的检测模型，对目标物体的关键点的三维坐标进行预测，得到预测结果，并根据预测结果和关键点之间的空间几何关系，计算得到目标物体的位姿；最后，根据目标物体的位姿和预先训练好的抓取模型，控制机器人完成目标物体的抓取。标物体的抓取。标物体的抓取。

【技术实现步骤摘要】
机器人抓取方法、装置、电子设备及存储介质


[0001]本专利技术涉及机器人智能控制领域，具体而言，涉及一种机器人抓取方法、装置、电子设备及存储介质。

技术介绍

[0002]随着智能制造技术和信息技术的发展，机器人的智能化水平不断提高，并在各行各业得到越来越广泛的应用，尤其在工业领域，工业机器人的使用极大地提高了生产效率。
[0003]而在工业生产中，机器人抓取是其中一个最常用、最基础的操作，研究提高机器人抓取的精确度与稳定性对于进一步提升工业生产效率具有极为重要的意义。

技术实现思路

[0004]本专利技术的目的包括，例如，提供了一种机器人抓取方法、装置、电子设备及存储介质，其能够根据相机在多个视角下对目标物体进行拍摄得到的图像和预先训练的检测模型，确定目标物体的位姿，并根据预先建立的抓取模型控制机器人完成目标物体的抓取。
[0005]本专利技术的实施例可以这样实现：
[0006]第一方面，本专利技术实施例提供了一种机器人抓取方法，应用于电子设备，所述电子设备与机器人通信连接，所述机器人安装有相机；所述方法包括：
[0007]获取所述相机在多个视角下对目标物体进行拍摄得到的图像集及每个视角对应的相机参数；
[0008]将所述图像集和每个所述相机参数输入检测模型，利用所述检测模型对所述图像集进行预测，得到所述目标物体的第一坐标的预测值，其中，所述第一坐标为所述目标物体的关键点的三维坐标；
[0009]根据所述第一坐标的预测值和所述关键点之间的空间几何关系，计算得到所述目标物体的位姿参数，其中，所述位姿参数用于表征所述目标物体的空间位置及姿态；
[0010]根据所述位姿参数和抓取模型，控制所述机器人完成所述目标物体的抓取，其中，所述抓取模型是利用强化学习的方式进行训练得到的。
[0011]在一种可能的实施方式中，所述检测模型包括二维检测网络和三维检测网络，所述图像集包括多个视角对应的图像；
[0012]所述将所述图像集和每个所述相机参数输入检测模型，利用所述检测模型对所述图像集进行预测，得到所述目标物体的第一坐标的预测值的步骤，包括：
[0013]将所述图像集输入所述目标检测网络，利用所述目标检测网络对所述图像集中的图像进行剪裁，得到剪裁后的图像；
[0014]将所述剪裁后的图像输入所述二维检测网络，利用所述二维检测网络对每个剪裁后的图像进行特征提取，得到每个图像对应的二维特征图和每个图像对应的置信度，其中，所述二维特征图用于表征所述目标物体的关键点在所述图像中的二维坐标，所述置信度用于表征每个所述图像对应的视角下目标物体的真实度；
[0015]将所有所述二维特征图、所述置信度和所述相机参数输入所述三维检测网络，将所述置信度作为权重利用所述三维检测网络对所有所述二维特征图进行处理，得到所述目标物体的第一坐标的预测值。
[0016]在一种可能的实施方式中，所述三维检测网络包括三维映射网络、三维卷积网络和损失函数回归模型；
[0017]所述将所有所述二维特征图、所述置信度和所述相机参数输入所述三维检测网络，将所述置信度作为权重利用所述三维检测网络对所有所述二维特征图进行处理，得到所述目标物体的第一坐标的预测值的步骤，包括：
[0018]将所有所述二维特征图、所述置信度和所述相机参数输入所述三维映射网络，利用反向投影的方式，得到所述目标物体的三维特征图，其中，所述三维特征图用于表征所述目标物体的三维空间信息，所述三维特征图包括多个通道，每个所述通道和每个所述目标物体的关键点一一对应；
[0019]将所述三维特征图输入所述三维卷积网络，利用所述三维卷积网络对所述三维特征图进行特征提取，得到每个所述关键点对应的三维特征图；
[0020]将所有所述关键点对应的三维特征图输入所述损失函数回归模型，利用所述损失函数回归模型对所有所述关键点对应的三维特征图做归一化处理，得到所述目标物体的第一坐标的预测值。
[0021]在一种可能的实施方式中，所述机器人包括夹爪，所述根据所述位姿参数和抓取模型，控制所述机器人完成所述目标物体的抓取的步骤，包括：
[0022]获取t时刻的状态参数，所述状态参数包括夹爪末端的位姿参数、所述夹爪末端的速度，所述夹爪的开合状态；
[0023]将所述状态参数、所述目标物体的位姿参数及最大置信度对应的相机参数输入所述抓取模型，得到t时刻的动作参数，所述动作参数包括所述夹爪末端的速度、所述夹爪的旋转角及所述夹爪的开合状态；
[0024]控制所述机器人按照所述动作参数运动，完成t时刻的动作，并获取t+1时刻的状态参数；
[0025]重复执行所述将所述状态参数、所述目标物体的位姿参数及最大置信度对应的相机参数输入所述抓取模型，得到t时刻的动作参数的步骤，直至所述机器人完成所述目标物体的抓取。
[0026]在一种可能的实施方式中，所述检测模型是通过以下方式训练得到的：
[0027]获取训练样本及所述训练样本对应的标签，其中，所述训练样本包括第一图像和相机参数，所述标签表征所述参考物体的关键点的三维坐标；
[0028]将所述第一图像输入所述目标检测网络，利用所述目标检测网络对所述第一图像进行剪裁，得到剪裁后的第一图像；
[0029]将所述剪裁后的第一图像输入所述二维检测网络，利用所述二维检测网络对所述剪裁后的第一图像进行特征提取，得到所述第一图像对应的二维特征图和所述第一图像对应的置信度；
[0030]将所述第一图像对应的二维特征图、所述第一图像对应的置信度和所述相机参数输入所述三维检测网络，将所述第一图像对应的置信度作为权重利用所述三维检测网络对
所有所述第一图像对应的二维特征图进行处理，得到所述参考物体的第二坐标的预测结果，所述第二坐标为所述参考物体的关键点的三维坐标；
[0031]基于所述参考物体的第二坐标的预测结果、所述标签和预设的损失函数对所述检测模型进行反向传播训练，得到训练后的检测模型。
[0032]在一种可能的实施方式中，所述损失函数为：
[0033][0034]其中，α为所述关键点的二维坐标的损失项的权重，表示所述二维特征图的损失函数，表示所述三维特征图的损失函数；
[0035]所述二维特征图的损失函数为：
[0036][0037]其中，F
n,k
表示所述二维特征图的预测值，表示所述二维特征图的标记值；
[0038]所述三维特征图的损失函数为：
[0039][0040]其中，d
k
表示所述关键点的三维坐标的预测值，表示所述关键点的三维坐标的真实值，γ表示权重，用于增强所述三维检测网络输出的所述预测结果的准确性。
[0041]在一种可能的实施方式中，所述机器人还包括基座，所述获取训练样本及所述训练样本对应的标签的步骤，包括：
[0042]对所述相机进行标定，得到相机坐标系与夹爪末端坐标系之间的第一转换矩阵；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人抓取方法，其特征在于，应用于电子设备，所述电子设备与机器人通信连接，所述机器人安装有相机；所述方法包括：获取所述相机在多个视角下对目标物体进行拍摄得到的图像集及每个视角对应的相机参数；将所述图像集和每个所述相机参数输入检测模型，利用所述检测模型对所述图像集进行预测，得到所述目标物体的第一坐标的预测值，其中，所述第一坐标为所述目标物体的关键点的三维坐标；根据所述第一坐标的预测值和所述关键点之间的空间几何关系，计算得到所述目标物体的位姿参数，其中，所述位姿参数用于表征所述目标物体的空间位置及姿态；根据所述位姿参数和抓取模型，控制所述机器人完成所述目标物体的抓取，其中，所述抓取模型是利用强化学习的方式进行训练得到的。2.如权利要求1所述的方法，其特征在于，所述检测模型包括目标检测网络、二维检测网络和三维检测网络，所述图像集包括多个视角对应的图像；所述将所述图像集和每个所述相机参数输入检测模型，利用所述检测模型对所述图像集进行预测，得到所述目标物体的第一坐标的预测值的步骤，包括：将所述图像集输入所述目标检测网络，利用所述目标检测网络对所述图像集中的图像进行剪裁，得到剪裁后的图像；将所述剪裁后的图像输入所述二维检测网络，利用所述二维检测网络对每个剪裁后的图像进行特征提取，得到每个图像对应的二维特征图和每个图像对应的置信度，其中，所述二维特征图用于表征所述目标物体的关键点在所述图像中的二维坐标，所述置信度用于表征每个所述图像对应的视角下目标物体的真实度；将所有所述二维特征图、所述置信度和所述相机参数输入所述三维检测网络，将所述置信度作为权重利用所述三维检测网络对所有所述二维特征图进行处理，得到所述目标物体的第一坐标的预测值。3.如权利要求2所述的方法，其特征在于，所述三维检测网络包括三维映射网络、三维卷积网络和损失函数回归模型；所述将所有所述二维特征图、所述置信度和所述相机参数输入所述三维检测网络，将所述置信度作为权重利用所述三维检测网络对所有所述二维特征图进行处理，得到所述目标物体的第一坐标的预测值的步骤，包括：将所有所述二维特征图、所述置信度和所述相机参数输入所述三维映射网络，利用反向投影的方式，得到所述目标物体的三维特征图，其中，所述三维特征图用于表征所述目标物体的三维空间信息，所述三维特征图包括多个通道，每个所述通道和每个所述目标物体的关键点一一对应；将所述三维特征图输入所述三维卷积网络，利用所述三维卷积网络对所述三维特征图进行特征提取，得到每个所述关键点对应的三维特征图；将所有所述关键点对应的三维特征图输入所述损失函数回归模型，利用所述损失函数回归模型对所有所述关键点对应的三维特征图做归一化处理，得到所述目标物体的第一坐标的预测值。4.根据权利要求1所述的方法，其特征在于，所述机器人包括夹爪，所述根据所述位姿
参数和抓取模型，控制所述机器人完成所述目标物体的抓取的步骤，包括：获取t时刻的状态参数，所述状态参数包括夹爪末端的位姿参数、所述夹爪末端的速度，所述夹爪的开合状态；将所述状态参数、所述目标物体的位姿参数及最大置信度对应的相机参数输入所述抓取模型，得到t时刻的动作参数，所述动作参数包括所述夹爪末端的速度、所述夹爪的旋转角及所述夹爪的开合状态；控制所述机器人按照所述动作参数运动，完成t时刻的动作，并获取t+1时刻的状态参数；重复执行将所述状态参数、所述目标物体的位姿参数及最大置信度对应的相机参数输入所述抓取模型，得到t时刻的动作参数的步骤，直至所述机器人完成所述目标物体的抓取。5.根据权利要求1所述的方法，其特征在于，所述检测模型是通过以下方式训练得到的：获取训练样本及所述训练样本对应的标签，其中，所述训练样本包括第一图像和相机参数，所述标签表征参考物体的关键点的三维坐标；将所述第一图像输入所述目标检测网络，利用所述目标检测网络对所述第一图像进行剪裁，得到剪裁后的第一图像；将所述剪裁后的第一图像输入所述二维检测网络，利用所述二维检测网络对所述剪裁后的第一图像进行特征提取，得到所述第一图像对应的二维特征图和所述第一图像对应的置信度；将所述第一图像对应的二维特征图、所述第一图像对应的置信度和所述相机参数输入所述三维检测网络，将所述第一图像对应的置信度作为权重利用所述三维检测网络对所有所述第一图像对应的二维特征图进行处理，得到所述参考物体的第二坐标的预测结果，所述第二坐标为所述参考物体的关键点的三维坐标；基...

【专利技术属性】
技术研发人员：胡哲源，刘雪峰，李青锋，牛建伟，任涛，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：