一种基于三元组对比网络的机器人抓取预测方法技术

本发明专利技术公开一种基于三元组对比网络的机器人抓取预测方法。该方法包括：构建训练集，其中每条样本反映机器臂抓取物体过程中多个时刻的触觉数据与分类标签之间的对应关系；基于设定的损失函数训练编码器，在训练过程中，在训练集随机抽取两个标签一致的样本分别作为锚样本和正样本，并随机抽取一个标签相反的样本作为负样本，将样本数据分别输入对应编码器中编码得到锚样本的高维特征、正样本的高维特征以及负样本的高维特征；冻结编码器的优化参数，并利用经训练的编码器将输入样本数据编码为高维特征，进而将该高维特征输入分类器进行训练；利用经训练的编码器和分类器针对实时的触觉数据预测抓取结果。本发明专利技术提升了机器人抓取预测的准确率。取预测的准确率。取预测的准确率。

【技术实现步骤摘要】
一种基于三元组对比网络的机器人抓取预测方法


[0001]本专利技术涉及机器人
，更具体地，涉及一种基于三元组对比网络的机器人抓取预测方法。

技术介绍

[0002]随着时代的发展，智能机器人技术已经在全球众多行业内广泛应用，机器人的应用场景越来越丰富。例如，从汽车装配、金属加工到3C制造、家电生产、食品包装以及餐饮服务等行业均存在机器人应用。在这些应用场景中，机器人抓取是一个常见并且有待深入研究优化的领域。在执行抓取之前，根据现有信息准确预测本次抓取的成功率对于进一步生成高质量稳定的抓取大有裨益。
[0003]在现有技术中，专利申请CN114700947A提出了一种视触融合的抓取滑动概率预测方法，该方法在机器手上同时安装有视觉相机和触觉传感器，用于获得两个模态的信息。视觉与触觉感知融合算法利用采集的视觉信息获取目标物体的外部轮廓信息，触觉信息获取目标物体的表面形貌与质地软硬等信息，将采集的信息预处理后利用卷积神经网络提取视觉信息的特征和触觉信息的特征，两个模态特征信息融合之后获得的新的特征用于预测物体抓取过程中的滑动概率。
[0004]专利申请CN114083535A提供了一种机器手抓取姿势质量的物理度量方法及装置。该方法包括：确定机器手的候选抓取姿势与物体之间接触点的平坦度分数；确定所述候选抓取姿势夹持所述物体的重心分数；基于所述平坦度分数和所述重心分数评估候选抓取姿势的质量。该方案提供的机器手抓取姿势质量的物理度量方法，基于人类在生活中拿起物体时倾向于接触物体上更平坦的部位以及习惯于接触物体的中心部位的特性，通过两种物理度量分数分别从物体自身平坦度和重力分析上评价机器手抓取姿势的质量。
[0005]上述现有技术虽然从不同的角度提出了能够预测抓取是否成功的方案，但就训练集的数据量而言，一些现有方案基于数据驱动，需要大量抓取数据作为训练集支撑，训练代价高昂。从特征提取方法上来看，一些现有方案训练过程未考虑样本与样本之间的关系，没能充分发掘和利用样本信息，或者自创构建手工特征，局限性强，泛化性弱，可信度不高。
[0006]综上，人们在抓握物体时可以感受预测当前的力度是否足以稳定的抓取物品，而近期研究表明，通过机器人抓取物品提升阶段之前的触觉信息，也可以有效预测机器人抓取是否成功。然而，当前的机器人抓取预测算法在训练过程中忽略了样本与样本之间的关系，仅仅通过单纯的端到端的方式来训练。此外，这些方法通常基于数据驱动，在可供训练的抓取样本数据较少的情况下难以有效训练模型。

技术实现思路

[0007]本专利技术的目的是克服上述现有技术的缺陷，提供一种基于三元组对比网络的机器人抓取预测方法。该方法包括以下步骤：
[0008]构建训练集，其中每条样本数据反映机器臂抓取物体过程中多个时刻的触觉数据
与分类标签之间的对应关系，该分类标签用于指示抓取是否成功；
[0009]基于设定的损失函数训练编码器，获得优化参数，其中在训练过程中，在所述训练集随机抽取两个标签一致的样本分别作为锚样本和正样本，并随机抽取一个标签相反的样本作为负样本；将样本数据分别输入对应编码器中编码得到锚样本的高维特征、正样本的高维特征以及负样本的高维特征；
[0010]冻结所述编码器的优化参数，并利用经训练的编码器将输入样本数据编码为高维特征，进而将该高维特征输入分类器进行训练；
[0011]利用经训练的编码器和经训练的分类器针对实时采集的触觉数据预测抓取结果。
[0012]与现有技术相比，本专利技术的优点在于，所提出的基于三元组对比网络的机器人抓取预测方法，利用深度神经网络，通过将样本相互对比来训练编码器，提高了样本利用率，能够从更少的样本中获得更佳的网络参数。并且，本专利技术在网络中加入了自注意力机制，该机制使网络能更有效的捕捉特征的内部相关性，从而进一步提升了网络预测准确率。
[0013]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0014]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0015]图1是根据本专利技术一个实施例的基于三元组对比网络的机器人抓取预测方法的流程图；
[0016]图2是根据本专利技术一个实施例的编码器网络的示意图；
[0017]图3是根据本专利技术一个实施例的编码器对比学习训练的示意图；
[0018]图4是根据本专利技术一个实施例的分类器训练示意图；
[0019]图5是根据本专利技术一个实施例的基于三元组对比网络的机器人抓取预测方法的过程示意图。
具体实施方式
[0020]现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0021]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。
[0022]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0023]在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0024]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0025]本专利技术主要涉及一种基于三元组对比网络的机器人抓取预测方法，属于机器人技
术领域。其技术方案内容如下：
[0026]参见图1和图5所示，所提供的基于三元组对比网络的机器人抓取预测方法包括以下步骤：
[0027]步骤S110，构建训练集，其中每条样本数据反映机器臂抓取物体过程中多个时刻的触觉数据与抓取是否成功之间的对应关系。
[0028]在实际应用中，可以通过自主采集或在线下载公开数据集，以获取基于触觉或包含触觉信息的机器人抓取数据集。
[0029]例如，采用Calandra公开数据集，数据集中使用一个在两指上分别安装有GELSIGHT触觉传感器的Weiss WSG
‑
50机械臂采集触觉数据，在抓取工作台前置放一个Microsoft Kinect 2深度相机采集视觉数据，抓取106种不同物品共9296次，数据集采集过程中，机器臂置于初始位置时，标记为时刻T
a
，机器臂抓住目标物品但尚未提升时，标记为时刻T
b
，抓住物品在空中悬停2秒后的时刻为T
c
，针对这三个时刻获取对应的视触觉数据。
[0030]进一步地，对数据集进行预处理来增强数据，包括随机水平翻转，随机裁剪，归一化处理等，并将其划分为训练集和测试集。
[0031]例如，仅使用T
a
、T
b
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三元组对比网络的机器人抓取预测方法，包括以下步骤：构建训练集，其中每条样本数据反映机器臂抓取物体过程中多个时刻的触觉数据与分类标签之间的对应关系，该分类标签用于指示抓取是否成功；基于设定的损失函数训练编码器，获得优化参数，其中在训练过程中，在所述训练集随机抽取两个标签一致的样本分别作为锚样本和正样本，并随机抽取一个标签相反的样本作为负样本；将样本数据分别输入对应编码器中编码得到锚样本的高维特征、正样本的高维特征以及负样本的高维特征；冻结所述编码器的优化参数，并利用经训练的编码器将输入样本数据编码为高维特征，进而将该高维特征输入分类器进行训练；利用经训练的编码器和经训练的分类器针对实时采集的触觉数据预测抓取结果。2.根据权利要求1所述的方法，其特征在于，根据以下步骤构建所述训练集：采集机器臂抓取物体的触觉数据，包括三个时刻的触觉数据，分别是机器臂置于初始位置时标记为时刻T
a
，机器臂抓住目标物品但尚未提升时标记为时刻T
b
，抓住物品在空中悬停设定时间后标记为时刻T
c
；通过将T
a
、T
b
时刻的触觉数据图像进行随机翻转对数据进行增强，并将触觉数据随机裁剪为设定的尺寸，获得数据集；从所述数据集中随机选取设定数量的抓取物品种类，并针对每种物品随机选取设定数量的数据，构建为所述训练集。3.根据权利要求1所述的方法，其特征在于，所述编码器采用三元对比损失函数作为评价指标进行训练，表示为：其中L
T
表示三元对比损失，f
a
、f
p
、f
n
分别表示锚样本、正样本和负样本的高维特征。4.根据权利要求1所述的方法，其特征在于，利用二值交叉熵损失函数训练所述分类器，表示为：L
...

【专利技术属性】
技术研发人员：易正琨，柳程亮，吴新宇，崔允端，谢祥，田琼，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：