一种基于自回归模型的机械手抓取方法技术

本发明专利技术中提出的一种基于自回归模型的机械手抓取方法，其主要内容包括：数据采集/自回归模型结构和训练方法，其过程为，先从对象原始数据集中抽取原始样本，生成对象形成采集数据，进行抓取采样和评估，再利用自回归模型中的抓取模块抓取可能成功抓取的抓取物，抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计，接着利用数据训练模型，使用标准的反向传播和随机小批量梯度技术优化函数，最后进行实际测试。本发明专利技术建立了精确的自回归模型，准确定位抓取对象，在较短的时间内实现高质量的抓取，大大提高了抓取的成功率。

【技术实现步骤摘要】
一种基于自回归模型的机械手抓取方法
本专利技术涉及机器人领域，尤其是涉及了一种基于自回归模型的机械手抓取方法。
技术介绍
机械手是典型的机电一体装置，它综合运用了机械与精密机械、微电子与计算机、自动控制与驱动、传感器与信息处理以及人工智能等多学科的最新研究成果。性能优良的机械手可以实现可靠、快速和精确的抓取。机械手可以代替机械制造业中大批量、高质量要求的工作，如汽车制造、舰船制造、某些家电产品的制造以及化工等行业自动化生产线中的点焊、弧焊、喷漆、切割、电子装配及物流系统的搬运、包装等工作；在军事领域中，可以让其执行自动控制任务、拆装炸弹以及后勤工作等；在医疗领域，机械手还可协助医生完成一些难度较高的手术，例如，眼部手术、脑部手术等。除此之外，机械手还可广泛应用于危险环境作业、海洋资源探测以及空间探测中，将来也将逐渐普及到我们的日常生活中。然而，由于简化对象和接触模型的不一致性，通常需要精确的三维模型，否则将导致抓取对象和机械手传感器的不准确。本专利技术提出了一种基于自回归模型的机械手抓取方法，先从对象原始数据集中抽取原始样本，生成对象形成采集数据，进行抓取采样和评估，再利用自回归模型中的抓取模块抓取可能成功抓取的抓取物，抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计，接着利用数据训练模型，使用标准的反向传播和随机小批量梯度技术优化函数，最后进行实际测试。本专利技术建立了精确的自回归模型，准确定位抓取对象，在较短的时间内实现高质量的抓取，大大提高了抓取的成功率。
技术实现思路
针对导致抓取对象和机械手传感器不准确的问题，本专利技术的目的在于提供一种基于自回归模型的机械手抓取方法，先从对象原始数据集中抽取原始样本，生成对象形成采集数据，进行抓取采样和评估，再利用自回归模型中的抓取模块抓取可能成功抓取的抓取物，抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计，接着利用数据训练模型，使用标准的反向传播和随机小批量梯度技术优化函数，最后进行实际测试。为解决上述问题，本专利技术提供一种基于自回归模型的机械手抓取方法，其主要内容包括：(一)数据采集；(二)自回归模型结构；(三)训练方法。其中，所述的基于自回归模型的机械手抓取方法，目标是学习一个映射，它需要一个场景的一个或多个观测值I＝{lj}，并在场景中尝试输出一个抓取g。进一步地，所述的自回归模型，使用自回归体系结构对一个物体在观测条件下的分布进行建模；对于任何一维变量xi的排序选择，可以将N维概率分布p(X)因式分解为对分布进行建模，其中包括对每个p(xn|x1,…,xn-1)进行建模；与生成对抗网络相反，自回归模型可以直接计算样本的可能性，这有利于抓取最有可能的样本。其中，所述的数据采集，数据采集包括对象生成、抓取采样和评估。进一步地，所述的对象生成，对多种程序生成的对象进行训练，可以产生与现实对象网格上的训练相同的性能；程序化生成的对象形成如下：(1)采样一个随机数np∈{1,…,15}；(2)从对象原始数据集中抽取np原始样本；(3)随机缩放每个图元(描述各种图形元素的函数)，使其大小均在1到15厘米之间；(4)依次放置网格，使每个网格与至少一个位于前面的网格相交；(5)重新缩放最终的对象，使其近似于真实对象数据集中观察到的大小分布；为了构建一个多样化的对象原始数据集，使用ShapeNet对象数据集中的超过40000个对象网格，并将它们分解成超过40万个凸起部分；每个图元是一个凸起的部分。进一步地，所述的抓取采样和评估，从中心(x,y,z)坐标对应的4维或6维空间中随机抽样夹具的位置和夹具在该位置的方向；将每个维度分成20个数组，这些数组是对象的边界框内的抓取点的相对位置；对于每次抓取尝试，在用于训练抓取评估函数的方法期间利用机械手上的相机收集深度图像。其中，所述的自回归模型结构，该模型由两个独立的神经网络组成，包括一个抓取模块γ(I)＝βοα(I)和一个抓取评估模型f；抓取模块用于抓取可能成功抓取的抓取物；抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计；每个图像通过单独的卷积神经网络形成图像表示s＝α(I)；这些卷积层的输出堆叠并通过几个密集层产生s；神经网络β(s)针对对象可能的抓取对概率分布pβ(g|s)进行建模，其中，这些可能的抓取对应于每个抓取的归一化成功概率；模型β由n个子模块βi组成，其中n是抓取的维数；对于任何抓取g，β和{βi}与下式有关：其中，gi是g的大小。进一步地，所述的神经网络，每个βi是一个小型的神经网络，将s和ri(g1,…,gi-1)连接起来作为输入，并对g的下一个维度gi的可能值进行分配；其中，ri是原来的抓取尺寸的嵌入；βi的输出是gi的离散值的softmax函数；使用一个小的完全连接神经网络ri，有助于提高收敛性能；抓取评价模型f从机械手上的相机输入单一的观察结果，然后输出与该抓取成功可能性对应的单一标量值；模型f由具有S形输出的卷积神经网络进行参数化。其中，所述的训练方法，由于该方法涉及从机器人手中捕获与来自γ(I)＝βοα(I)的样本所对应的深度图像，所以整个评估过程是不可微的，并且不能使用监督学习来训练端对端模型；因此，训练程序涉及独立训练γ和f；给定对象D＝{D1,…,Dd}的数据集，观察值I＝{I1,…,Id}和成功抓取的γ可以通过最小化关于γ的参数θ；G的负对数似然性以观测值I为条件，即：可以分解为：这个函数使用标准的反向传播和随机小批量梯度技术进行优化；在实践中，α通常是一个比β大的模型，而且对于单组Ii，通常有数十或数百次的成功抓握尝试因此对于所有执行一次α(Ii)的正向传递和梯度计算，可以在标准神经网络和反向传播库中通过堆叠给定对象的所有抓取来实现，使得随机梯度下降法(SGD)批次由对组成，其中是由对象i的所有成功抓取组成的mi×n矩阵。进一步地，所述的梯度计算，为了处理mi的不同值，选择m＝max({mi})，并通过用任意值填充mi×n矩阵形成m×n矩阵；然后写出目标函数的如下：其中，1j是一个指标函数；抓取评估函数f通过监督学习进行训练；数据采集过程中采集到的机械手上的相机图像给出了输入，并通过相应的抓取是否成功给出标签。附图说明图1是本专利技术一种基于自回归模型的机械手抓取方法的系统框架图。图2是本专利技术一种基于自回归模型的机械手抓取方法的概述图。图3是本专利技术一种基于自回归模型的机械手抓取方法的使用随机生成的对象的例子。图4是本专利技术一种基于自回归模型的机械手抓取方法的自回归模型结构。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本专利技术作进一步详细说明。图1是本专利技术一种基于自回归模型的机械手抓取方法的系统框架图。主要包括数据采集，自回归模型结构和训练方法。基于自回归模型的机械手抓取方法目标是学习一个映射，它需要一个场景的一个或多个观测值I＝{Ij}，并在场景中尝试输出一个抓取g。自回归模型使用自回归体系结构对一个物体在观测条件下的分布进行建模；对于任何一维变量xi的排序选择，可以将N维概率分布p(本文档来自技高网...

【技术保护点】
一种基于自回归模型的机械手抓取方法，其特征在于，主要包括数据采集(一)；自回归模型结构(二)；训练方法(三)。

【技术特征摘要】
1.一种基于自回归模型的机械手抓取方法，其特征在于，主要包括数据采集(一)；自回归模型结构(二)；训练方法(三)。2.基于权利要求书1所述的基于自回归模型的机械手抓取方法，其特征在于，目标是学习一个映射，它需要一个场景的一个或多个观测值I＝{Ij}，并在场景中尝试输出一个抓取g。3.基于权利要求书2所述的自回归模型，其特征在于，使用自回归体系结构对一个物体在观测条件下的分布进行建模；对于任何一维变量xi的排序选择，可以将N维概率分布p(X)因式分解为对分布进行建模，其中包括对每个p(xn|x1,…,xn-1)进行建模；与生成对抗网络相反，自回归模型可以直接计算样本的可能性，这有利于抓取最有可能的样本。4.基于权利要求书1所述的数据采集(一)，其特征在于，数据采集包括对象生成、抓取采样和评估。5.基于权利要求书4所述的对象生成，其特征在于，对多种程序生成的对象进行训练，可以产生与现实对象网格上的训练相同的性能；程序化生成的对象形成如下：(1)采样一个随机数np∈{1,…,15}；(2)从对象原始数据集中抽取np原始样本；(3)随机缩放每个图元(描述各种图形元素的函数)，使其大小均在1到15厘米之间；(4)依次放置网格，使每个网格与至少一个位于前面的网格相交；(5)重新缩放最终的对象，使其近似于真实对象数据集中观察到的大小分布；为了构建一个多样化的对象原始数据集，使用ShapeNet对象数据集中的超过40000个对象网格，并将它们分解成超过40万个凸起部分；每个图元是一个凸起的部分。6.基于权利要求书4所述的抓取采样和评估，其特征在于，从中心(x,y,z)坐标对应的4维或6维空间中随机抽样夹具的位置和夹具在该位置的方向；将每个维度分成20个数组，这些数组是对象的边界框内的抓取点的相对位置；对于每次抓取尝试，在用于训练抓取评估函数的方法期间利用机械手上的相机收集深度图像。7.基于权利要求书1所述的自回归模型结构(二)，其特征在于，该模型由两个独立的神经网络组成，包括一个抓取模块和一个抓取评估模型f；抓取模块用于抓取可能成功抓取的抓取物；抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计；每个图像通过单独的卷积神经网络形成图像表示s＝α(I)；这些卷积层的输出堆叠并通过几个密集层产生s；神经网络β(s)针对对象可能的抓取对概率分布pβ(g|s)进行建模，其中，这些可能的抓取对应于每个抓取的归一化成功概率；模型β由n个子模块βi组成，其中n是抓取的维数；对于任何抓取g，β和{βi}与下式有关：

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44