物体识别和姿态估计方法、装置及机械臂抓取系统制造方法及图纸

本发明专利技术适用于人工智能应用技术领域，提供了一种物体识别和姿态估计方法、装置及机械臂抓取系统，该方法包括：通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；采集目标物体的物体姿态图像；通过所述多级深度学习模型，从目标物体的物体姿态图像中获取所述目标物体的特征描述子，并结合所述特征描述子集合进行物体识别和姿态估计；其中，所述特征描述子集合包括至少两个特征描述子，每个所述特征描述子表征一种物体类别和物体姿态。通过本发明专利技术能同时学习物体类别和姿态，提高识别精度。

Object recognition and pose estimation method, device and manipulator grasping system

The invention is applicable to the field of artificial intelligence application technology, and provides an object recognition and attitude estimation method, a device and a robotic arm grabbing system. This method includes: learning the category and attitude of the object by the multistage depth learning model, setting up the set of feature description subsets, and collecting the object's posture. State image; the feature descriptor of the target object is obtained from the object's attitude image of the target object by the multi-stage depth learning model, and the object recognition and attitude estimation are combined with the feature descriptor set, in which the feature descriptor sets include at least two feature descriptors, each of the features described. Descriptors represent an object category and an object pose. The invention can learn the object class and posture at the same time, and improve the recognition accuracy.

【技术实现步骤摘要】
物体识别和姿态估计方法、装置及机械臂抓取系统
本专利技术属于人工智能应用
，尤其涉及一种物体识别和姿态估计方法、装置及机械臂抓取系统。
技术介绍
机械臂完成对物体的抓取，需要精准的物体识别和姿态估计方法。目前物体识别和姿态估计存在着多种方法，不同的方法之间采用的传感器、特征处理方法和标定策略不尽相同，而这些方法均存在一定的局限性。例如，一些方法基于三维建模，通过数据对齐的方式估计物体的姿态等信息，这种方法建模难度大，需要处理大量的三维数据。又例如，双目视觉方法，这种方法对于光照变化等非常敏感，纹理不够则不够鲁棒。另外一些方法则基于主动投射的抓取方式，这类方法往往需要投射激光或光栅，使得末端结构复杂。还有一些方法基于二维图像信息识别，都采用手工特征的学习方法，其识别效果和精度往往不够理想。
技术实现思路
有鉴于此，本专利技术实施例提供了一种物体识别和姿态估计方法、装置及机械臂抓取系统，以解决现有技术中物体识别和姿态估计精准性较差的问题。本专利技术实施例的第一方面，提供了一种物体识别和姿态估计方法，包括：通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；其中，所述特征描述子集合包括至少两个特征描述子，每个所述特征描述子表征一种物体类别和物体姿态；采集目标物体的物体姿态图像；通过所述多级深度学习模型，从所述目标物体的物体姿态图像中获取所述目标物体的特征描述子，并结合所述特征描述子集合进行物体识别和姿态估计。本专利技术实施例的第二方面，提供了一种物体识别和姿态估计装置，包括学习单元、图像采集单元和识别单元；所述学习单元，用于通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；其中，所述特征描述子集合包括至少两个特征描述子，每个所述特征描述子表征一种物体类别和物体姿态；所述图像采集单元，用于采集目标物体的物体姿态图像；所述识别单元，用于通过所述多级深度学习模型，从目标物体的物体姿态图像中获取新目标物体的特征描述子，并结合所述特征描述子集合进行物体识别和姿态估计。本专利技术实施例的第三方面，提供了一种机械臂抓取系统，包括机械臂和物体识别和姿态估计装置，所述物体识别和姿态估计装置为上述物体识别和姿态估计装置。本专利技术实施例的第四方面，提供了一种机器人，包括上述机械臂抓取系统。本专利技术实施例与现有技术相比存在的有益效果是：本专利技术实施例通过多级深度学习模型对图像样本进行物体类别和姿态学习，建立特征描述子集合，并从目标物体的物体姿态图像中获取目标物体的特征描述子，然后结合特征描述子集合对目标物体进行物体识别和姿态估计，相对于现有技术，能同时学习物体类别和姿态，提高识别精度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一提供的物体识别和姿态估计方法的实现流程图；图2是本专利技术实施例一提供的目标物体的仰角和旋转角示意图；图3是本专利技术实施例一提供的多级深度学习模型的实现流程图；图4是本专利技术实施例一提供的多级深度学习模型的网络结构示意图；图5是本专利技术实施例二提供的物体识别和姿态估计装置的模块框架图；图6是本专利技术实施例二提供的多级深度学习模型的模块框架图；图7是本专利技术实施例三提供的机械臂抓取系统的框架图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。实施例一：图1示出了本专利技术实施例一提供的物体识别和姿态估计方法的实现流程，详述如下：在步骤S101中，通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合。本实施例中，特征描述子集合包括至少两个特征描述子。每个特征描述子用于表征一种物体类别和物体姿态。即，每个特征描述子对应一个物体类别和物体姿态。两个以上的特征描述子可以对应一种物体类别，但物体姿态不尽相同。在本实施例中，图像样本通过对物体的角度进行调整，并采用图像采集装置采集物体多个角度的物体姿态图像获得。其中，所述角度包括仰角和旋转角。仰角为物体与图像采集装置的连线与水平面的夹角，旋转角为放置物体的转动装置的旋转角。通过对物体的仰角和旋转角进行调整，来采集物体多个角度的物体姿态图像。具体的，参见图2，物体10放置在转动装置30上，图像采集装置20可固定在可调整的支架上。图像采集装置20的镜头方向和水平方向的夹角为θ，即为仰角。物体10直接放在转动装置30上，转动装置30的旋转角为，即为物体10的旋转角。通过这个系统，就可以采样得到物体10多个角度的不同姿态图像。例如，图像采集装置20固定在可调整的支架上，物体10放置转动装置的台面上，均匀地对旋转角和仰角的最大值进行划分，就可以得到不同视角的物体姿态图像。多级深度学习模型主要对采集到的图像样本进行训练和测试分析，其中涉及到网络结构的设计，损失函数的设计和特征描述子的搜索方法。多级深度学习模型采用一种分流、跨网络层链接的方式，分两个以上不同阶段、多尺度、多分辨率进行特征提取。多级深度学习模型可以分多个不同的阶段处理，每个阶段完成不同方式的特征处理。参见图3，多级深度学习模型对物体姿态图像进行物体的类别和姿态学习可以包括：步骤S301，对输入的图像样本进行卷积和下采样处理。步骤S302，将经过卷积和下采样处理的图像样本跨网络层进行两种以上的特征处理。步骤S303，将处理后的图像样本发送至全连接层。参见图4，该网络不同于经典的神经网络，实现了分流学习不同图像样本的方法，实现了跨层多尺度采样的方式，最后全连接层避免了分类器的使用，可以高度的压缩特征向量。模型分三个主要的学习阶段处理：首先是输入，后面链接卷积和下采样阶段(即第一阶段)，输出传递到第二阶段和第三阶段，最后汇总到全连接层。在第一阶段对输入的图像进行卷积和下采样处理。在第二阶段和第三阶段将经过卷积和下采样处理的图像跨网络层进行两种以上的特征处理。最后将处理后的图像发送至全连接层。另外，整个网络层的一种结构参数也在图中进行了标注。本实施例中的多级深度学习模型，在最后一层神经网络避免了单个或者多个分类器的使用，而是将特征直接映射到特征向量空间，从而可以有效地压缩输出特征向量的维度，将特征描述子嵌入到欧式距离空间。本实施例中，建立特征描述子步骤可以包括：将特征描述子集合中的各个特征描述子映射到欧式特征空间，通过损失函数将各个特征描述子进行收敛处理，并采用最近邻搜索方法将各个特征描述子分为至少两类。每一类特征描述子对应一种物体类别和物体姿态。另外，在欧式特征空间中，距离较近的特征描述子可以对应一种物体类别和物体姿态。具体的，本实施例中，以下对损失函数的建立过程进行描述：如果将输入图像表示为x，则在距离空间的特征描述子表示为f(x)∈Rd，表示将一张图像映射到一个距离d维的距离空间。则triplets可以为本文档来自技高网...

【技术保护点】
一种物体识别和姿态估计方法，其特征在于，包括：通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；其中，所述特征描述子集合包括至少两个特征描述子，每个所述特征描述子表征一种物体类别和物体姿态；采集目标物体的物体姿态图像；通过所述多级深度学习模型，从所述目标物体的物体姿态图像中获取所述目标物体的特征描述子，并结合所述特征描述子集合进行物体识别和姿态估计。

【技术特征摘要】
1.一种物体识别和姿态估计方法，其特征在于，包括：通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；其中，所述特征描述子集合包括至少两个特征描述子，每个所述特征描述子表征一种物体类别和物体姿态；采集目标物体的物体姿态图像；通过所述多级深度学习模型，从所述目标物体的物体姿态图像中获取所述目标物体的特征描述子，并结合所述特征描述子集合进行物体识别和姿态估计。2.根据权利要求1所述的物体识别和姿态估计方法，其特征在于，所述图像样本通过对物体的角度进行调整，并采用图像采集装置采集物体多个角度的物体姿态图像；其中，所述角度包括仰角和旋转角，所述仰角为所述物体与所述图像采集装置的连线与水平面的夹角，所述旋转角为放置所述物体的转动装置的旋转角。3.根据权利要求1所述的物体识别和姿态估计方法，其特征在于，所述多级深度学习模型对图像样本进行物体的类别和姿态学习包括：对输入的图像样本进行卷积和下采样处理；将经过卷积和下采样处理的图像样本跨网络层进行两种以上的特征处理；将处理后的图像样本发送至全连接层。4.根据权利要求1所述的物体识别和姿态估计方法，其特征在于，所述建立特征描述子集合包括：将所述特征描述子集合中的各个所述特征描述子映射到欧式特征空间，通过损失函数将各个所述特征描述子进行收敛处理，并采用最近邻搜索方法将各个所述特征描述子分为至少两类。5.根据权利要求4所述的物体识别和姿态估计方法，其特征在于，将输入图像表示为x，则在距离空间的特征描述子表示为f(x)∈Rd，表示将一张图像映射到一个距离d维的距离空间；则定义训练样本集为：满足：代表某一个物体，和代表同一类物体并且距离最近；代表与不同类的物体；代表某一个物体某一个姿态，和代表同一类物体且姿态距离最近；代表与同类的物体，但姿态距离最远；根据距离空间定义得出：其中，α为一个正负样本对的分界边缘，根据极小化原则得到：最终得出所述损失函数为：其中，ω表示每个网络层除了偏差项所有的权值向量，λ表示正则化参数。6.一种物体识别和姿态估计装置，其特征在于，包括学习单元、图像采集单元和识别单元；所述学习单元，用于通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；其中，所述...

【专利技术属性】
技术研发人员：曾伟，梁国远，王灿，吴新宇，黄胜，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44