基于卷积神经网络的机器人控制目标位姿识别方法技术

本发明专利技术公开了一种基于卷积神经网络的机器人控制目标位姿识别方法，包括：(1)利用双目摄像机采集控制目标不同位姿的图像数据组成样本数据集；(2)对样本数据集进行标签标注；(3)构建深层卷积神经网络模型；(4)采集新的图像样本，利用所述深层卷积神经网络模型求取新的图像样本的特征点像素坐标；(5)求取双目摄像机对应的投影矩阵；(6)求取特征点像素坐标对应的特征点三维坐标；(7)将特征点三维坐标变换映射至机器人控制坐标系，得到控制目标的位姿信息。本发明专利技术既充分利用物体特征信息，又充分考虑到外界干扰的影响，同时避免了普通深度神经网络对位置，姿态信息难以标定的问题，对机器人控制目标姿态检测技术实现了提升。

【技术实现步骤摘要】
基于卷积神经网络的机器人控制目标位姿识别方法
本专利技术属于机器人控制
，具体是涉及一种基于卷积神经网络的机器人控制目标位姿识别方法。
技术介绍
在现代工业生产过程中，随着工业机器人在工业领域的广泛应用，一些不适合于人工作业的危险工作环境或简单而重复的大批量工业生产操作已经逐步被机器作业替代。在工业制造现场，工业机器人能够实现对产品实行高效的抓取、分拣操作，但是机器操作精度受机器视觉系统对产品识别定位，姿态估计等各方面检测精度限制而较难满足于工业生产应用，从而限制了工业机器人的普及应用，对于满足工业生产的视觉检测方法的研究是一种挑战。同时，随着基于物体特征的机器视觉技术和图像处理算法的不断进步，具有优越性能的机器视觉系统在工业生产领域得到广泛应用。其中，基于提取颜色特征的算法简单且具有缩放旋转以及平移不变性，但颜色信息不足之处在于忽略了图像中的空间位置关系，并且颜色特征受外界光照因素干扰大。基于纹理特征物体检测方法能够很好的获取物体结构和空间信息，但对于某些工业产品其表面纹理特征不明显，基于纹理特征的检测方法适用性不高。而基于卷积神经网络的分类方法具有自适应性，能够自学习的提取分类所需的特征，但是该方法需要大量标注数据，且存在人工难以对位置和姿态等信息准确标定的问题。因此，需要提出一种既可以充分利用待检测目标特征，又能直观而准确表示机器人控制目标位姿信息的检测技术。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于卷积神经网络的机器人控制目标位姿识别方法。本专利技术利用先进的数据处理技术、深度学习技术，避免了手工设计特征的复杂过程，并且能够克服图像形变、遮挡、光照变化等影响，对机器人控制目标特征点进行学习，随后应用双目视觉技术反求特征点空间坐标进而对机器人控制目标位姿进行估计。一种基于卷积神经网络的机器人控制目标位姿识别方法，包括如下步骤：(1)利用双目摄像机采集正常运行过程中机器人控制目标不同位姿的图像数据作为样本图像，组成数据建模用的样本数据集；(2)对样本数据集内的样本图像进行标签标注，所述标签由姿态类别和特征点像素坐标组成；(3)利用标注后的样本数据集构建深层卷积神经网络模型；(4)采集控制目标新的图像样本，利用构建得到的深层卷积神经网络模型求取新的图像样本的姿态类别与特征点像素坐标；(5)求取双目摄像机对应的投影矩阵，建立像素坐标与空间坐标之间的变换关系；(6)根据像素坐标与空间坐标之间的变换关系，求取步骤(4)中所述特征点像素坐标对应的特征点三维坐标；(7)将求得的特征点三维坐标变换映射至机器人控制坐标系，得到机器人控制坐标系下控制目标的位姿信息。本专利技术中，双目摄像机包括两个摄像机镜头，两个镜头的位置和方向可根据实际机器人控制场景、控制目标设定，可通过若干次实验确定。同时可根据需要设置对应的光源，以保证双目摄像机能够采集到清楚的图片样本。本专利技术中，所述机器人控制目标可以是需要灌装或者其他工业处理的瓶体，也可以是与位姿确定相关的其他工业产品，比如可以是各种工业生产中的产品分拣、零件装配等。本专利技术中，不同位姿中某一类位姿可以是特定的一个位姿，也可以是一个位姿范围确定的位姿类别。某一类位姿，可以采集一个图像，也可以是采集多个图像，作为优选，一般采集多个图像。作为优选，步骤(2)进行标签标注前，先对得到的样本图像进行预处理，得到设定大小的样本图像(比如样本图像大小均为H×W。其中，H表示图像长度；W为图像宽度)，然后再进行标签标注。作为优选，步骤(2)进行标签标注时，某一类姿态下的特征点为该类姿态下能观察到的机器人控制目标表面点。采用该技术方案，可以避免在某一类位姿状态下，机器人采集的特征点被遮挡的情况，保证所有采集的特征点均为可观察到的特定点。本专利技术中特征点的设置可以是机器人控制目标的顶点，也可以是控制目标某一棱或者某一个面上点，特征点的数量以及位置等可根据控制目标的放置角度以及复杂程度等确定。本专利技术中，所述姿态类别可根据实际控制目标的姿态进行设定，比如可分为左侧立、右侧立、左前倒、右前倒、左后倒、右后倒六种姿态类别等。作为优选，所述姿态类别采用独热编码形式。本专利技术中，步骤(3)中，构建深层卷积神经网络模型时，采用梯度下降来更新模型参数使损失函数最小化。然后，反复迭代直至达到模型收敛条件；具体为：首先，在步骤(2)获得一个标注后的样本数据集的基础上，使用均匀随机抽样的方式将样本数据集划分为训练集、验证集、测试集，这三个集合不能有交集。训练集用于训练模型的普通参数，普通参数就是可以被梯度下降所更新的参数；验证集用于人工调节模型的超参数，超参数包括网络层数、网络节点数、迭代次数、学习率等；测试集用于最终模型性能评价。然后，搭建深层卷积神经网络模型架构：(3-1)定义网络结构。输入为H×W矩阵，输出长度为16的向量。(3-2)初始化模型参数。据人工经验选择超参数，如网络层数、卷积核大小、学习率等，然后初始化普通参数。(3-3)训练阶段。输入样本数据集中训练集与验证集部分，执行前向传播计算损失，执行反向传播更新模型普通参数，期间观察验证集表现调整超参数设置。(3-4)模型评价。模型输入测试集，观察模型表现，若模型在测试集上表型不佳，即泛化能力不足，则选择增加样本数据集、改变模型结构等操作，重复步骤(3-2)和(3-3)，直至获取具有较优性能的卷积神经网络模型。作为优选，步骤(5)中，双目摄像机对应的投影矩阵分别为：Mleft为其中一个摄像机的投影矩阵，Mright为另外一个摄像机投影矩阵；所述像素坐标与空间坐标之间的变换关系为：其中：zc1,zc2分别为特征点位于左右摄像机的摄像机坐标系中Zc方向分量的取值；(u1,v1)，(u2,v2)分别为两个摄像机中的特征点像素坐标；(xw,yw,zw)为待求的特征点三维坐标。双目摄像机所拍摄到的左右图像中同一特征点的左右两个二维像素坐标唯一对应着世界坐标下一个空间点。这样的对应关系是由摄像机成像的几何模型所决定的，这样的几何模型就是摄像机的参数，参数主要分为内部参数和外部参数，获得这些参数的过程就是摄像机标定。作为优选，所述Mleft或Mright均采用张正友的平面标定方法获取。作为优选，步骤(6)中，所述特征点三维坐标(xw，yw，zw)由如下方程组求得：四个方程仅存在xw，yw，zw三个未知数，可采用最小二乘法唯一求解。根据步骤(6)计算可得到若干个特征点的空间坐标，接着需要将所求得空间坐标进行旋转平移变换，映射至机器人控制坐标系，以此可以重构机器人控制坐标系下控制目标的位姿，所需的特征点数目取决于机器人控制目标的几何外形复杂程度。本专利技术的基于卷积神经网络的机器人控制目标姿态识别方法，以工业生产过程中机器人控制目标不同位姿图片为样本，在充分考虑到工业生产过程中光照、背景等干扰因素影响的情况下，提取出能够自适应，自学习提取物体特征的卷积神经网络模型，并根据提取到的特征信息实现用于机器人控制目标若干个特征点的学习，并在卷积神经网络模型学习到目标特征点像素坐标的基础上，采用双目视觉定位技术，实现对特征点空间坐标的确定。然后根据若干个特征点空间坐标信息映射至实际位姿信息。本专利技术的识别方法对机器人控制目标特征提取既可以充分利用物体特征信息，又充分本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的机器人控制目标位姿识别方法，其特征在于，包括：(1)利用双目摄像机采集正常运行过程中机器人控制目标不同位姿的图像数据作为样本图像，组成数据建模用的样本数据集；(2)对样本数据集内的样本图像进行标签标注，所述标签由姿态类别和特征点像素坐标组成；(3)利用标注后的样本数据集构建深层卷积神经网络模型；(4)采集控制目标新的图像样本，利用构建得到的深层卷积神经网络模型求取新的图像样本的姿态类别与特征点像素坐标；(5)求取双目摄像机对应的投影矩阵，建立像素坐标与空间坐标之间的变换关系；(6)根据像素坐标与空间坐标之间的变换关系，求取步骤(4)中所述特征点像素坐标对应的特征点三维坐标；(7)将求得的特征点三维坐标变换映射至机器人控制坐标系，得到机器人控制坐标系下控制目标的位姿信息。

【技术特征摘要】
1.一种基于卷积神经网络的机器人控制目标位姿识别方法，其特征在于，包括：(1)利用双目摄像机采集正常运行过程中机器人控制目标不同位姿的图像数据作为样本图像，组成数据建模用的样本数据集；(2)对样本数据集内的样本图像进行标签标注，所述标签由姿态类别和特征点像素坐标组成；(3)利用标注后的样本数据集构建深层卷积神经网络模型；(4)采集控制目标新的图像样本，利用构建得到的深层卷积神经网络模型求取新的图像样本的姿态类别与特征点像素坐标；(5)求取双目摄像机对应的投影矩阵，建立像素坐标与空间坐标之间的变换关系；(6)根据像素坐标与空间坐标之间的变换关系，求取步骤(4)中所述特征点像素坐标对应的特征点三维坐标；(7)将求得的特征点三维坐标变换映射至机器人控制坐标系，得到机器人控制坐标系下控制目标的位姿信息。2.根据权利要求1所述的基于卷积神经网络的机器人控制目标位姿识别方法，其特征在于，步骤(2)进行标签标注前，先对得到的样本图像进行预处理，得到设定大小的样本图像，然后再进行标签标注。3.根据权利要求1所述的基于卷积神经网络的机器人控制目标位姿识别方法，其特征在于，步骤(2)进行标签标注时，某一类姿态下的特征点为该类姿态下能观...

【专利技术属性】
技术研发人员：周乐，戴世请，李正刚，侯北平，陈立，冯玖强，介婧，郑慧，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江,33