基于混合信息输入网络模型的未知物体抓取位姿估计方法技术

基于混合信息输入网络模型的未知物体抓取位姿估计方法，属于机器人自主抓取领域。本发明专利技术为了实现机器人对未知物体的快速、有效抓取。对训练图像数据集中的图像混合信息进行预处理；构建基于混合信息输入的信息融合机制，并搭建神经网络模型；对包含混合信息融合机制的网络模型参数进行训练，获得优化后的混合信息输入网络模型；利用基于RGB‑D图像的物体分割技术实现对传感器采集到的场景图像进行可抓取物体分割；利用基于反馈信息的候选区域生成机制，搜索获得物体上的最佳抓取区域；利用深度信息估计机器人在最佳抓取区域的抓取位置和抓取姿态，进而获得抓取物体时的抓取位姿。该方法有利于机器人快速、准确地实现对未知物体的自主抓取。

Pose estimation method for unknown objects based on mixed information input network model

An unknown object position and pose estimation method based on mixed information input network model belongs to the field of robot autonomous grasping. The invention aims at realizing fast and effective grasping of unknown objects by robots. Pre process the mixed information of the training image data set, construct the information fusion mechanism based on the mixed information input, and build the neural network model, train the network model parameters containing the mixed information fusion mechanism, obtain the optimized mixed information input network model, and use the RGB based D image. The object segmentation technique realizes the segmentation of the scene image collected by the sensor, and uses the candidate region generation mechanism based on the feedback information to search for the best grabbing area on the object, and use the depth information to estimate the grasping position and the grasping posture of the robot in the best grabbing area, and then get the grab. The grasping position of the body. This method is beneficial for robot to grasp the unknown object quickly and accurately.

【技术实现步骤摘要】
基于混合信息输入网络模型的未知物体抓取位姿估计方法
本专利技术属于机器人自主抓取领域，涉及一种基于混合信息输入网络模型的未知物体抓取位姿估计方法。
技术介绍
在智能机器人领域，机器人自主抓取未知物体是智能机器人的一种关键能力。机器人的抓取历经数十年的研究，已经取得了很多成果。但目前的机器人要执行一个复杂的新的抓取任务，需要花上数周时间来重新编程，这让现代制造业生产线的重组变得十分昂贵和缓慢。而且，机器人的大多应用于特定的环境，针对特定已知的物体进行抓操作。对于不确定环境下，不同位姿摆放的未知物体，让机器人自主决定被抓取物体的抓取部位和抓取夹持器的抓取位姿，目前技术还不成熟。传统的方法通常假设物体的三维信息已知，利用搜索抓取点是否力封闭的方法来实现对物体的抓取。但是对于大量不同形状的物体，物体的三维信息很难获得，抓取点的搜索计算量比较大，效率也很低，实现机器人对未知物体的自主抓取很难进行实际应用。目前，机器人的智能化程度与人类相比还有很大的差距，对未知的物体进行有效的抓取区域识别，自主实现对未知物体的抓取还很困难。因此，提出一种机器人自主实现对未知物体的抓取方法，对于提高机器人的智能化程度是非常迫切和必要的。
技术实现思路
针对现有技术存在的不足，本专利技术提供一种基于混合输入网络模型的机器人未知物体的抓取区域识别方法，实现机器人对未知物体的快速、有效抓取。本专利技术为解决上述技术问题采取的技术方案是：一种基于混合信息输入网络模型的未知物体抓取位姿估计方法，所述方法的实现过程为：步骤一、对训练图像数据集中的图像混合信息进行预处理：步骤二、构建基于混合信息输入的信息融合机制，并搭建神经网络模型；步骤三、对包含混合信息融合机制的网络模型参数进行训练，完成模型优化，获得优化后的混合信息输入网络模型；步骤四、利用基于RGB-D图像的物体分割技术实现对传感器采集到的场景图像进行可抓取物体分割；步骤五、利用基于反馈信息的候选区域生成机制，搜索获得物体上的最佳抓取区域；步骤六、利用深度信息估计机器人在最佳抓取区域的抓取位置和抓取姿态，进而获得机器人抓取物体时的抓取位姿。进一步地，在步骤一中，图像预处理的过程为：1)深度信息预处理图像混合信息包含物体图像的彩色、深度和法向量通道信息，深度通道信息存在的图像噪声使深度图像上像素点的深度缺失；对深度图像中存在的深度缺失以零值代替，并记录这些缺失的深度信息点的位置；然后，根据深度图像中缺失信息点所占整幅图像的比例，放大非零正常深度信息点的深度信息；2)图像旋转与缩放操作对候选抓取矩形采取图像旋转、尺寸缩放和比例放大的预处理操作，使数据结构符合深度卷积神经网络模型需要的尺寸；具体过程为：首先，通过一定的旋转操作将其矩形长边与图像坐标系X轴保持平行关系；然后，在保证候选抓取矩形的长宽比例不变的前提下，将长边尺寸缩放至预设像素，并按此缩放比例对短边进行缩放，将宽边尺寸填充至与长边相同的预设像素，填充区域像素值补全值赋0；最后，为了使缩放后各候选抓取区域对模型训练具有同等效果，根据区域内有效像素所占比例对有效像素点的值进行一定的尺度放大；3)白化处理在完成抓取区域矩形的旋转、缩放操作后，进行如下白化处理：首先，在各样本图像的深度通道信息上按式(1)单独进行白化处理，以消除各样本间因深度信息差异过大而无法进行整体白化处理的问题；然后，对彩色和法向量通道的信息在数据集上按式(2)分别进行白化处理，其中需要将各通道的缩放尺度设置为三个通道标准差之和；式中，和分别是单个深度图像m上的原始数据和白化处理后的图像数据，k＝1,2,3为深度图像上{X,Y,Z}方向上的三个通道信息；和分别是彩色图像和法向量信息的原始数据，和为采用改进方法处理后的彩色和法向量通道信息；Di是对应图像上各通道的标准差，GPCA是主成分分析处理函数；通过这样以上预处理操作，可以使三种通道视觉信息处于同一水平，从而使网络模型能够在各个通道信息中都提出目标特征。进一步地，在步骤二中，构建基于混合信息输入的信息融合机制，并搭建神经网络模型，其过程为：1)神经网络模型的构建对未知物体上候选抓取区域的可抓取性进行评价，并搜索获得其最佳的抓取区域，采用构建深度卷积神经网络模型并进行学习方法；构建的深度卷积神经网络模型结构共包含7层，一个输入层，一个混合信息融合层，两个卷积层，两个全连接层和一个输出层；当给定物体上一个图像矩形块r＝(xc,yc,h,α)时，通过此区域内各通道的视觉信息Xr作为神经网络模型的输入；xc,yc表示矩形块的中心点，h表示矩形块的长度，α表示矩形块的旋转角度；混合信息融合层后之后连接两个传统的卷积层，且各层之后均有一个最大值降采样机制；第二个卷积层之后连接两个全连接层，并采用Dropout方法降低模型过拟合风险；最后的输出层采用Logistic分类器对此区域是否适合抓取进行判别；各隐含层均采用ReLU(RectifiedLinearUnits)函数进行神经元激活；基于混合信息输入的网络模型的输出是输入矩形区域可抓取性的概率估计，在推断过程中，通过寻找模型的最大输出概率来确定物体上最佳的抓取区域；式中，f(r)是从候选抓取图像区域r中提取的图像特征，是此区域是否可以抓取的判别结果，r*是候选抓取区域集合R中搜索到的最佳抓取区域，Θ*为最佳的深度卷积神经网络模型参数；2)混合信息输入的信息融合机制：深度卷积神经网络模型的输入包括三种类别的九个通道视觉信息，即三通道彩色信息(RGB)、三通道深度信息(Depth)和三通道表面法向量信息(Normal)；其中，表面法向量通道是通过在深度通道信息上进行各点法向量计算而获得；在单独处理各通道信息的基础上，通过在彩色通道和深度通道之间、彩色通道和法向量通道之间引入两种共享的卷积核，使模型能够学习到两种不同通道间的高关联性特征；并通过在目标优化函数中引入针对共享卷积核的参数连接数量的惩罚项，以减小模型的复杂度和抑制弱相关特征的学习；输入层将色彩、位置和法向量九通道混合信息分成三组进行输入，各组分别提取卷积核特征，同时采用共享卷积核同时提取彩色信息组和深度信息组，彩色信息和法向量信息组的关联特征；神经网络模型的混合信息融合层是一种包含了五种特征图的卷积层，其分别是三种通道各自提取的特征图、彩色通道和深度通道共同提取的特征图、彩色通道和法向量通道共同提取的特征图；在所述共享卷积核上设计正则化方法，将惩罚项引入至神经网络模型的优化函数，从而使模型参数在优化过程中考虑到关联特征的学习；式中，G(W)为在共享卷积核上的正则化惩罚项；右侧第一项为仅对非零参数的惩罚项，右侧第二项||W||p为对参数尺度的L1范数惩罚项，p为1；W为神经网络的参数，β是表征不同惩罚项对最终惩罚项的影响权重；I(A)是指示函数，A为该函数中的表达式，当表达式为真时，函数输出为1，反之为0；L、N和M分别是融合通道数量、卷积核数量和一个卷积核上参数数量，是共享卷积核中的各参数。进一步地，在步骤三中，神经网络模型训练的过程为：在神经网络模型训练中，将数据集中的训练样本预处理后，得到的图像维度输入特征向量，包括三通道的R，G，B颜色信息，三通道位置信息Xd,Yd,Zd，和三通道的法向量信息Xn,Yn,Zn；将此特征向本文档来自技高网...

【技术保护点】
1.一种基于混合信息输入网络模型的未知物体抓取位姿估计方法，其特征在于，所述方法的实现过程为：步骤一、对训练图像数据集中的图像混合信息进行预处理：步骤二、构建基于混合信息输入的信息融合机制，并搭建神经网络模型；步骤三、对包含混合信息融合机制的网络模型参数进行训练，完成模型优化，获得优化后的混合信息输入网络模型；步骤四、利用基于RGB‑D图像的物体分割技术实现对传感器采集到的场景图像进行可抓取物体分割；步骤五、利用基于反馈信息的候选区域生成机制，搜索获得物体上的最佳抓取区域；步骤六、利用深度信息估计机器人在最佳抓取区域的抓取位置和抓取姿态，进而获得机器人抓取物体时的抓取位姿。

【技术特征摘要】
1.一种基于混合信息输入网络模型的未知物体抓取位姿估计方法，其特征在于，所述方法的实现过程为：步骤一、对训练图像数据集中的图像混合信息进行预处理：步骤二、构建基于混合信息输入的信息融合机制，并搭建神经网络模型；步骤三、对包含混合信息融合机制的网络模型参数进行训练，完成模型优化，获得优化后的混合信息输入网络模型；步骤四、利用基于RGB-D图像的物体分割技术实现对传感器采集到的场景图像进行可抓取物体分割；步骤五、利用基于反馈信息的候选区域生成机制，搜索获得物体上的最佳抓取区域；步骤六、利用深度信息估计机器人在最佳抓取区域的抓取位置和抓取姿态，进而获得机器人抓取物体时的抓取位姿。2.根据权利要求1所述的一种基于混合信息输入网络模型的未知物体抓取位姿估计方法，其特征在于，在步骤一中，图像预处理的过程为：1)深度信息预处理图像混合信息包含物体图像的彩色、深度和法向量通道信息，深度通道信息存在的图像噪声使深度图像上像素点的深度缺失；对深度图像中存在的深度缺失以零值代替，并记录这些缺失的深度信息点的位置；然后，根据深度图像中缺失信息点所占整幅图像的比例，放大非零正常深度信息点的深度信息；2)图像旋转与缩放操作对候选抓取矩形采取图像旋转、尺寸缩放和比例放大的预处理操作，使数据结构符合深度卷积神经网络模型需要的尺寸；具体过程为：首先，通过一定的旋转操作将其矩形长边与图像坐标系X轴保持平行关系；然后，在保证候选抓取矩形的长宽比例不变的前提下，将长边尺寸缩放至预设像素，并按此缩放比例对短边进行缩放，将宽边尺寸填充至与长边相同的预设像素，填充区域像素值补全值赋0；最后，为了使缩放后各候选抓取区域对模型训练具有同等效果，根据区域内有效像素所占比例对有效像素点的值进行一定的尺度放大；3)白化处理在完成抓取区域矩形的旋转、缩放操作后，进行如下白化处理：首先，在各样本图像的深度通道信息上按式(1)单独进行白化处理，以消除各样本间因深度信息差异过大而无法进行整体白化处理的问题；然后，对彩色和法向量通道的信息在数据集上按式(2)分别进行白化处理，其中需要将各通道的缩放尺度设置为三个通道标准差之和；式中，和分别是单个深度图像m上的原始数据和白化处理后的图像数据，k＝1,2,3为深度图像上{X,Y,Z}方向上的三个通道信息；和分别是彩色图像和法向量信息的原始数据，和为采用改进方法处理后的彩色和法向量通道信息；Di是对应图像上各通道的标准差，GPCA是主成分分析处理函数；通过这样以上预处理操作，可以使三种通道视觉信息处于同一水平，从而使网络模型能够在各个通道信息中都提出目标特征。3.根据权利要求2所述的一种基于混合信息输入网络模型的未知物体抓取位姿估计方法，其特征在于，在步骤二中，构建基于混合信息输入的信息融合机制，并搭建神经网络模型，其过程为：1)神经网络模型的构建对未知物体上候选抓取区域的可抓取性进行评价，并搜索获得其最佳的抓取区域，采用构建深度卷积神经网络模型并进行学习方法；构建的深度卷积神经网络模型结构共包含7层，一个输入层，一个混合信息融合层，两个卷积层，两个全连接层和一个输出层；当给定物体上一个图像矩形块r＝(xc,yc,h,α)时，通过此区域内各通道的视觉信息Xr作为神经网络模型的输入；xc,yc表示矩形块的中心点，h表示矩形块的长度，α表示矩形块的旋转角度；混合信息融合层后之后连接两个传统的卷积层，且各层之后均有一个最大值降采样机制；第二个卷积层之后连接两个全连接层，并采用Dropout方法降低模型过拟合风险；最后的输出层采用Logistic分类器对此区域是否适合抓取进行判别；各隐含层均采用ReLU函数进行神经元激活；基于混合信息输入的网络模型的输出是输入矩形区域可抓取性的概率估计，在推断过程中，通过寻找模型的最大输出概率来确定物体上最佳的抓取区域；式中，f(r)是从候选抓取图像区域r中提取的图像特征，是此区域是否可以抓取的判别结果，r*是候选抓取区域集合R中搜索到的最佳抓取区域，Θ*为最佳的深度卷积神经网络模型参数；2)混合信息输入的信息融合机制：深度卷积神经网络模型的输入包括三种类别的九个通道视觉信息，即三通道彩色信息、三通道深度信息和三通道表面法向量信息；其中，表面法向量通道是通过在深度通道信息上进行各点法向量计算而获得；在单独处理各通道信...

【专利技术属性】
技术研发人员：王滨，王志超，刘宏，赵京东，王栋，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23