一种基于深度学习的目标姿态估计方法技术

本发明专利技术涉及一种基于深度学习的目标姿态估计方法。实际工业环境中需要利用机械手臂对于目标物体进行抓取，需要首先获得目标物体的空间位置信息和姿态信息。摄像机系统价格便宜，所以利用视觉信息来进行目标物体的姿态估计的方法应用最广泛。利用传统的视觉算法来进行姿态估计难以提取出有效的特征，精度比较有限。本发明专利技术方法利用了神经网络的优势，利用神经网络算法将目标物体重要区域提取出来之后对物体表面进行建模的方法来估计物体姿态。本方法适应性强，对于不同种类的物体，只需收集数据集对神经网络进行重新训练，无需重新设计特征提取器。而且本方法确定姿态准确，利用神经网络强大的特征提取能力，能够估计分析大部分场景中的物体。

【技术实现步骤摘要】
一种基于深度学习的目标姿态估计方法
本专利技术属于计算机视觉领域，具体涉及一种基于深度学习的目标姿态估计方法。
技术介绍
利用视觉信息来获取目标物体的姿态信息是计算机视觉的重要任务。在实际的工业环境中，需要利用机械手臂对于目标物体进行抓取，需要获取目标物体的空间三维位置信息和姿态信息。所以姿态估计的准确性对于机械臂抓取物体来说非常重要。目前，姿态估计的方法主要有：1)基于学习的姿态估计；2)基于模型的姿态估计。基于模型的姿态估计主要是结合物体的特征点信息，或者是物体的几何关系来估计物体的姿态。它是通过物体的几何特征或者几何模型表示物体的结构和形状，然后通过建立图像与模型直接的匹配关系来确定物体在三维空间中的姿态信息。这种方法通常是比较建立起来的模型和输入图片提取出的特征之间的关系，通过特征匹配算法去确定模型的姿态。基于学习的姿态估计方法，是指利用机器学习或者深度学习，从训练数据集中学习三维位姿姿态与二维观察图的关系，将学习好的分类模型或者是回归模型用到测试数据的检测上，用于获取目标物体的姿态。此类方法一般提取的是整张图片的信息，不只使用物体的一部分特征，所以相对来说，基于学习的姿态估计具有更好的抗干扰能力，鲁棒性更强。
技术实现思路
本专利技术利用神经网络强大的模型拟合能力，提出了一种基于深度学习的姿态估计方法。本方法利用神经网络提取出目标物体表面的有效区域，并对其表面建立模型去估计得到物体姿态信息。具体步骤是：步骤(1)利用RGB-D相机获取彩色图像和深度图像使用RGB-D相机对于包含目标物体的场景进行拍摄，得到一张彩色图像和与彩色图像像素一一对应的深度图像。步骤(2)使用语义分割网络提取图像中感兴趣像素区域利用语义分割神经网络，将输入图像经过卷积池化提取特征之后，再进行上采样与浅层特征图信息进行融合，最后得到一张与输入图像分辨率一致的分割结果特征图，对于输入图片做一个像素级别的分类，确定在目标物体表面感兴趣的像素区域。在提取出输入图像中感兴趣的目标物体区域之后，就可以针对于该部分的物体表面确定目标物体的姿态。经过语义分割网络之后，将提取得到的图像信息结合深度信息求得目标物体的姿态。步骤(3)对物体表面建模并确定物体姿态利用语义分割网络检测得到的物体表面平面区域和对应融合深度图像上的深度信息，对物体表面平面建立平面模型：Ax+By+Cz+D＝0利用主成分分析算法求得平面方程的参数，计算方式如下：①利用公式∑＝E(aaT)-E(a)E(aT)，求得在物体平面上所有点的协方差矩阵，为其中a为样本数据，E为就平均操作。②求取协方差矩阵的特征值和特征向量，选取最小特征值对应的特征向量，以此作为物体表面平面的法向量，得到平面方程参数A，B，C。③求取所有表面坐标点的平均坐标，带入平面方程中，求解得到方程参数D。通过主成分分析算法，得到物体表面的平面方程，估计得到目标物体的姿态。但是，在利用深度融合图求平面方程过程中，因为深度相机采集得到的存在大量噪声，严重影响最后求得平面的方程，需要先滤除原始数据中的噪声点。要利用随机样本一致算法结合主成分分析算法滤除数据中的噪声点后求得平面模型。该过程的步骤如下：①随机选取能确定方程参量的四个样本数据，利用数据点求得平面方程的参数，得到平面模型。②利用求得的平面模型，计算所有数据点的误差。当误差小于给定阈值时，认为是内点，否则为外点。③统计内点的个数，若内点个数大于设定数量，利用主成分分析算法在所有内点上求得当前模型。④利用内点集求得的模型计算所有内点的平均误差，若当前误差小于储存的最优模型的误差时，更新最优模型，并且更新最优模型的误差。⑤不断重复以上的步骤，直到满足最大的迭代次数，得到最终的平面模型。在求得物体表面的法向量之后，计算得到物体表面所有空间点的均值作为物体表面的中心点。确定平面中心点和平面法向量之后就确定了目标物体的姿态信息。本专利技术的有益效果：本专利技术方法利用了神经网络的优势，利用神经网络算法将目标物体重要区域提取出来之后对物体表面进行建模的方法来估计物体姿态。本方法适应性强，对于不同种类的物体，只需收集数据集对神经网络进行重新训练，无需重新设计特征提取器。而且本方法确定姿态准确，利用神经网络强大的特征提取能力，能够估计分析大部分场景中的物体。附图说明图1为语义分割网络图；具体实施步骤步骤(1)利用RGB-D相机获取彩色图像和深度图像使用RGB-D相机对于包含目标物体的场景进行拍摄，得到一张彩色图像和与彩色图像像素一一对应的深度图像。步骤(2)使用语义分割网络提取图像中感兴趣像素区域如图1所示，利用语义分割神经网络，将输入图像经过卷积池化提取特征之后，再进行上采样与浅层特征图信息进行融合，最后得到一张与输入图像分辨率一致的分割结果特征图，对于输入图片做一个像素级别的分类，确定在目标物体表面感兴趣的像素区域。在提取出输入图像中感兴趣的目标物体区域之后，就可以针对于该部分的物体表面确定目标物体的姿态。经过语义分割网络之后，将提取得到的图像信息结合深度信息求得目标物体的姿态。步骤(3)对物体表面建模并确定物体姿态利用语义分割网络检测得到的物体表面平面区域和对应融合深度图像上的深度信息，对物体表面平面建立平面模型：Ax+By+Cz+D＝0利用主成分分析算法求得平面方程的参数，计算方式如下：①利用公式∑＝E(aaT)-E(a)E(aT)，求得在物体平面上所有点的协方差矩阵，为其中a为样本数据，E为就平均操作。②求取协方差矩阵的特征值和特征向量，选取最小特征值对应的特征向量，以此作为物体表面平面的法向量，得到平面方程参数A，B，C。③求取所有表面坐标点的平均坐标，带入平面方程中，求解得到方程参数D。通过主成分分析算法，得到物体表面的平面方程，估计得到目标物体的姿态。但是，在利用深度融合图求平面方程过程中，因为深度相机采集得到的存在大量噪声，严重影响最后求得平面的方程，需要先滤除原始数据中的噪声点。要利用随机样本一致算法结合主成分分析算法滤除数据中的噪声点后求得平面模型。该过程的步骤如下：①随机选取能确定方程参量的四个样本数据，利用数据点求得平面方程的参数，得到平面模型。②利用求得的平面模型，计算所有数据点的误差。当误差小于给定阈值时，认为是内点，否则为外点。③统计内点的个数，若内点个数大于设定数量，利用主成分分析算法在所有内点上求得当前模型。④利用内点集求得的模型计算所有内点的平均误差，若当前误差小于储存的最优模型的误差时，更新最优模型，并且更新最优模型的误差。⑤不断重复以上的步骤，直到满足最大的迭代次数，得到最终的平面模型。在求得物体表面的法向量之后，计算得到物体表面所有空间点的均值作为物体表面的中心点。确定平面中心点和平面法向量之后就确定了目标物体的姿态信息。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的目标姿态估计方法，其特征在于该方法的具体步骤是：步骤(1)利用RGB‑D相机获取彩色图像和深度图像使用RGB‑D相机对于包含目标物体的场景进行拍摄，得到一张彩色图像和与彩色图像像素一一对应的深度图像；步骤(2)使用语义分割网络提取图像中感兴趣像素区域利用语义分割神经网络，将输入图像经过卷积池化提取特征之后，再进行上采样与浅层特征图信息进行融合，最后得到一张与输入图像分辨率一致的分割结果特征图，对于输入图片做一个像素级别的分类，确定在目标物体表面感兴趣的像素区域；在提取出输入图像中感兴趣的目标物体区域之后，就可以针对于该部分的物体表面确定目标物体的姿态；经过语义分割网络之后，将提取得到的图像信息结合深度信息求得目标物体的姿态；步骤(3)对物体表面建模并确定物体姿态利用语义分割网络检测得到的物体表面平面区域和对应融合深度图像上的深度信息，对物体表面平面建立平面模型：Ax+By+Cz+D＝0利用主成分分析算法求得平面方程的参数，计算方式如下：①利用公式∑＝E(aa

【技术特征摘要】
1.一种基于深度学习的目标姿态估计方法，其特征在于该方法的具体步骤是：步骤(1)利用RGB-D相机获取彩色图像和深度图像使用RGB-D相机对于包含目标物体的场景进行拍摄，得到一张彩色图像和与彩色图像像素一一对应的深度图像；步骤(2)使用语义分割网络提取图像中感兴趣像素区域利用语义分割神经网络，将输入图像经过卷积池化提取特征之后，再进行上采样与浅层特征图信息进行融合，最后得到一张与输入图像分辨率一致的分割结果特征图，对于输入图片做一个像素级别的分类，确定在目标物体表面感兴趣的像素区域；在提取出输入图像中感兴趣的目标物体区域之后，就可以针对于该部分的物体表面确定目标物体的姿态；经过语义分割网络之后，将提取得到的图像信息结合深度信息求得目标物体的姿态；步骤(3)对物体表面建模并确定物体姿态利用语义分割网络检测得到的物体表面平面区域和对应融合深度图像上的深度信息，对物体表面平面建立平面模型：Ax+By+Cz+D＝0利用主成分分析算法求得平面方程的参数，计算方式如下：①利用公式∑＝E(aaT)-E(a)E(aT)，求得在物体平面上所有点的协方差矩阵，为其中a...

【专利技术属性】
技术研发人员：高明煜，杜宇杰，杨宇翔，何志伟，曾毓，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33