一种基于深度学习的6D姿态估计方法和系统技术方案

本发明专利技术提供了一种基于深度学习的6D姿态估计方法和系统，该方法首先获取目标物体的无标记码图像和有标记码图像；之后对目标物体的有标记码图像进行处理，之后利用预设的点云补全神经网络模型获得目标物体表面完整点云数据和3D模型；之后将目标物体的3D模型、表面完整点云数据和无标记码图像输入预设的6D姿态估计神经网络模型中训练并迭代优化；最后利用优化后的6D姿态估计神经网络模型对待预测目标物体进行6D姿态估计；该方法基于深度学习对目标物体进行6D姿态估计，能够有效提高目标物体6D姿态估计的预测精确度和预测效率，而且显著降低了现有技术中目标物体完整点云数据的获取难度，降低了生产成本。降低了生产成本。降低了生产成本。

【技术实现步骤摘要】
一种基于深度学习的6D姿态估计方法和系统


[0001]本专利技术涉及计算机视觉
，更具体地，涉及一种基于深度学习的6D姿态估计方法和系统。

技术介绍

[0002]随着我国工业化进程的加速发展，工业制造进入智能化时代，机械臂因其效率高、稳定性好、恶劣环境适应性强等优点，在工业、3C检测、农业、航天等许多领域都是重要的生产力。在工业生产中，为了更好的提高机械臂的自主性和环境适应性，目前诸多机械臂都进行了视觉化。视觉化的抓取系统能够对机械臂后续的运动进行规划与控制，目标物体的6D姿态估计，是抓取任务顺利进行的前提。6D姿态估计是指相机相对于物体的姿态关系，由相机与机械臂的相对姿态关系，可以求得机械臂基座坐标系或工具坐标系与物体坐标系的姿态关系。
[0003]工业生产中普遍使用点云和RGB图像信息对目标物体进行6D姿态估计。点云拥有物体表面点的位置和姿态信息，能够提供真实的物理数据；而RGB图像拥有丰富的颜色和纹理，能够为物体的识别提供数据。
[0004]目前的现有技术公开了一种基于深度学习的6D姿态估计方法，包括图像特征提取模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的6D姿态估计方法，其特征在于，包括以下步骤：S1：分别获取目标物体的无标记码图像和有标记码图像；S2：对目标物体的有标记码图像背景和噪声进行分割，获取目标物体的表面稀疏点云数据；S3：对目标物体的表面稀疏点云数据进行处理，获取目标物体的表面稠密点云数据和目标物体的3D模型；S4：将目标物体的无标记码图像和表面稠密点云数据输入到预设的点云补全神经网络模型中，获得目标物体的表面完整点云数据；S5：将目标物体的3D模型、表面完整点云数据和目标物体的无标记码图像输入到预设的6D姿态估计神经网络模型中进行训练，获得优化后的6D姿态估计神经网络模型；S6：获取待预测的目标物体图像，将待预测的目标物体图像输入到优化后的6D姿态估计神经网络模型，获取待预测目标物体的6D姿态。2.根据权利要求1所述的一种基于深度学习的6D姿态估计方法，其特征在于，所述步骤S1中，分别获取目标物体的无标记码图像和有标记码图像的具体方法为：用单目相机从目标物体的多个方向进行拍摄，获取一组目标物体的无标记码图像，并记录每张无标记码图像对应的相机姿态；将若干ARUCO标记码围绕目标物体放置，利用所述单目相机从目标物体的多个方向进行拍摄，获取一组目标物体的有标记码图像。3.根据权利要求2所述的一种基于深度学习的6D姿态估计方法，其特征在于，所述目标物体的有标记码图像中包括至少3个不被遮挡且清晰的ARUCO标记码。4.根据权利要求3所述的一种基于深度学习的6D姿态估计方法，其特征在于，所述步骤S3中，对目标物体的表面稀疏点云数据进行处理，获取目标物体的表面稠密点云数据和目标物体的3D模型的具体方法为：使用PMVS2对目标物体的表面稀疏点云数据进行处理，获取目标物体的表面稠密点云数据、表面三角网格化数据和纹理映射数据；根据所述表面三角网格化数据和纹理映射数据生成目标物体的3D模型。5.根据权利要求4所述的一种基于深度学习的6D姿态估计方法，其特征在于，所述步骤S4中，将目标物体的无标记码图像和表面稠密点云数据输入到预设的点云补全神经网络模型中，获得目标物体的表面完整点云数据的具体方法为：S4.1：将任意一张目标物体的无标记码图像和表面稠密点云数据输入到预设的点云补全神经网络模型中，对表面稠密点云数据进行旋转操作，调整至与所述目标物体的无标记码图像对应的相机姿态相匹配，得到目标物体稠密点云旋转数据P1；S4.2：将目标物体的无标记码图像进行映射，得到目标物体的全局稠密点云数据P2；S4.3：将目标物体稠密点云旋转数据P1和全局稠密点云数据P2拼接后进行均匀下采样；S4.4：利用下采样后的全局稠密点云数据P2减去下采样后的目标物体稠密点云旋转数据P1，得到输入部分点云数据P
f
和输入缺少部分点云数据P
c
；S4.5：将输入部分点云数据P
f
、输入缺少部分点云数据P
c
、下采样后的目标物体稠密点云旋转数据P1和目标物体的无标记码图像拼接获得全局特征向量V
t
；S4.6：利用全局特征向量V
t
获得目标物体的表面点云偏移量向量，将输入缺少部分点云
数据P
c
与目标物体的表面点云偏移量向量拼接，获得目标物体表面完整点云数据P3。6.根据权利要求5所述的一种基于深度学习的6D姿态估计方法，其特征在于，所述步骤S4.6中，利用全局特征向量V
t
获得目标物体的表面点云偏移量向量，将输入缺少部分点云数据P
c
与目标物体的表面点云偏移量向量拼接，获得目标物体表面完整点云数据P3的具体方法为：将全局特征向量Vt输入预设的1D卷积层中，得到N维嵌入fpoint，再将N维嵌入fpoint复制展平之后上采样，接着输入预设的2D卷积层中，得到偏移点向量，之后将偏移点向量输入所述1D卷积层中，得到目标物体的表面点云偏移量向量以及对应的不完整点云的掩模，将经过不完整点云的掩模选择过的输入缺少部分点云数据P
c
与目标物体的表面点云偏移量向量拼接，获得目标物体表面完整点云数据P3。7.根据权利要求6所述的一种基于深度学习的6D姿态估计方法，其特征在于，所述步骤S4之后还包括：利用基于最优传输理论的距离优化损失函数对所述预设的点云补全神经网络模型进行优化，所述损失函数为：行优化，所述损失函数为：L
...

【专利技术属性】
技术研发人员：许伟濠，张伯泉，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：