基于结构差异感知的类别级六自由度物体位姿估计方法技术

本发明专利技术涉及一种基于结构差异感知的类别级六自由度物体位姿估计方法，包括：将深度图输入至目标检测分割网络进行识别，并根据识别结果得到物体实例的观测点云，并基于物体实例的观测点云选择目标物体对应的类别先验；提取观测点云和类别先验的特征，得到实例几何特征和类别几何特征；将实例几何特征和类别几何特征输入信息交互增强模块，得到增强的实例几何特征和类别几何特征；再通过所述语义动态融合模块进行语义和几何信息的融合，得到实例融合特征和类别融合特征；基于类别融合特征得到实例NOCS模型；通过匹配网络将实例NOCS模型和观测点云进行匹配，并根据相似性计算得到目标物体的6D位姿和大小。本发明专利技术能够提高6D位姿估计的准确性。的准确性。的准确性。

【技术实现步骤摘要】
基于结构差异感知的类别级六自由度物体位姿估计方法


[0001]本专利技术涉及计算机视觉
，特别是涉及一种基于结构差异感知的类别级六自由度物体位姿估计方法。

技术介绍

[0002]从图片中估计现实物体的六自由度(6DegreeofFreedom,6D)位姿是一个十分关键的任务，即估计物体在相机坐标系下的位置和朝向，由一个三维的旋转矩阵和一个三维的平移矢量组成。物体6D位姿估计任务被广泛应用在很多现实场景中，如3D场景理解、机器人抓取、虚拟现实和增强现实等领域。6D位姿估计任务按照被估计物体的级别可分为两类：1.针对特定物体的实例级6D位姿估计；2.针对同一类物体的类别级6D位姿估计。实例级6D位姿估计任务在计算物体位姿时，需要事先知道自己在世界坐标系下的位置，一般世界坐标系的中心落在物体的中心处，也即它的CAD模型。对于现实场景中没有定义CAD模型的新物体，实例级6D位姿估计算法就没办法去估计出物体的位姿，这严重的限制了实例级6D位姿估计算法在现实场景中的应用。因此，为了打破实例级6D位姿估计方法的限制，类别级6D位姿估计任务被提出，它能够本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构差异感知的类别级六自由度物体位姿估计方法，其特征在于，包括以下步骤：将深度图输入至目标检测分割网络，得到目标物体的图像块以及目标物体的分割掩码；根据目标物体的分割掩码和所述深度图得到物体实例的观测点云，并基于物体实例的观测点云选择目标物体对应的类别先验；提取观测点云和类别先验的特征，得到实例几何特征和类别几何特征；将所述实例几何特征和类别几何特征输入信息交互增强模块，通过所述信息交互增强模块去隐式建模所述实例几何特征和类别几何特征之间的几何差异，并对实例几何特征和类别几何特征进行补充，得到增强的实例几何特征和类别几何特征；将所述实例几何特征和类别几何特征之间的几何差异、增强的实例几何特征和类别几何特征输入至语义动态融合模块，通过所述语义动态融合模块进行语义和几何信息的融合，得到实例融合特征和类别融合特征；将所述类别融合特征送入到变形网络得到变形场，利用所述变形场对类别先验变形得到实例NOCS模型；通过匹配网络将所述实例NOCS模型和观测点云进行匹配，并根据相似性计算得到目标物体的6D位姿和大小。2.根据权利要求1所述的基于结构差异感知的类别级六自由度物体位姿估计方法，其特征在于，所述目标检测分割网络采用Mask
‑
RCNN网络。3.根据权利要求1所述的基于结构差异感知的类别级六自由...

【专利技术属性】
技术研发人员：李嘉茂，李国威，朱冬晨，张广慧，石文君，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：