一种融合三维模型信息的单张图像物体位姿估计方法技术

本发明专利技术提供了一种融合三维模型信息的单张图像物体位姿估计方法，从图像中获得图像特征、三维坐标预测结果以及物体的分割结果，利用物体的分割结果提取初始的坐标预测结果以及图像特征，将其融合之后可以获得初始的物体局部三维点云以及其特征；将初始的局部三维点云特征与从完整三维模型提取的全局特征进行局部‑全局特征融合，可以在初始的三维坐标基础上进行精细化，获得更加精确的三维坐标预测；更加精确的三维坐标预测可以获得更加精确的二维‑三维对应，依据二维‑三维对应可以获得精确的物体位姿。

【技术实现步骤摘要】
一种融合三维模型信息的单张图像物体位姿估计方法
本专利技术属于计算机视觉领域，尤其涉及一种姿态预测方法。
技术介绍
基于视觉的物体姿态估计在空间操作、工业制造、机器人导航等领域扮演着举足轻重的角色。目标位姿的准确测量是直接关系到空间或空中任务，比如航天器交会对接、在轨装配、空中加油等工作成功与否的一项重要工作。从视觉进行物体位姿的估计是指从图像中准确的估计出目标对象相对于相机的位置和姿态，其中位置表示相机坐标系相当于物体坐标系的平移关系，姿态表示相机相对于目标物体坐标系的旋转关系。传统的基于单目图像的位姿估计方法主要依靠关键点的匹配来建立图像和三维模型之间的二维-三维关系，然后根据二维-三维对应关系优化重投影误差函数来实现目标位姿估计。基于深度学习的位姿估计方法在近年来被广泛使用，第一种普遍使用的策略是利用深度学习方法预测三维模型关键点对应的二维图像坐标，然后依据二维-三维对应关系获得目标物体的位姿。但是此种方法容易受到遮挡以及光照变化等因素的影响，无法在具有挑战性的场景进行物体位姿估计。第二种策略是预测二维图像对应的三维坐标，本文档来自技高网...

【技术保护点】
1.一种融合三维模型信息的单张图像物体位姿估计方法，其特征在于，包括以下步骤：/n1)对待进行位姿估计的输入图像进行目标检测，确定目标物体所在区域；/n2)将目标物体基础区域从输入图像中截取，获得目标物体图像；/n3)从目标物体图像中提取特征，将提取出的特征称为图像特征；根据图像特征对目标物体的三维坐标进行预测；根据图像特征对目标物体图像进行物体分割，获得物体像素级分割结果；根据图像特征对目标物体图像再次进行特征提取，获得像素特征，表示目标物体图像中每一个像素点对应的特征；/n4)提取目标物体图像中物体区域的三维坐标以及像素特征，获得包含n个点的三维点云；/n5)对包含n个点的三维点云进行点云...

【技术特征摘要】
1.一种融合三维模型信息的单张图像物体位姿估计方法，其特征在于，包括以下步骤：
1)对待进行位姿估计的输入图像进行目标检测，确定目标物体所在区域；
2)将目标物体基础区域从输入图像中截取，获得目标物体图像；
3)从目标物体图像中提取特征，将提取出的特征称为图像特征；根据图像特征对目标物体的三维坐标进行预测；根据图像特征对目标物体图像进行物体分割，获得物体像素级分割结果；根据图像特征对目标物体图像再次进行特征提取，获得像素特征，表示目标物体图像中每一个像素点对应的特征；
4)提取目标物体图像中物体区域的三维坐标以及像素特征，获得包含n个点的三维点云；
5)对包含n个点的三维点云进行点云特征提取；将提取的特征以及步骤4)提取的像素特征在通道维度上进行拼接，获得物体局部拼接特征；
6)对所述物体局部拼接特征进行融合，获得物体局部融合特征；
7)提取目标物体完整的三维点云特征，输出物体全局特征；
8)将物体局部特征、物体全局特征扩展维度至所述物体像素级分割结果中物体区域像素个数n，然后将扩维后的物体局部融合特征、扩维后的物体全局特征以及物体局部拼接特征在通道维度上进行拼接，获得局部-全局拼接特征；对局部-全局拼接特征进行处理，最终获得精确三维坐标预测结果；
9)根据精确三维坐标预测结果，依据其与二维图像的对应关系，由透视n点算法求得目标物体位姿。


2.根据权利要求1所述的融合三维模型信息的单张图像物体位姿估计方法，其特征在于，所述的目标所在区域是指包含目标物体的矩形框，以矩形框中心点以及矩形框...

【专利技术属性】
技术研发人员：戴玉超，沈守刚，邓辉，何明一，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61