一种物体位姿预估方法、系统和计算机可读存储介质技术方案

本申请实施例提供的物体位姿预估方法，通过对预构建的三维模型进行后处理，使得定位资源中包括场景图像中的物体三维点及其局部特征描述，以及物体二维图像的全局特征描述；进一步的，通过将待处理图像中物体的全局特征描述，与定位资源中预存的全局特征描述匹配，确定候选图像帧；最后，通过候选图像帧的物体三维点描述子和待处理图像中物体二维点描述子，建立2D

【技术实现步骤摘要】
一种物体位姿预估方法、系统和计算机可读存储介质


[0001]本申请涉及视觉定位
，特别是涉及一种物体位姿预估方法、装置、系统、计算机设备和计算机可读存储介质。

技术介绍

[0002]物体的6DOF姿态估计，主要用于工业视觉应用和增强现实等领域，其可以通过特征匹配、深度学习和运动估计等方式获取。
[0003]在相关技术中，利用单目RGB图或者灰度图作为输入，通过预设网络提取局部和全局的特征，再通过网络直接根据该局部特征描述和全局特征描述，回归得到物体的姿态。
[0004]上述方法中，对于新的物体需要重新构造训练数据和训练模型，因此，存在成本较高的问题。

技术实现思路

[0005]本申请实施例提供了一种物体位姿预估方法、系统、电子设备和存储介质，以至少解决相关技术中物体位姿预估方法成本较高的问题。
[0006]第一方面，本申请实施例提供了一种物体位姿预估方法，所述方法包括：
[0007]根据场景图像构建三维模型；
[0008]对所述三维模型进行后处理，得到定位资源，其中，所述定位资源中包括所述场景图像中的物体三维点及其局部特征描述，以及物体图像的全局特征描述；
[0009]获取待处理图像，将所述待处理图像中物体的全局特征描述，与所述定位资源中的全局特征描述匹配，得到至少一个候选图像帧，其中，所述候选图像帧包括多个物体三维点；
[0010]根据所述候选图像帧中的物体三维点，和所述待处理图像中的物体二维点，得到所述待处理图像中的物体位姿。
[0011]在其中一些实施例中，对所述三维模型进行后处理，得到定位资源包括：
[0012]从所述三维模型分割出物体模型，获取所述物体模型内的物体三维点，以及所述物体三维点的局部特征描述；
[0013]根据所述物体三维点确定3D包围框，将所述3D包围框投影至对应的场景图像，得到2D包围框；
[0014]通过所述2D包围框，在所述场景图像中进行物体区域的特征提取，得到所述全局特征描述；
[0015]基于所述物体三维点及其局部特征描述，以及所述物体二维图像的全局特征描述，得到所述定位资源。
[0016]在其中一些实施例中，从所述三维模型分割出物体模型，获取所述物体模型内的物体三维点，以及所述物体三维点的局部特征描述包括：
[0017]识别所述三维模型中的背景三维点和前景三维点，从所述三维模型中剔除所述背
景三维点，得到物体模型；
[0018]在所述物体模型中，获取三维点数目大于第一预设阈值的物体图像帧；
[0019]在所述大于第一预设阈值的物体图像帧中，获取轨迹长度大于第二预设阈值的物体三维点，并获取所述轨迹长度大于第二预设阈值的物体三维点的局部特征描述。
[0020]在其中一些实施例中，所述方法还包括：
[0021]通过主体检测网络，对所述待处理图像进行物体检测，得到物体的二维包围框，其中，所述主体检测网络的输入值是包括前景和背景的目标图像，输出值是所述目标图像中物体的二维包围框；
[0022]将所述二维包围框的全局特征描述，与所述定位资源中的全局特征描述匹配，得到至少一个候选图像帧。
[0023]在其中一些实施例中，将所述二维包围框的全局特征描述，与所述定位资源中的全局特征描述匹配，得到至少一个候选图像帧包括：
[0024]遍历所述定位资源中的所有全局特征描述，分别计算所述二维包围框的全局特征描述与所述定位资源中的各个全局特征描述之间的相似度；
[0025]获取相似度大于等于第三预设阈值的目标全局特征描述，得到候选全局特征描述；
[0026]根据所述候选全局特征描述，得到至少一个候选图像帧。
[0027]在其中一些实施例中，根据所述候选图像帧中的物体三维点，和所述待处理图像中物体二维点，得到所述待处理图像中的物体位姿包括：
[0028]分别提取所述候选图像帧的物体三维点，和所述待处理图像中的物体二维点；
[0029]通过匹配算法，在所述候选图像帧的物体三维点和所述待处理图像中的物体二维点之间，建立2D
‑
3D观测；
[0030]基于所述2D
‑
3D观测，得到所述待处理图像中的物体位姿。
[0031]第二方面，本申请实施例提供了一种物体位姿预估系统，所述系统包括：定位资源构建模块、特征匹配模块和位姿预估模块，其中；
[0032]所述定位资源构建模块，用于根据场景图像构建三维模型；
[0033]对所述三维模型进行后处理，对所述三维模型进行后处理，得到定位资源，其中，所述定位资源中包括所述场景图像中的物体三维点及其局部特征描述，以及，物体图像的全局特征描述；
[0034]所述特征匹配模块，获取待处理图像，将所述待处理图像中物体的全局特征描述，与所述定位资源中的全局特征描述匹配，得到至少一个候选图像帧，其中，所述候选图像帧包括多个物体三维点；
[0035]所述位姿预估模块，根据所述候选图像帧中的物体三维点，和所述待处理图像中物体二维点，得到所述待处理图像中的物体位姿。
[0036]在其中一些实施例中，所述定位资源构建模块包括后处理模块，其中，
[0037]所述后处理模块，用于从从所述三维模型分割出物体模型，获取所述物体模型内的物体三维点，以及所述物体三维点的局部特征描述；
[0038]根据所述物体三维点确定3D包围框，将所述3D包围框投影至对应的所述场景图像，得到2D包围框；
[0039]通过所述2D包围框，在所述场景图像中进行物体区域的特征提取，得到所述全局特征描述；
[0040]基于所述物体三维点及其局部特征描述，以及所述物体二维图像的全局特征描述，得到所述定位资源。
[0041]第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。
[0042]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。
[0043]相比于相关技术，本申请实施例提供的物体位姿预估方法，通过对预构建的三维模型进行后处理，使得定位资源中包括场景图像中的物体三维点及其局部特征描述，以及物体图像的全局特征描述；进一步的，通过将待处理图像中物体的全局特征描述，与定位资源中预存的全局特征描述匹配，确定候选图像帧；最后，通过候选图像帧的物体三维点描述子和待处理图像中物体二维点描述子，建立2D
‑
3D观测，通过求解该2D
‑
3D观测得到待处理图像中的物体位姿。本申请解决了相关技术中通过预设网络进行位姿仅适用性受限的问题，无需针对物体训练特定的识别网络，也无需额外的传感器信息，基于RGB图像，即可实现高效、通用的物体位姿预估。
附图说明
[0044]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体位姿预估方法，其特征在于，所述方法包括：根据场景图像构建三维模型；对所述三维模型进行后处理，得到定位资源，其中，所述定位资源中包括所述场景图像中的物体三维点及其局部特征描述，以及物体图像的全局特征描述；获取待处理图像，将所述待处理图像中物体的全局特征描述，与所述定位资源中的全局特征描述匹配，得到至少一个候选图像帧，其中，所述候选图像帧包括多个物体三维点；根据所述候选图像帧中的物体三维点，和所述待处理图像中的物体二维点，得到所述待处理图像中的物体位姿。2.根据权利要求1所述的方法，其特征在于，对所述三维模型进行后处理，得到定位资源包括：从所述三维模型分割出物体模型，获取所述物体模型内的物体三维点，以及所述物体三维点的局部特征描述；根据所述物体三维点确定3D包围框，将所述3D包围框投影至对应的场景图像，得到2D包围框；通过所述2D包围框，在所述场景图像中进行物体区域的特征提取，得到所述全局特征描述；基于所述物体三维点及其局部特征描述，以及所述物体二维图像的全局特征描述，得到所述定位资源。3.根据权利要求2所述的方法，其特征在于，从所述三维模型分割出物体模型，获取所述物体模型内的物体三维点，以及所述物体三维点的局部特征描述包括：识别所述三维模型中的背景三维点和前景三维点，从所述三维模型中剔除所述背景三维点，得到物体模型；在所述物体模型中，获取三维点数目大于第一预设阈值的物体图像帧；在所述大于第一预设阈值的物体图像帧中，获取轨迹长度大于第二预设阈值的物体三维点，并获取所述轨迹长度大于第二预设阈值的物体三维点的局部特征描述。4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述方法还包括：通过主体检测网络，对所述待处理图像进行物体检测，得到物体的二维包围框，其中，所述主体检测网络的输入值是包括前景和背景的目标图像，输出值是所述目标图像中物体的二维包围框；将所述二维包围框的全局特征描述，与所述定位资源中的全局特征描述匹配，得到至少一个候选图像帧。5.根据权利要求4所述的方法，其特征在于，将所述二维包围框的全局特征描述，与所述定位资源中的全局特征描述匹配，得到至少一个候选图像帧包括：遍历所述定位资源中的所有全局特征描述，分别计算所述二维包围框的全局特征描述与所述定位资源中的各个全局特征描述之间的相似度；获...

【专利技术属性】
技术研发人员：陈志国，丛林，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：