融合平面与立体信息的目标姿态估计方法、系统和介质技术方案

本发明专利技术属于图像识别技术领域，涉及一种融合平面与立体信息的目标姿态估计方法、系统和介质，包括：获取目标场景下的平面灰度图像、深度图和CAD模型；对平面灰度图像中目标进行分割，并将结果对应至深度图上；将深度图映射到三维立体点云中，在三维立体点云中对目标进行定位；将三维立体点云中的定位结果映射到目标对应的CAD模型中，从而对目标的姿态进行估计。其能够将平面信息和立体信息融合，从多角度对目标姿态进行估计。目标姿态进行估计。目标姿态进行估计。

【技术实现步骤摘要】
融合平面与立体信息的目标姿态估计方法、系统和介质


[0001]本专利技术涉及一种融合平面与立体信息的目标姿态估计方法、系统和介质，属于图像识别
，特别涉及视频图像中目标姿态识别


技术介绍

[0002]由于二维平面图像采集设备的普及，平面图像的获取越来越便捷。平面图像能够通过色彩梯度的变化快捷计算物体的边缘信息，因而有助于实现目标与应用场景的分离。同时，随着三维传感器的使用范围越来越广泛，利用三维立体点云解决目标场景中的相关问题也变得越来越普遍。作为工业界产品设计与制造的重要信息载体，专业精巧的立体CAD模型也为目标的分类、抓取、姿态估计等任务提供了便利。
[0003]现有方法大多基于单一的二维或三维传感器。在处理姿态估计这样复杂的任务时，仅通过二维传感器获取平面图像信息的方法虽然具有较快的处理速度，却也有其局限性。具体而言，二维图像描述子往往忽略了目标物体的结构信息。因此，仅使用平面图像的目标匹配算法往往需要准备目标物体多个角度的多个模板，前期准备工作量较大且精度不佳。与之对应的，单独使用三维传感器得到的立体点云数据作为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合平面与立体信息的目标姿态估计方法，其特征在于，包括：获取目标场景下的平面灰度图像、深度图和CAD模型；对所述平面灰度图像进行分割，并将结果对应至深度图上；将所述深度图映射到所述三维立体点云中，在三维立体点云中对目标进行定位；根据所述目标物体的边界区域确定目标对应的CAD模型，将三维立体点云中的定位结果映射到所述目标对应的CAD模型中，从而对目标的姿态进行估计。2.如权利要求1所述的融合平面与立体信息的目标姿态估计方法，其特征在于，将经过预处理的平面灰度图像输入卷积神经网络模型中进行特征提取，获得所述目标的边界，从而对所述目标进行分割。3.如权利要求2所述的融合平面与立体信息的目标姿态估计方法，其特征在于，所述预处理的方法为：将单通道平面灰度图像处理为三通道图像，对获得的所述三通道图像进行标注，将所述标注与对应的三通道图像一同组成数据集，并将所述数据集分为训练集、验证集和测试集。4.如权利要求2所述的融合平面与立体信息的目标姿态估计方法，其特征在于，使用卷积神经网络模型对所述经过预处理的平面灰度图像进行特征提取；通过区域生成网络生成所述平面灰度图像中的目标物体的边界区域，从而确定目标物体的位置，将所述边界区域与提取的特征对应，建立所述边界区域与所述特征的映射关系，并在目标物体的边界区域内生成固定尺寸的特征映射。5.如权利要求4所述的融合平面与立体信息的目标姿态估计方法，其特征在于，在三维立体点云中对目标进行定位的方法是：根据采集器到目标场景的距离，获得目标深度图，将所述深度图根据采集器参数及转换公式，转换为三维立体点云。6.如权利要求2所述的融合平面与立体信息的目标姿态估计方法...

【专利技术属性】
技术研发人员：何军，孙琪，蒋思为，何钰霖，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：