物体姿态估计方法、装置与设备制造方法及图纸

本发明专利技术提供一种物体姿态估计方法、装置与设备，涉及计算机视觉技术领域，用于提高物体姿态估计的鲁棒性。其中该方法包括：采用预先训练的多层次特征提取网络模型对目标物体的目标图像进行预测，得到目标物体的关键点坐标信息；然后根据目标物体的关键点坐标信息和目标物体的关键点的空间位置关系，确定相机相对于物体的坐标转换关系，其中，多层次特征提取网络模型用于对三维物体的二维图像采用多层特征提取网络进行特征提取后，对各层特征提取网络的输出特征图进行特征融合得到目标特征图，然后对目标特征图进行姿态回归预测，得到三维物体的关键点在二维图像上的投影坐标。

【技术实现步骤摘要】
物体姿态估计方法、装置与设备
本专利技术涉及计算机视觉
，尤其涉及一种物体姿态估计方法、装置与设备。
技术介绍
随着信息技术与人工智能的发展，社会对自动化和智能化等要求日益强烈，虚拟现实、自动驾驶和机器人等技术也越来越被重视。其中，基于单目视觉的物体姿态估计技术可以解决摄像机相对于物体的姿态信息，依据该姿态信息可以构建出物体周围的空间形状，因此在虚拟现实、自动驾驶和机器人等技术中扮演着重要地位。目前基于单目视觉的物体姿态估计方法主要分为两类：第一类是针对弱纹理物体的姿态估计方法，第二类是针对点云数据的物体姿态估计方法。其中，第一类方法的主要思路是首先通过卷积神经网络提取物体的关键点信息，然后对关键点信息构建物体三维姿态框，通过姿态框中的关键点集合坐标和物体模型中已知物体的姿态点坐标进行EPNP算法解算，解算出物体相对于相机的旋转矩阵R和偏移矩阵t，由R和t构成的转换矩阵就是物体姿态信息。第二类方法的主要流程是通过设计的点云卷积等一系列的深度学习算法对点云数据进行特征抽取，获得物体特征信息；然后对不同区域的特征打上不同的标签；再利用上述具有标签的物体特征信息对网络模型进行训练，采用训练获得的网络模型对点云数据进行坐标轴预测；最后通过获得的预测点和原物体模型进行对比分析，得到目标物体相对于摄像机的姿态信息。然而，目前的物体姿态估计方法都只考虑了如何融合多种信息，这些方法对于有远近变化的单目相机来说，估计物体姿态信息较为困难，因而鲁棒性较低。
技术实现思路
有鉴于此，本专利技术提供一种物体姿态估计方法、装置与设备，用于提高物体姿态估计的鲁棒性。为了实现上述目的，第一方面，本专利技术实施例提供一种物体姿态估计方法，包括：采用预先训练的多层次特征提取网络模型对目标物体的目标图像进行预测，得到所述目标物体的关键点坐标信息；其中，所述多层次特征提取网络模型用于对三维物体的二维图像采用多层特征提取网络进行特征提取后，对各层特征提取网络的输出特征图进行特征融合得到目标特征图，然后对所述目标特征图进行姿态回归预测，得到所述三维物体的关键点在所述二维图像上的投影坐标；所述目标物体的关键点坐标信息包括所述目标物体的关键点在所述目标图像上的投影坐标；根据所述目标物体的关键点坐标信息和所述目标物体的关键点的空间位置关系，确定相机相对于物体的坐标转换关系。作为本专利技术实施例一种可选的实施方式，在所述采用预先训练的多层次特征提取网络模型对目标物体的二维图像进行预测之前，所述方法还包括：对获取的多个样本物体的各样本图像进行图像预处理和数据增强处理，得到目标样本图像集，所述目标样本图像集中包括多个所述样本物体的多个目标样本图像；根据所述目标样本图像集和获取的样本图像对应的标签数据，生成样本集，所述样本集中的样本包括样本物体的目标样本图像和所述样本物体的多个关键点在所述样本物体的目标样本图像上的投影坐标；采用所述样本集训练初始多层次特征提取网络模型，得到所述多层次特征提取网络模型。作为本专利技术实施例一种可选的实施方式，所述对获取的多个样本物体的各样本图像进行图像预处理和数据增强处理，得到目标样本图像集，包括：对于每个样本物体的每个样本图像，根据所述样本物体的所述样本图像和所述样本物体的掩码图像提取出所述样本物体在所述样本图像中对应的目标图像区域；将所述目标图像区域与目标背景图像进行融合，生成所述样本物体的预处理图像；对各所述样本物体的预处理图像进行数据增强处理，生成各所述样本物体的目标样本图像。作为本专利技术实施例一种可选的实施方式，训练所述多层次特征提取网络模型采用的损失函数是根据所述各层特征提取网络的特征损失和特征融合损失确定的。作为本专利技术实施例一种可选的实施方式，所述多层次特征提取网络模型的损失函数的计算公式如下：其中，Loss表示多层次特征提取网络模型的损失函数，n表示特征提取网络的层数，Fi表示第i层特征提取网络的输出特征图，Fo表示目标特征图，L表示特征图的损失函数，L的计算公式如下：其中，L(F)表示特征图F的损失函数，(x′Fj,y′Fj)表示特征图F的姿态回归预测结果中第j个关键点在输入的二维图像上的投影坐标，(xj,yj)表示第j个关键点在输入的二维图像上的投影坐标真值，m表示关键点数量。作为本专利技术实施例一种可选的实施方式，所述多层次特征提取网络模型采用如下公式对各层特征提取网络的输出特征图进行特征融合得到目标特征图：其中，Fo表示目标特征图，αi表示第i层特征提取网络的输出特征图的注意力系数，n表示特征提取网络的层数，Fi表示第i层特征提取网络的输出特征图，Φ(Fi)表示第i层特征提取网络的输出特征图的处理函数，Φ(Fi)的计算公式如下：其中，C表示滤波器的数量，Wc表示第c个滤波器，Fic表示第i层特征提取网络的第c个通道的输出特征图。作为本专利技术实施例一种可选的实施方式，所述三维物体的关键点包括：所述三维物体对应的三维边界框的顶点和中心点；所述多层次特征提取网络模型采用如下公式对目标特征图进行姿态回归预测：P＝Fo*w1x1+c(x,y)其中，P表示姿态回归预测结果，Fo表示目标特征图，w1x1表示1×1的卷积核，c(x,y)表示三维物体的中心点对应的投影点坐标。第二方面，本专利技术实施例提供一种物体姿态估计装置，包括：预测模块，用于采用预先训练的多层次特征提取网络模型对目标物体的目标图像进行预测，得到所述目标物体的关键点坐标信息；其中，所述多层次特征提取网络模型用于对三维物体的二维图像采用多层特征提取网络进行特征提取后，对各层特征提取网络的输出特征图进行特征融合得到目标特征图，然后对所述目标特征图进行姿态回归预测，得到所述三维物体的关键点在所述二维图像上的投影坐标；所述目标物体的关键点坐标信息包括所述目标物体的关键点在所述目标图像上的投影坐标；确定模块，用于根据所述目标物体的关键点坐标信息和所述目标物体的关键点的空间位置关系，确定相机相对于物体的坐标转换关系。作为本专利技术实施例一种可选的实施方式，所述装置还包括：预处理模块，用于在所述预测模块采用预先训练的多层次特征提取网络模型对目标物体的二维图像进行预测之前，对获取的多个样本物体的各样本图像进行图像预处理和数据增强处理，得到目标样本图像集，所述目标样本图像集中包括多个所述样本物体的多个目标样本图像；生成模块，用于根据所述目标样本图像集和获取的样本图像对应的标签数据，生成样本集，所述样本集中的样本包括样本物体的目标样本图像和所述样本物体的多个关键点在所述样本物体的目标样本图像上的投影坐标；训练模块，用于采用所述样本集训练初始多层次特征提取网络模型，得到所述多层次特征提取网络模型。作为本专利技术实施例一种可选的实施方式，所述预处理模块具体用于：对于每个样本物体的每个样本图像，根据所述样本物体的所述样本图像和所述样本物体的掩码图本文档来自技高网...

【技术保护点】
1.一种物体姿态估计方法，其特征在于，包括：/n采用预先训练的多层次特征提取网络模型对目标物体的目标图像进行预测，得到所述目标物体的关键点坐标信息；其中，所述多层次特征提取网络模型用于对三维物体的二维图像采用多层特征提取网络进行特征提取后，对各层特征提取网络的输出特征图进行特征融合得到目标特征图，然后对所述目标特征图进行姿态回归预测，得到所述三维物体的关键点在所述二维图像上的投影坐标；所述目标物体的关键点坐标信息包括所述目标物体的关键点在所述目标图像上的投影坐标；/n根据所述目标物体的关键点坐标信息和所述目标物体的关键点的空间位置关系，确定相机相对于物体的坐标转换关系。/n

【技术特征摘要】
1.一种物体姿态估计方法，其特征在于，包括：
采用预先训练的多层次特征提取网络模型对目标物体的目标图像进行预测，得到所述目标物体的关键点坐标信息；其中，所述多层次特征提取网络模型用于对三维物体的二维图像采用多层特征提取网络进行特征提取后，对各层特征提取网络的输出特征图进行特征融合得到目标特征图，然后对所述目标特征图进行姿态回归预测，得到所述三维物体的关键点在所述二维图像上的投影坐标；所述目标物体的关键点坐标信息包括所述目标物体的关键点在所述目标图像上的投影坐标；
根据所述目标物体的关键点坐标信息和所述目标物体的关键点的空间位置关系，确定相机相对于物体的坐标转换关系。


2.根据权利要求1所述的方法，其特征在于，在所述采用预先训练的多层次特征提取网络模型对目标物体的二维图像进行预测之前，所述方法还包括：
对获取的多个样本物体的各样本图像进行图像预处理和数据增强处理，得到目标样本图像集，所述目标样本图像集中包括多个所述样本物体的多个目标样本图像；
根据所述目标样本图像集和获取的样本图像对应的标签数据，生成样本集，所述样本集中的样本包括样本物体的目标样本图像和所述样本物体的多个关键点在所述样本物体的目标样本图像上的投影坐标；
采用所述样本集训练初始多层次特征提取网络模型，得到所述多层次特征提取网络模型。


3.根据权利要求2所述的方法，其特征在于，所述对获取的多个样本物体的各样本图像进行图像预处理和数据增强处理，得到目标样本图像集，包括：
对于每个样本物体的每个样本图像，根据所述样本物体的所述样本图像和所述样本物体的掩码图像提取出所述样本物体在所述样本图像中对应的目标图像区域；
将所述目标图像区域与目标背景图像进行融合，生成所述样本物体的预处理图像；
对各所述样本物体的预处理图像进行数据增强处理，生成各所述样本物体的目标样本图像。


4.根据权利要求1所述的方法，其特征在于，训练所述多层次特征提取网络模型采用的损失函数是根据所述各层特征提取网络的特征损失和特征融合损失确定的。


5.根据权利要求4所述的方法，其特征在于，所述多层次特征提取网络模型的损失函数的计算公式如下：



其中，Loss表示多层次特征提取网络模型的损失函数，n表示特征提取网络的层数，Fi表示第i层特征提取网络的输出特征图，Fo表示目标特征图，L表示特征图的损失函数，L的计算公式如下：

...

【专利技术属性】
技术研发人员：张能波，王磊，程俊，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44