类别级位姿优化方法及装置制造方法及图纸

本申请公开了一种类别级位姿优化方法及装置，其中，方法包括：基于类别级物体位姿的初始姿态获取类别级物体位姿的变换形状先验和观测点云；根据变换形状先验和观测点云提取类别级物体位姿的形状先验和观测点云；将形状先验和观测点云输入至预先训练的姿态预测模型，得到初始位姿和准确位姿之间的位姿残差，并利用位姿残差得到类别级物体位姿的位姿优化结果。由此，解决了相关技术中，在进行类别级位姿估计时，无法获得必须的CAD模型，导致类别级位姿优化问题求解困难的技术问题。姿优化问题求解困难的技术问题。姿优化问题求解困难的技术问题。

【技术实现步骤摘要】
类别级位姿优化方法及装置


[0001]本申请涉及计算机视觉
，特别涉及一种类别级位姿优化方法及装置。

技术介绍

[0002]物体位姿态估计在“机器人作业”、“自动驾驶”、“增强现实”等领域中起着至关重要的作用，物体位姿态估计指的是从图片中准确估计出目标物体相对相机的姿态信息，通常包括：
[0003]1)旋转(三个自由度)，即相机坐标系相对于目标物体坐标系的旋转关系；
[0004]2)平移(三个自由度)，即相机坐标系原点相对于目标物体坐标系原点的平移信息。
[0005]实例级位姿估计方法依赖于物体的CAD模型，只能估计少量已知物体的位姿，为了缓解该问题，类别级位姿估计提出了在部分实例上训练模型，从而实现在类别内的其他实例上估计位姿，并且在测试时摆脱了对CAD模型的依赖。此外，由于CAD模型未知，类别级物体位姿态估计中还需估计物体的三自由度尺寸，因此也被称之为九自由度位姿估计问题。
[0006]相关技术中的类别级物体位姿态估计方法，可以分为直接法和间接法两类：
[0007]直接法训练姿态预测模型直接从图片中预测物体位姿态信息，这种方法能够快速估计物体位姿态，但是准确率较低。
[0008]间接法通过建立观测深度图和归一化物体坐标间的对应关系，再解最小二乘问题，进而通过Umeyama算法求解出物体位姿态。
[0009]然而，相关技术中需要使用CAD模型，由于CAD模型在类别级位姿估计中无法获得，使得类别级位姿优化问题求解困难，有待改善。

技术实现思路
/>[0010]本申请提供一种类别级位姿优化方法及装置，以解决相关技术中，在进行类别级位姿估计时，无法获得必须的CAD模型，导致类别级位姿优化问题求解困难的技术问题。
[0011]本申请第一方面实施例提供一种类别级位姿优化方法，包括以下步骤：基于类别级物体位姿的初始姿态获取所述类别级物体位姿的变换形状先验和观测点云；根据所述变换形状先验和观测点云提取所述类别级物体位姿的形状先验和观测点云；以及将所述形状先验和观测点云输入至预先训练的姿态预测模型，得到所述初始位姿和准确位姿之间的位姿残差，并利用所述位姿残差得到所述类别级物体位姿的位姿优化结果。
[0012]可选地，在本申请的一个实施例中，在提取所述类别级物体位姿的形状先验和观测点云之后，还包括：将物体坐标系下的所述形状先验和相机坐标系下的所述观测点云变换至预设标准坐标系下，得到所述预设标准坐标系下的形状先验和观测点云。
[0013]可选地，在本申请的一个实施例中，所述将所述形状先验和观测点云输入至预先训练的姿态预测模型，得到所述初始位姿和准确位姿之间的位姿残差，包括：利用几何信息编码器从所述预设标准坐标系下的形状先验和观测点云中提取至少一个物体特征；根据所
述至少一个物体特征预测所述类别级物体位姿的物体旋转量及物体平移和尺寸；基于所述物体旋转量及物体平移和尺寸得到所述位姿残差。
[0014]可选地，在本申请的一个实施例中，所述将所述形状先验和观测点云输入至预先训练的姿态预测模型，得到所述初始位姿和准确位姿之间的位姿残差，还包括：基于角度的损失函数优化所述位姿残差的旋转残差预测，并利用1范数函数优化所述位姿残差的平移和尺寸残差；和/或，基于形状先验的点匹配损失函数优化所述位姿残差的旋转残差、平移和尺寸残差。
[0015]可选地，在本申请的一个实施例中，所述预先训练的姿态预测模型由标准位姿上添加随机扰动训练得到。
[0016]本申请第二方面实施例提供一种类别级位姿优化装置，包括：获取模块，用于基于类别级物体位姿的初始姿态获取所述类别级物体位姿的变换形状先验和观测点云；提取模块，用于根据所述变换形状先验和观测点云提取所述类别级物体位姿的形状先验和观测点云；以及优化模块，用于将所述形状先验和观测点云输入至预先训练的姿态预测模型，得到所述初始位姿和准确位姿之间的位姿残差，并利用所述位姿残差得到所述类别级物体位姿的位姿优化结果。
[0017]可选地，在本申请的一个实施例中，还包括：转换模块，用于将物体坐标系下的所述形状先验和相机坐标系下的所述观测点云变换至预设标准坐标系下，得到所述预设标准坐标系下的形状先验和观测点云。
[0018]可选地，在本申请的一个实施例中，所述优化模块包括：提取单元，用于利用几何信息编码器从所述预设标准坐标系下的形状先验和观测点云中提取至少一个物体特征；预测单元，用于根据所述至少一个物体特征预测所述类别级物体位姿的物体旋转量及物体平移和尺寸；计算单元，用于基于所述物体旋转量及物体平移和尺寸得到所述位姿残差。
[0019]可选地，在本申请的一个实施例中，所述优化模块还包括：第一优化单元，用于基于角度的损失函数优化所述位姿残差的旋转残差预测，并利用1范数函数优化所述位姿残差的平移和尺寸残差；和/或，第二优化单元，用于基于形状先验的点匹配损失函数优化所述位姿残差的旋转残差、平移和尺寸残差。
[0020]可选地，在本申请的一个实施例中，所述预先训练的姿态预测模型由标准位姿上添加随机扰动训练得到。
[0021]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的类别级位姿优化方法。
[0022]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如权利要求1
‑
5任一项所述的类别级位姿优化方法。
[0023]本申请实施例可以利用类别级物体位姿的形状先验和观测点云，通过姿态预测模型，获得初始位姿和准确位姿之间的位姿残差，进而获得类别级物体位姿的位姿优化结果，利用类别级形状先验信息而非具体的CAD模型，填补了普适性类别级位姿估计领域中优化算法的空白，能大幅度提高类别级位姿估计优化的准确率。由此，解决了相关技术中，在进行类别级位姿估计时，无法获得必须的CAD模型，导致类别级位姿优化问题求解困难的技术问题。
[0024]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0025]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0026]图1为根据本申请实施例提供的一种类别级位姿优化方法的流程图；
[0027]图2为根据本申请一个实施例的类别级位姿优化方法的观测点云和形状先验区域聚焦的原理示意图；
[0028]图3为根据本申请一个实施例的类别级位姿优化方法的流程图；
[0029]图4为根据本申请一个实施例的类别级位姿优化方法的框架示意图；
[0030]图5为根据本申请实施例提供的一种类别级位姿优化装置的结构示意图；
[0031]图6为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0032]下面详细本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种类别级位姿优化方法，其特征在于，包括以下步骤：基于类别级物体位姿的初始姿态获取所述类别级物体位姿的变换形状先验和观测点云；根据所述变换形状先验和观测点云提取所述类别级物体位姿的形状先验和观测点云；以及将所述形状先验和观测点云输入至预先训练的姿态预测模型，得到所述初始位姿和准确位姿之间的位姿残差，并利用所述位姿残差得到所述类别级物体位姿的位姿优化结果。2.根据权利要求1所述的方法，其特征在于，在提取所述类别级物体位姿的形状先验和观测点云之后，还包括：将物体坐标系下的所述形状先验和相机坐标系下的所述观测点云变换至预设标准坐标系下，得到所述预设标准坐标系下的形状先验和观测点云。3.根据权利要求2所述的方法，其特征在于，所述将所述形状先验和观测点云输入至预先训练的姿态预测模型，得到所述初始位姿和准确位姿之间的位姿残差，包括：利用几何信息编码器从所述预设标准坐标系下的形状先验和观测点云中提取至少一个物体特征；根据所述至少一个物体特征预测所述类别级物体位姿的物体旋转量及物体平移和尺寸；基于所述物体旋转量及物体平移和尺寸得到所述位姿残差。4.根据权利要求3所述的方法，其特征在于，所述将所述形状先验和观测点云输入至预先训练的姿态预测模型，得到所述初始位姿和准确位姿之间的位姿残差，还包括：基于角度的损失函数优化所述位姿残差的旋转残差预测，并利用1范数函数优化所述位姿残差的平移和尺寸残差；和/或，基于形状先验的点匹配损失函数优化所述位姿残差的旋转残差、平移和尺寸残差。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，其中，所...

【专利技术属性】
技术研发人员：季向阳，刘星雨，
申请(专利权)人：清华大学，
类型：发明
国别省市：