一种物体位姿测量方法及电子设备技术

本发明专利技术提供了一种物体位姿测量方法及电子设备，涉及位姿测量技术领域，方法包括获取物体位姿图像；将物体位姿图像输入到目标局部图像提取模块，得到待测目标区域；根据待测目标区域裁剪物体位姿图像，得到目标局部图像；将目标局部图像输入到法矢量特征预测模块，得到多种法矢量特征；将目标局部图像的坐标数据和多种位姿图像特征均输入到位姿回归模型中，得到物体的异中心化姿态和尺度不相关位置；本发明专利技术通过构建目标局部图像提取模块、法矢量特征预测模块和位姿回归模型，提取物体位姿单幅图像的法矢量特征求解位姿，能够提高位姿的确定精度。定精度。定精度。

【技术实现步骤摘要】
一种物体位姿测量方法及电子设备


[0001]本专利技术涉及位姿测量
，特别是涉及一种物体位姿测量方法及电子设备。

技术介绍

[0002]近年来，基于神经网络的物体位姿单幅图像视觉测量方法由于特征提取精度高、鲁棒性强的优势取得了较大成功。其利用神经网络从大量标注数据中学习并提取位姿特征，进而求解目标物体位姿参数。其中位姿特征的设计是关键，该特征需要准确地表征物体位姿信息，具有高辨识度、易于提取，以及方便高精度快速位姿参数解算的特点。现有的方法中，使用稠密2D(二维)
‑
3D(三维)点匹配特征的相关方法精度最高。然而，利用2D
‑
3D点匹配特征求解位姿参数时难以避免姿态、位置求解耦合问题，产生的位置误差会降低姿态精度。物体位姿单幅图像视觉测量的另一个关键是位姿参数求解需要做到精度高、速度快，具有一定抗特征提取误差影响的能力。现有的方法中，使用神经网络直接从位姿特征中回归位姿参数，并与位姿特征提取网络一并进行端到端训练的方法，使用稠密2D
‑
3D点匹配特征求解位姿参数的过程不可微分，导致回归神经网络学习困难，姿态求解精度进一步降低。于是我们设计了由静态和异中心化动态法矢量表示的位姿特征将姿态和位置彻底解耦，利用两个卷积神经网络分支分别回归姿态和位置参数，借助法矢量特征求解位姿可微的特性，显著提升姿态精度。

技术实现思路

[0003]本专利技术的目的是提供一种物体位姿测量方法及电子设备，通过提取物体位姿单幅图像的法矢量特征求解位姿，提高了位姿的确定精度。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种物体位姿测量方法，包括：
[0006]获取物体位姿图像；
[0007]将所述物体位姿图像输入到目标局部图像提取模块，得到待测目标区域；所述目标局部图像提取模块是利用物体位姿标注历史图像，对YOLOV3神经网络进行训练得到的；
[0008]根据所述待测目标区域裁剪所述物体位姿图像，得到目标局部图像；
[0009]将所述目标局部图像输入到法矢量特征预测模块，得到多种法矢量特征；所述法矢量特征包括：静态法矢量场、异中心化动态法矢量场、区域注意力特征和分割掩码；所述法矢量特征预测模块包括训练后的轻量级ResNet
‑
34骨干网络和训练后的第一卷积神经网络；所述训练后的轻量级ResNet
‑
34骨干网络和训练后的第一卷积神经网络是通过目标局部历史图像，以及目标局部历史图像对应的多种法矢量特征进行训练得到的；
[0010]将目标局部图像的坐标数据和多种所述位姿图像特征均输入到位姿回归模型中，得到物体的异中心化姿态和尺度不相关位置；所述位姿回归模型是根据目标局部历史图像的坐标数据和多种所述位姿图像特征，对第二卷积神经网络进行训练得到的。
[0011]可选的，在所述获取物体位姿图像之前，还包括：
[0012]获取多张物体位姿历史图像；
[0013]分别对每张物体位姿历史图像中的目标区域均进行标注，得到多张物体位姿标注历史图像；
[0014]以多张物体位姿历史图像为输入，以多张物体位姿标注历史图像上的历史目标区域为输出，对YOLOV3神经网络进行训练，得到所述目标局部图像提取模块。
[0015]可选的，所述根据所述待测目标区域裁剪所述物体位姿图像，得到目标局部图像，包括：
[0016]以所述待测目标区域的中心为中心，以待测目标区域对应矩形框长度的预设倍数为长，以待测目标区域对应矩形框高度的预设倍数为高，在所述物体位姿图像上截取矩形区域为目标局部初始图像；
[0017]根据目标局部图像标准尺寸和目标局部初始图像的实际尺寸，确定缩放因子；
[0018]根据所述缩放因子对所述目标局部初始图像进行缩放处理，得到目标局部图像。
[0019]可选的，所述将所述目标局部图像输入到法矢量特征预测模块，得到多种法矢量特征，包括：
[0020]将所述目标局部图像输入到训练后的轻量级ResNet
‑
34骨干网络，得到深度语义特征；
[0021]将所述深度语义特征输入到训练后的第一卷积神经网络中，得到多种法矢量特征。
[0022]可选的，所述位姿回归模型包括姿态回归神经网络和位置回归神经网络；所述姿态回归神经网络是根据目标局部历史图像的多种所述位姿图像特征，对第三卷积神经网络进行训练得到的；所述位置回归神经网络是根据目标局部历史图像的坐标数据和多种所述位姿图像特征，对第四卷积神经网络进行训练得到的；所述第二卷积神经网络包括所述第三卷积神经网络和所述第四卷积神经网络。
[0023]可选的，所述将目标局部图像的坐标数据和多种所述位姿图像特征均输入到位姿回归模型中，得到物体的异中心化姿态和尺度不相关位置，包括：
[0024]将目标局部图像的多种所述位姿图像特征均输入到姿态回归神经网络，得到物体的异中心化姿态；
[0025]将目标局部图像的坐标数据和多种所述位姿图像特征均输入到位置回归神经网络，得到物体的尺度不相关位置。
[0026]可选的，在所述获取物体位姿图像之前，还包括：
[0027]根据所述历史目标区域裁剪所述物体位姿历史图像，得到多张目标局部历史图像，并确定每张目标局部历史图像的缩放因子；
[0028]确定每个目标局部历史图像对应物体的历史异中心化姿态和历史尺度不相关位置；
[0029]确定迭代次数m＝1；
[0030]以训练前的轻量级ResNet
‑
34骨干网络为第0次迭代时的轻量级ResNet
‑
34骨干网络；
[0031]以训练前的第一卷积神经网络为第0次迭代时的第一卷积神经网络；
[0032]以训练前的第三卷积神经网络为第0次迭代时的第三卷积神经网络；
[0033]以训练前的第四卷积神经网络为第0次迭代时的第四卷积神经网络；
[0034]将多张所述目标局部历史图像输入到m
‑
1次迭代时的轻量级ResNet
‑
34骨干网络，得到m次迭代时的深度语义特征和m次迭代时的轻量级ResNet
‑
34骨干网络；
[0035]将m次迭代时深度语义特征输入到m
‑
1次迭代时第一卷积神经网络中，得到m次迭代时多种初始历史法矢量特征和m次迭代时的第一卷积神经网络；
[0036]以目标局部历史图像对应的多种初始历史法矢量特征为输入，以历史异中心化姿态为输出，对m
‑
1次迭代时的第三卷积神经网络进行训练，得到m次迭代时的第三卷积神经网络；
[0037]以目标局部历史图像对应的坐标数据和多种初始历史法矢量特征为输入，以历史尺度不相关位置为输出，对第四卷积神经网络进行训练，得到m次迭代时的第四卷积神经网络；所述目标局部历史图像对应的坐标数据包括目标局部历史图像的缩放因子；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体位姿测量方法，其特征在于，包括：获取物体位姿图像；将所述物体位姿图像输入到目标局部图像提取模块，得到待测目标区域；所述目标局部图像提取模块是利用物体位姿标注历史图像，对YOLOV3神经网络进行训练得到的；根据所述待测目标区域裁剪所述物体位姿图像，得到目标局部图像；将所述目标局部图像输入到法矢量特征预测模块，得到多种法矢量特征；所述法矢量特征包括：静态法矢量场、异中心化动态法矢量场、区域注意力特征和分割掩码；所述法矢量特征预测模块包括训练后的轻量级ResNet
‑
34骨干网络和训练后的第一卷积神经网络；所述训练后的轻量级ResNet
‑
34骨干网络和训练后的第一卷积神经网络是通过目标局部历史图像，以及目标局部历史图像对应的多种法矢量特征进行训练得到的；将目标局部图像的坐标数据和多种所述位姿图像特征均输入到位姿回归模型中，得到物体的异中心化姿态和尺度不相关位置；所述位姿回归模型是根据目标局部历史图像的坐标数据和多种所述位姿图像特征，对第二卷积神经网络进行训练得到的。2.根据权利要求1所述的一种物体位姿测量方法，其特征在于，在所述获取物体位姿图像之前，还包括：获取多张物体位姿历史图像；分别对每张物体位姿历史图像中的目标区域均进行标注，得到多张物体位姿标注历史图像；以多张物体位姿历史图像为输入，以多张物体位姿标注历史图像上的历史目标区域为输出，对YOLOV3神经网络进行训练，得到所述目标局部图像提取模块。3.根据权利要求1所述的一种物体位姿测量方法，其特征在于，所述根据所述待测目标区域裁剪所述物体位姿图像，得到目标局部图像，包括：以所述待测目标区域的中心为中心，以待测目标区域对应矩形框长度的预设倍数为长，以待测目标区域对应矩形框高度的预设倍数为高，在所述物体位姿图像上截取矩形区域为目标局部初始图像；根据目标局部图像标准尺寸和目标局部初始图像的实际尺寸，确定缩放因子；根据所述缩放因子对所述目标局部初始图像进行缩放处理，得到目标局部图像。4.根据权利要求2所述的一种物体位姿测量方法，其特征在于，所述将所述目标局部图像输入到法矢量特征预测模块，得到多种法矢量特征，包括：将所述目标局部图像输入到训练后的轻量级ResNet
‑
34骨干网络，得到深度语义特征；将所述深度语义特征输入到训练后的第一卷积神经网络中，得到多种法矢量特征。5.根据权利要求1所述的一种物体位姿测量方法，其特征在于，所述位姿回归模型包括姿态回归神经网络和位置回归神经网络；所述姿态回归神经网络是根据目标局部历史图像的多种所述位姿图像特征，对第三卷积神经网络进行训练得到的；所述位置回归神经网络是根据目标局部历史图像的坐标数据和多种所述位姿图像特征，对第四卷积神经网络进行训练得到的；所述第二卷积神经网络包括所述第三卷积神经网络和所述第四卷积神经网络。6.根据权利要求5所述的一种物体位姿测量方法，其特征在于，所述将目标局部图像的坐标数据和多种所述位姿图像特征均输入到位姿回归模型中，得到物体的异中心化姿态和
尺度不相关位置，包括：将目标局部图像的多种所述位姿图像特征均输入到姿态回归神经网络，得到物体的异中心化姿态；将目标局部图像的坐标数据和多种所述位姿图像特征均输入到位置回归神经网络，得到物体的尺度不相关位置。7.根据权利要求2所述的一种物体位姿测量方法，其特征在于，在所述获取物体位姿图像之前，还包括：根据所述历史目标区域裁剪所述物体位姿历史图像，得到多张目标局部历史图像，并确定每张目标局部历史图像的缩放因子；确定每个目标局部历史图像对应物体的历史异中心化姿态和历史尺度不相关位置；确定迭代次数m＝1；以训练前的轻量级ResNet
‑
34骨干网络为第0次迭代时的轻量级ResNet...

【专利技术属性】
技术研发人员：魏振忠，冯广堃，刘明坤，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：