用于细化目标对象的六个自由度的位姿估计的系统和方法技术方案

本公开涉及用于细化目标对象的六个自由度的位姿估计的系统和方法。该系统包括相机和范围感测装置。范围感测装置被配置为确定在范围感测装置与实际相交点之间测量的实际距离。范围感测装置投射在实际相交点处与目标对象相交的视线。该系统还包括与相机和范围感测装置进行电子通信的一个或多个处理器以及耦接至处理器的存储器。存储器将数据存储到一个或多个数据库以及程序代码中，当由处理器执行时，该程序代码使系统预测目标对象的六个自由度的位姿估计。该系统还至少基于绝对误差来确定目标对象的修正的六个自由度的位姿估计。定目标对象的修正的六个自由度的位姿估计。定目标对象的修正的六个自由度的位姿估计。

【技术实现步骤摘要】
用于细化目标对象的六个自由度的位姿估计的系统和方法


[0001]本公开涉及细化目标对象的六个自由度的位姿估计的系统和方法。更具体地，本公开涉及基于单个一维测量细化目标对象的六个自由度的位姿估计的系统和方法。

技术介绍

[0002]六个自由度(6DOF)是指刚体在三维空间中的移动自由度。具体地，刚体可以在x、y和z轴的三个维度上移动，以及通过旋转在三个轴之间改变方位，这被称为俯仰、横滚以及偏航。
[0003]基于图像的位姿估计系统可以估计对象的六个自由度的位姿。此外，许多基于图像的位姿估计系统还利用某些类型的细化过程来修正初始的六个自由度的位姿估计。某些类型的位姿估计细化过程利用三维深度图或可选地多个二维距离测量，其中，激光测距仪用于进行二维距离测量。然而，三维深度图和二维距离测量两者通常需要明显的处理和存储器分配需求。此外，二维距离测量方案中所使用的激光测距仪可能需要精确制造的移动部件来保持二维距离测量一致，这进而增加系统的成本。此外，某些类型的位姿估计细化方案可能需要专业的校准图案或对应标记使激光测距仪的扫描线与作为模型的一部分的对应特征配准。

技术实现思路

[0004]根据若干方面，公开了用于基于一维测量细化目标对象的六个自由度的位姿估计的系统。该系统包括被配置为捕获目标对象的图像数据的相机以及被配置为确定在范围感测装置与实际相交点之间测量的实际距离的范围感测装置。范围感测装置投射在实际相交点处与目标对象相交的视线。该系统还包括与相机和范围感测装置进行电子通信的一个或多个处理器以及耦接至一个或多个处理器的存储器。存储器将数据存储到一个或多个数据库以及程序代码中，当由一个或多个处理器执行时，该程序代码使系统基于目标对象的图像数据预测目标对象的六个自由度的位姿估计。该系统确定表示视线与目标对象的六个自由度的位姿估计相交的位置的估计相交点。该系统还确定在范围感测装置与估计相交点之间测量的估计距离。该系统基于实际距离与估计距离之间的差计算与目标对象的六个自由度的位姿估计相关联的绝对误差。然后，该系统至少基于绝对误差确定目标对象的修正的六个自由度的位姿估计。
[0005]另一方面，公开了用于供油机的空中加油系统。该空中加油系统包括包含喷嘴的悬臂组件和用于确定位于受油机上的加油接头的修正的六个自由度的位姿估计的系统。悬臂组件的喷嘴被配置为在加油操作期间与受油机的加油接头接合。该系统包括被配置为捕获受油机和加油接头的图像数据的相机以及被配置为确定在范围感测装置与实际相交点之间测量的实际距离的范围感测装置。该范围感测装置投射在实际相交点处与受油机相交的视线。该系统还包括与相机和范围感测装置进行电子通信的一个或多个处理器以及耦接至一个或多个处理器的存储器。该存储器将数据存储到一个或多个数据库以及程序代码
中，当由一个或多个处理器执行时，该程序代码使系统基于位于受油机上的加油接头的图像数据预测位于受油机上的加油接头的六个自由度的位姿估计。该系统确定表示视线与受油机的六个自由度的位姿估计相交的位置的估计相交点。该系统确定在范围感测装置与估计相交点之间测量的估计距离。该系统基于实际距离与估计距离之间的差计算与位于受油机上的加油接头的六个自由度的位姿估计相关联的绝对误差。然后，该系统至少基于绝对误差确定修正的六个自由度的位姿估计。
[0006]在又一方面，公开了用于细化目标对象的六个自由度的位姿估计的方法。该方法包括由相机捕获目标对象的图像数据。该方法还包括由范围感测装置确定在范围感测装置与实际相交点之间测量的实际距离，其中，范围感测装置投射在实际相交点处与目标对象相交的视线。该方法还包括基于目标对象的图像数据预测目标对象的六个自由度的位姿估计。该方法进一步包括确定表示视线与目标对象的六个自由度的位姿估计相交的位置的估计相交点。该方法进一步包括确定在范围感测装置与估计相交点之间测量的估计距离。该方法还包括基于实际距离与估计距离之间的差计算与目标对象的六个自由度的位姿估计相关联的绝对误差。最后，该方法包括至少基于绝对误差确定修正的六个自由度的位姿估计。
[0007]已经讨论的特征、功能和优点可以在各个实施方式中独立地实现或可以在其他实施方式组合，其进一步的细节可以参考以下描述和附图看出。
附图说明
[0008]此处所述的附图仅用于说明目的，并且并不旨在以任何方式限制本公开的范围。
[0009]图1是根据示例性实施方式的用于细化目标对象的六个自由度的位姿估计的所公开系统的示图，其中，系统位于供油机上并且目标对象是受油机的加油接头；
[0010]图2是示出根据示例性实施方式的延伸臂、受油机以及供油机的六个自由度的位姿估计的示图；
[0011]图3是根据示例性实施方式的用于基于多个二维关键点和多个三维关键点确定目标对象的六个自由度的位姿估计的示例性方案的示图；
[0012]图4A至图4B是示出根据示例性实施方式的用于细化目标对象的六个自由度的位姿估计的方法的过程流程图；
[0013]图4C是示出用于确定重投射误差的方法的过程流程图；并且
[0014]图5是根据示例性实施方式的图1所示的所公开系统的计算机系统的示图。
具体实施方式
[0015]本公开涉及用于基于单个一维测量细化目标对象的六个自由度的位姿估计的系统和方法。该系统包括与相机和范围感测装置进行电子通信的控制模块。相机被配置为捕获目标对象的图像数据，并且范围感测装置被配置为确定一维测量。范围感测装置确定在范围感测装置与实际相交点S
’
测量的实际距离。具体地，实际相交点W
’
表示由范围感测装置投射的视线与目标对象相交的位置。该系统基于由相机捕获的图像数据确定目标对象的六个自由度的位姿估计。然后，该系统确定表示视线与目标对象的六个自由度的位姿估计相交的位置的估计相交点。然后，该系统确定在范围感测装置与估计相交点之间测量的估
计距离。该系统基于实际距离与估计距离之间的差计算绝对误差。在实施方式中，该系统还确定由目标对象的六个自由度的位姿估计引入的重投射误差。然后，该系统基于绝对误差和重投射误差(如果可用)确定目标对象的修正的位姿估计。
[0016]以下描述本质上仅是示例性的，并且不旨在限制本公开、应用或用途。
[0017]参考图1，示出了用于细化目标对象12的六个自由度的位姿估计8(参见图2)的系统10。在图1所示的实施例中，系统10作为位于加油机或供油机18的尾部16处的空中加油系统14的一部分。空中加油系统14包括在铰接接头24处连接至供油机18的机身22的悬臂组件20。该悬臂组件20包括刚性部分26、伸缩延伸部28和喷嘴30。悬臂组件20的喷嘴30在加油操作期间与受油机34的加油接头32接合。在所示的实施例中，受油机34，并且具体地，加油接头32，表示目标对象12。因此，系统10细化加油接头32和受油机34的六个自由度的位姿估计8(图2)。系统10包括与相机42和范围感测装置44进行电子通信的控制模块40。相机42位于捕获目标对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于基于一维测量细化目标对象(12)的六个自由度的位姿估计(8)的系统(10)，所述系统(10)包括：相机(42)，被配置为捕获所述目标对象(12)的图像数据；范围感测装置(44)，被配置为确定在所述范围感测装置(44)与实际相交点(W
’
)之间测量的实际距离(d)，其中，所述范围感测装置(44)投射在所述实际相交点(W
’
)处与所述目标对象(12)相交的视线(L)；一个或多个处理器(1032)，与所述相机(42)和所述范围感测装置(44)进行电子通信；以及存储器(1034)，耦接至所述一个或多个处理器(1032)，所述存储器(1034)将数据存储到一个或多个数据库(1044)以及程序代码中，当由所述一个或多个处理器(1032)执行时，所述程序代码使所述系统(10)：基于所述目标对象(12)的所述图像数据预测(206)所述目标对象(12)的所述六个自由度的位姿估计(8)；确定(208)表示所述视线(L)与所述目标对象(12)的所述六个自由度的位姿估计(8)相交的位置的估计相交点(W)；确定(210)在所述范围感测装置(44)与所述估计相交点(W)之间测量的估计距离(D)；基于所述实际距离(d)与所述估计距离(D)之间的差计算(212)与所述目标对象(12)的所述六个自由度的位姿估计(8)相关联的绝对误差；并且至少基于所述绝对误差计算(214)所述目标对象(12)的修正的六个自由度的位姿估计。2.根据权利要求1所述的系统(10)，其中，所述一个或多个处理器(1032)执行指令以：计算(216)所述绝对误差的最小值；并且计算(218)所述修正的六个自由度的位姿估计，其中，所述修正的六个自由度的位姿估计产生所述绝对误差的所述最小值。3.根据权利要求1或2所述的系统(10)，其中，所述一个或多个处理器(1032)执行指令以：确定(220)由所述目标对象(12)的所述六个自由度的位姿估计(8)引入的重投射误差；确定(222)加权和的最小值，其中，所述加权和将所述绝对误差和所述重投射误差组合在一起；并且计算(224)所述修正的六个自由度的位姿估计，其中，所述修正的六个自由度的位姿估计产生所述加权和的所述最小值。4.根据权利要求3所述的系统(10)，其中，所述一个或多个处理器(1032)基于非线性最小二乘算法确定所述加权和的所述最小值。5.根据权利要求1、2和4中任一项所述的系统(10)，其中，所述一个或多个处理器(1032)执行指令以：基于透视n点算法确定所述目标对象(12)的所述六个自由度的位姿估计(8)。6.根据权利要求5所述的系统，其中，所述一个或多个处理器(1032)执行指令以：基于由所述相机(42)捕获的所述图像数据检测(252)与所述目标对象(12)相对应的多个三维关键点(62)；
由深度神经网络预测(254)所述多个三维关键点(62)中的每一个三维关键点的对应二维关键点(60)；使所述多个三维关键点(62)与多个二维关键点(60)对准(256)；并且基于所述多个三维关键点(62)预测(258)所述六个自由度的位姿估计(8)。7.根据权利要求6所述的系统(10)，其中，所述一个或多个处理器(1032)执行指令...

【专利技术属性】
技术研发人员：威廉，
申请(专利权)人：波音公司，
类型：发明
国别省市：