为了空中加油的受油插座和伸缩杠尖端位置和姿态估计制造技术

本公开涉及为了空中加油的受油插座和伸缩杠尖端位置和姿态估计。接收视频帧并且在该视频帧内，确定待加油的飞行器的飞行器关键点。至少基于该飞行器关键点，确定飞行器上的受油插座的位置和姿态。在该视频帧内，还确定空中加油伸缩杆的伸缩杆尖端的伸缩杆尖端关键点。至少基于该伸缩杆尖端关键点，确定伸缩杆尖端的位置和姿态。至少基于受油插座的位置和姿态以及伸缩杆尖端的位置和姿态，对空中加油伸缩杆进行控制以接合受油插座。一些示例在用于人类观察员的所显示视频上覆盖飞行器模型的投影。型的投影。型的投影。

【技术实现步骤摘要】
为了空中加油的受油插座和伸缩杠尖端位置和姿态估计


[0001]本公开涉及用于空中加油的受油插座(fuel receptacle)和伸缩杆(boom)尖端位置和姿态估计。

技术介绍

[0002]空中加油(aerial refueling，air
‑
to
‑
air refueling)通常是由高度熟练的人工加油伸缩杆操作员手动执行的。一些布置将操作人员放置在窗户后面，以观察加油伸缩杆以及待加油的飞行器。这种类型的布置需要额外的显著开支以在加油平台后部为人类操作员提供座位。
[0003]一些布置使用具有双摄像机的立体视觉，其中，人类操作员佩戴基于来自双摄像机的视图提供三维(3D)视图的护目镜。一些其它布置使用光检测和测距(LIDAR：light detection and ranging)或雷达来为人类操作员提供补充的距离测量。后面这些类型的布置需要额外的昂贵组件。

技术实现思路

[0004]下面参照下面列出的附图来详细描述所公开的示例。提供以下概要来例示本文所公开的示例或实现。然而，这并非本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种为了进行空中加油而对受油插座和伸缩杆尖端的位置和姿态进行估计的方法，所述方法包括以下步骤：接收(714)视频帧(200)；在所述视频帧内确定(722)待加油的飞行器(110)的飞行器关键点(402)；至少基于所述飞行器关键点，确定(726)所述飞行器上的受油插座(116)的位置和姿态(330)；以及确定(734)空中加油伸缩杆(104)的伸缩杆尖端(106)的位置和姿态(630)。2.根据权利要求1所述的方法，其中，所述视频帧是由单个摄像机提供的。3.根据前述权利要求中的任一项所述的方法，所述方法还包括以下步骤：使用神经网络即NN在所述视频帧内确定待加油的飞行器的飞行器边界框，所述NN包括卷积神经网络即CNN；以及将所述视频帧裁剪至所述飞行器边界框，其中，确定所述飞行器关键点的步骤包括：确定所述飞行器边界框内的所述飞行器关键点。4.根据前述权利要求中的任一项所述的方法，其中，确定所述飞行器关键点的步骤包括：使用卷积神经网络即CNN来生成所述飞行器关键点的飞行器关键点热图。5.根据前述权利要求中的任一项所述的方法，所述方法还包括以下步骤：至少基于所述受油插座的位置和姿态以及所述伸缩杆尖端的位置和姿态，对所述空中加油伸缩杆进行控制以接合所述受油插座。6.根据前述权利要求中的任一项所述的方法，其中，确定所述伸缩杆尖端的位置和姿态的步骤包括：使用伸缩杆控制参数和摄像机校准信息，在所述视频帧内确定所述伸缩杆尖端的伸缩杆尖端边界框；在所述伸缩杆尖端边界框内确定所述伸缩杆尖端的伸缩杆尖端关键点；以及至少基于所述伸缩杆尖端关键点，确定所述伸缩杆尖端的位置和姿态。7.根据前述权利要求中的任一项所述的方法，所述方法还包括以下步骤：显示覆盖有飞行器模型投影和/或覆盖有伸缩杆模型投影的所述视频帧。8.一种为了进行空中加油而对受油插座和伸缩杆尖端的位置和姿态进行估计的系统，所述系统包括：一个或更多个处理器；以及存储指令的存储器，所述指令在由所述一个或更多个处理器执行时，使所述一个或更多个处理器执行包括以下项的操作：接收(714)视频帧(200)；在所述视频帧内确定(722)待加油的飞行器(110)的飞行器关键点(402)；至少基于所述飞行器关键点，确定(726)所述飞行器上的受油插座(116)的位置和姿态(330)；以及确定(734)空中加油伸缩杆(104)的伸缩杆尖端(106)的位置和姿态(630)。9...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：波音公司，
类型：发明
国别省市：