基于多任务学习的无人机视觉深度估计网络及其估计方法技术

本发明专利技术公开了一种基于多任务学习的无人机视觉深度估计网络及其估计方法，深度估计方法按照以下步骤实施：步骤S1、无人机传感器采集环境信息，再获得所述环境信息中的三张单帧图像的语义分割结果；步骤S2、将三张所述单帧图像的语义分割结果均反馈给所述适配器，以反馈调整适配器；步骤S3、将所述步骤S1中的三张单帧图像发送至经步骤2反馈调整后的所述适配器，得到三张所述单帧图像的图像特征，将三张所述图像特征发送至深度估计子网络，以估计得到当前时刻场景中的标记物相对无人机的深度。到当前时刻场景中的标记物相对无人机的深度。到当前时刻场景中的标记物相对无人机的深度。

【技术实现步骤摘要】
基于多任务学习的无人机视觉深度估计网络及其估计方法


[0001]本专利技术属于无人机视觉导航
，具体涉及一种基于多任务学习的无人机视觉深度估计网络及其估计方法。

技术介绍

[0002]视觉导航是无人机主要的导航手段之一，可与卫星导航、惯性导航组合应用，为无人机提供所需的导航参量。视觉导航主要分为图像获取、图像处理、图像识别与匹配定位等步骤。由于无人机的飞行速度快，且视觉导航的图像处理时延大，因而无法达到无人机对于导航精度的需求。现有的深度估计方法只采用了深度估计子网络进行无监督的回归得到深度值，而导致对图像中有阴影或遮挡的区域的深度估计不准确。

技术实现思路

[0003]本专利技术的目的是提供一种基于多任务学习的无人机视觉深度估计网络及其估计方法，以解决现有深度估计方法对图像中有阴影或遮挡的区域的深度估计不准确的问题。
[0004]本专利技术采用以下技术方案：基于多任务学习的无人机视觉深度估计方法，包括：按照以下步骤实施：
[0005]步骤S1、无人机传感器采集环境信息，再获得环境信息中的三张单帧图像的语义分割结果，三张单帧图像分别为前一帧图像、当前帧图像和后一帧图像；
[0006]其中，获得每一张单帧图像的语义分割结果的方法相同，具体为：
[0007]将一张单帧图像输入至适配器，适配器对单帧图像的不同区域特征进行提取，得到单帧图像的不同结构的图像特征；将单帧图像的图像特征输入到语义分割子网络，通过标签松弛得到一张单帧图像的语义分割结果；
[0008]步骤S2、将三张单帧图像的语义分割结果均反馈给适配器，以反馈调整适配器；
[0009]步骤S3、将步骤S1中的三张单帧图像发送至经步骤2反馈调整后的适配器，得到三张单帧图像的图像特征，将三张图像特征发送至深度估计子网络，以估计得到当前时刻场景中的标记物相对无人机的深度。
[0010]进一步的，适配器包括不同尺度的特征提取算子。
[0011]进一步的，标签松弛方法为：针对同一目标内与不同目标边界上的像素进行区分处理。
[0012]进一步的，深度估计子网络包括Depth network网络和Posenetwork网络。
[0013]本专利技术采用的第二种技术方案是，一种基于多任务学习的无人机视觉深度估计网络，基于一种基于多任务学习的无人机视觉深度估计方法，包括：
[0014]一适配器，用于接收无人机传感器采集的图像，并对图像的不同区域特征进行提取，得到图像特征；
[0015]一语义分割子网络，与适配器连接，用于接收适配器发送来的图像特征，并通过标签松弛方法得到对应图像的语义分割结果；还用于将语义分割结果反馈至适配器；
[0016]一深度估计子网络，用于接收经过语义分割结果反馈处理的适配器发送来的图像特征，并估计场景中的标记物相对无人机的深度。
[0017]本专利技术的有益效果，本专利技术的语义分割子网络采用SSAR算法，对无人机获取的图像进行实时处理，提升了图像处理的速度，提升了实时性，满足视觉匹配对于图像实时处理的需求。在无人机视觉导航任务需求下，将语义分割的SSAR算法与深度估计组合应用，将二者结果进行多任务学习，两个任务之间互补，使深度估计对阴影和遮挡区域更准确，最终得到完整准确的视觉导航深度信息，解决了现有深度估计方法对图像中有阴影或遮挡的区域的深度估计不准确的问题。本专利技术的方法不改变飞机现有的电子设备，只是通过软件方式，采用多任务的语义分割结合深度估计的算法，对传感器获取的图像进行端到端的处理，实现简单，还可以有效解决无人机视觉导航速度慢的问题。
附图说明
[0018]图1为本专利技术的结构示意图。
[0019]图中，1.适配器，2.语义分割子网络，3.深度估计子网络。
具体实施方式
[0020]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0021]本专利技术提供了一种基于多任务学习的无人机视觉深度估计方法，如图1所示，按照以下步骤实施：
[0022]步骤S1、无人机传感器采集环境信息，再获得所述环境信息中的三张单帧图像的语义分割结果，三张所述单帧图像分别为前一帧图像、当前帧图像和后一帧图像；
[0023]其中，获得每一张所述单帧图像的语义分割结果的方法相同，具体为：
[0024]将一张所述单帧图像输入至适配器1，所述适配器1对所述单帧图像的不同区域特征进行提取，得到所述单帧图像的不同结构的图像特征；将所述单帧图像的图像特征输入到语义分割子网络2，通过标签松弛得到一张所述单帧图像的语义分割结果。
[0025]语义分割技术可以将图像中不同的物体进行分类并赋予标签，而SSAR算法在原有语义分割诸多算法基础上，更加注重图像处理的实时性，提升图像处理的效率。目前无人机上都配备了实现视觉导航所必须的传感器，传感器可以感知动态环境并获取丰富的在线环境信息。获取的环境信息送入处理器内，经过采样，提取图像中的特征信息，通过匹配得到无人机当前的位置信息。无人机传感器获得环境信息，经过不同层次的下采样，送入不同的适配器1中，适配器1聚合来自不同层次的采样结果，再采用标签松弛法，首先从标签映射中创建一个热点标签，扩大每个单热点标签通道，将其转化为沿边界的多热点标签，通过多次判定后确定不同的区域所需的采样率大小，目的是使边界区域采样率更高，能够清晰分辨不同物体，相而同物体内部区域采样率较低，减少处理像素数量，最后输出，匹配后得到视觉导航的结果。适配器1聚合不同层次的空间信息，促进了梯度从更深层次到较浅层次的流动。本专利技术的目的在于采用语义分割的SSAR算法，处理传感器获取的图像，提升了图像处理的速度，提升了实时性。这种方式不改变飞机现有的电子设备，只是通过软件方式，方法简单易行，且可以有效解决无人机视觉导航速度慢的问题。
[0026]步骤S2、将三张所述单帧图像的语义分割结果均反馈给所述适配器1，以反馈调整
适配器1；
[0027]步骤S3、将所述步骤S1中由无人机传感器采集的三张单帧图像再次发送至经步骤2反馈调整后的所述适配器1，得到三张所述单帧图像的图像特征，将三张所述图像特征发送至深度估计子网络3，通过深度估计得到当前时刻场景中的标记物相对无人机的深度。
[0028]在一些实施例中，适配器1包括不同尺度的特征提取算子。适配器1是一个特征融合算子，用于融合三个不同尺度的信息，将不同的采样率特征进行融合，其是语义分割子网络2的核心模块。SSAR算法对一幅图像进行不同尺度的采样，然后对不同尺度的图通过适配器1进行特征融合，在融合过程中，针对不同区域的像素采用的尺度不同，对区域比较均匀的区域采用尺度较大的采样，不同类别的边缘区域采用尺度小的采样，对语义分割结果进行约束，也就是标签松弛，不同区域的标签松弛尺度不同。这种标签松弛的方式通常是用于处理图像中不同的纹理结构。
[0029]在一些实施例中，标签松弛方法为：针对同一目标内与不同目标边界上的像素进行区分处理。
[0030]在一些实施例中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多任务学习的无人机视觉深度估计方法，其特征在于，包括：按照以下步骤实施：步骤S1、无人机传感器采集环境信息，再获得所述环境信息中的三张单帧图像的语义分割结果，三张所述单帧图像分别为前一帧图像、当前帧图像和后一帧图像；其中，获得每一张所述单帧图像的语义分割结果的方法相同，具体为：将一张所述单帧图像输入至适配器(1)，所述适配器(1)对所述单帧图像的不同区域特征进行提取，得到所述单帧图像的不同结构的图像特征；将所述单帧图像的图像特征输入到语义分割子网络(2)，通过标签松弛得到一张所述单帧图像的语义分割结果；步骤S2、将三张所述单帧图像的语义分割结果均反馈给所述适配器(1)，以反馈调整适配器(1)；步骤S3、将所述步骤S1中的三张单帧图像发送至经步骤2反馈调整后的所述适配器(1)，得到三张所述单帧图像的图像特征，将三张所述图像特征发送至深度估计子网络(3)，以估计得到当前时刻场景中的标记物相对无人机的深度。2.如权利要求1所述的基于多任务学习的无人机视觉深度估计方法，其特征在于，所述适配器(1)包括不...

【专利技术属性】
技术研发人员：吴倩，王永庆，骆艳卜，宋嘉宇，翟丁，李昊，
申请(专利权)人：中国人民解放军空军工程大学，
类型：发明
国别省市：