一种基于双掩膜图像分割的无人机狭窄通道检测方法技术

一种基于双掩膜图像分割的无人机狭窄通道检测方法，属于基于视觉的图像分割领域。本发明专利技术使用深度学习的方法提取通道与通道所在墙壁的双掩膜，再对双掩膜融合便可以得到通道与通道轮廓的位置信息。此外，本发明专利技术设计的卷积神经网络模型具有参数少、计算量小的特点，可以在机载计算机上达到实时检测的效果。本发明专利技术中检测方法可以检测各种不规则形状的狭窄通道，在狭窄通道背景图案复杂、光照不均匀等场景均有较强的鲁棒性。而且模型计算量较少，在机载计算机平台上运行时可以实现高频率的检测。检测。检测。

【技术实现步骤摘要】
一种基于双掩膜图像分割的无人机狭窄通道检测方法


[0001]本专利技术属于基于视觉的图像分割领域，用于小型无人机在飞入飞出建筑物时，对建筑物墙壁上狭窄通道的实时检测。

技术介绍

[0002]无人机技术是跨越电器工程、机械工程、计算机科学和数学等领域的综合性技术，同时随着人工智能技术的快速发展，无人机技术已在很多领域得到了应用。面对灾后室内救援等任务，小型无人机凭借自身敏捷的优势可以在第一时间替代搜救人员进入建筑物内部执行环境勘测、补给品投递等任务。在这种情况下，无人机进出建筑物通常需要穿越建筑物上的狭窄通道，因此小型无人机如何自主、准确、快速的检测建筑物墙体上的狭窄通道是一个重要问题。
[0003]在基于视觉的目标检测检测方法中，yolo、ssd等快速检测的方法常常作为小型无人机上的感知算法。文献(Jung S,Hwang S,Shin H,et al.Perception,guidance,and navigation for indoor autonomous drone racing using deep learning[J].IEEE Robotics and Automation Letters,2018,3(3):2539-2544.)提出了一种基于目标检测的狭窄通道检测方法，该方法具有速度快的特点，但是该方法只能得到图像上包围目标通道的一个矩形框，而无法得到该通道在图像上的像素级的语义信息，因此无法完成针对非规则狭窄通道的有效检测。
[0004]文献(Sanket N J,Deep S C,Kanishka G,et al.GapFlyt:Active vision based minimalist structure-less gap detection for quadrotorflight[J].IEEE Robotics and Automation Letters,2018,3(4):2799-2806.)仿照昆虫感知，采用主动视觉的方式对小型无人机狭窄通道穿越问题进行了研究。此方法使用光流法估计通道的位置，这种检测方法对通道边缘信息敏感，检测的精度较高。但是该方法的泛化能力差，通常在实验条件可控的环境中有较好表现，但如果狭窄通道存在边缘模糊的情况，则检测精度显著降低。
[0005]综上所述，为了提升小型飞行器飞行穿越建筑物上的狭窄通道的成功率，找到一种准确度高、速度快、适应性强的检测狭窄通道的方法是非常必要的。

技术实现思路

[0006]本专利技术针对小型无人机飞入飞出建筑物时的狭窄通道检测问题，提出了一种基于双掩膜图像分割的狭窄通道检测方法。本专利技术使用深度学习的方法提取通道与通道所在墙壁的双掩膜，再对双掩膜融合便可以得到通道与通道轮廓的位置信息。此外，本专利技术设计的卷积神经网络模型具有参数少、计算量小的特点，可以在机载计算机上达到实时检测的效果。
[0007]本专利技术通过以下步骤对狭窄通道进行检测：
[0008]一种基于双掩膜图像分割的无人机狭窄通道检测方法，步骤如下：
[0009]步骤一：构建深度卷积神经网络
[0010]狭窄通道检测模型使用深度卷积神经网路进行搭建，网络的主体主要由编码模块和解码模块两个部分组成。
[0011]编码模块负责对图像进行特征提取，主要由不同深度的卷积模块搭建而成。为了减小计算量从而提高计算的实时性，除了第一个卷积模块采用普通卷积外，其他卷积模块均采用包含深度可分离卷积层的倒置残差模块作为特征提取器。使用卷积方法对特征进行下采样，即通过步长为二的卷积模块在特征提取的同时将特征图的尺寸降采样为原尺寸的一半。在整个编码部分中总共进行了四次下采样，所以编码部分最终将输出尺寸降低为输入尺寸的十六分之一。编码模块的输入为一个四通道的图像，输入图像由RGB图像和深度图像构成，其中RGB图像为一幅由红绿蓝三基色组成的三通道图像，深度图像为的单通道灰度图像，将两种图像在通道维度进行拼接，可以得到用于网络输入的四通道图像。
[0012]解码模块主要负责恢复图像的尺寸并输出最终的双掩膜结果。该模块由三个模组和一个输出模块构成，每个模组由一个向上采样单元、一个通道拼接模块和两个卷积模块组成。对于一个模组来说，首先由向上采样单元对上层模块输出的特征图进行向上采样，将尺寸扩大为输出尺寸的二倍，然后通过一个通道拼接模块将编码模块中对称位置的特征图进行复制后与向上采样得到的特征图进行通道拼接，接下来让拼接后的结果经过两次卷积模块，便得到了这个模组的输出。解码模块将编码模块的编码结果进行了三次向上采样，最终将图像恢复到输入图像尺寸的一半。解码模块的输出模块是由一个卷积模块构成，输出通道数为二，使得网络最终的输出为一个两通道的双掩膜。
[0013]因此，此网络由普通卷积模块、倒置残差模块、向上采样单元构成。网络的输入为RGB图像和深度图像拼接的四通道图像，输出为两通道的双掩膜图像。
[0014]步骤二：创建用于双掩膜图像分割的数据集
[0015]数据集主要用于狭窄通道检测模型的训练与验证，数据集中的图像由小型无人机搭载的RGB-D相机采集得到，图像分为RGB图像和深度图像，两种图像是成组出现的。
[0016]图像标注采用两个封闭图形进行标注，分别表示狭窄通道的掩膜和通道所在墙体的掩膜。掩膜是一个由0和1两种像素值组成的图像，其尺寸大小与所标注图像的大小相同，其中像素值1坐标代表了原图中感兴趣的像素值位置，像素值为0的坐标代表了原图中不感兴趣位置。将掩膜与原图像相乘，得到图像中感兴趣的区域。通过标注得到的掩膜作为图像分割的真值，在网络训练时起到监督训练和测试狭窄通道检测模型效果的作用。
[0017]步骤三：狭窄通道检测模型的训练与验证
[0018]狭窄通道检测模型的训练采用深度学习框架进行训练，训练过程分为数据处理和迭代优化两个部分。
[0019]在模型训练时为了使数据的格式一致和内容多样，需要对训练数据进行预处理后再送入网络。对于输入数据格式，首先将每组RGB图像和深度图像进行通道融合得到4通道图像，然后统一改变成相同的尺寸H
in
*W
in
*4，其中H
in
和W
in
分别代表了输入图像的宽和高。然后将图像RGB三通道的每一个像素值进行标准化处理，标准化处理的公式为：
[0020][0021]其中Img
std
是标准化处理之后的像素值，Img
rog
是标准化处理之前的像素值、μ是像素的均值、σ是像素的标准差。对于数据增广，在训练过程中对输入的图像进行一些随机的
操作，本专利技术采用的数据增广方法有：镜像反转、旋转、缩放、裁剪、平移、添加高斯噪声、图像亮度和对比度变化。这些方法使得数据在有限多数据集的情况下表现出更多的形式，从而更好地优化模型。
[0022]迭代优化是模型训练的重要步骤，让狭窄通道检测模型去拟合数据的真值。训练的优化器采用小批量梯度下降的方法，在每次迭代本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双掩膜图像分割的无人机狭窄通道检测方法，其特征在于，步骤如下：步骤一：构建深度卷积神经网络狭窄通道检测模型使用深度卷积神经网络进行搭建，网络的主体由编码模块和解码模块两个部分组成；编码模块负责对图像进行特征提取，由不同深度的卷积模块搭建而成；除了第一个卷积模块采用普通卷积外，其他卷积模块均采用包含深度可分离卷积层的倒置残差模块作为特征提取器；使用卷积方法对特征进行下采样，即通过步长为二的卷积模块在特征提取的同时将特征图的尺寸降采样为原尺寸的一半；在整个编码部分中总共进行了四次下采样，所以编码部分最终将输出尺寸降低为输入尺寸的十六分之一；编码模块的输入为一个四通道的图像，输入图像的由RGB图像和深度图像构成，其中RGB图像为一幅由红绿蓝三基色组成的三通道图像，深度图像为的单通道灰度图像，将两种图像在通道维度进行拼接，得到用于网络输入的四通道图像；解码模块负责恢复图像的尺寸并输出最终的双掩膜结果；解码模块由三个模组和一个输出模块构成，每个模组由一个向上采样单元、一个通道拼接模块和两个卷积模块组成；对于一个模组来说，首先由向上采样单元对上层模块输出的特征图进行向上采样，将尺寸扩大为输出尺寸的二倍，然后通过一个通道拼接模块将编码模块中对称位置的特征图进行复制后与向上采样得到的特征图进行通道拼接，接下来让拼接后的结果经过两次卷积模块，便得到了这个模组的输出；解码模块将编码模块的编码结果进行了三次向上采样，最终将图像恢复到输入图像尺寸的一半；解码模块的输出模块是由一个卷积模块构成，输出通道数为二，使得网络最终的输出为一个两通道的双掩膜；步骤二：创建用于双掩膜图像分割的数据集数据集用于狭窄通道检测模型的训练与验证，数据集中的图像由小型无人机搭载的RGB-D相机采集得到，图像分为RGB图像和深度图像，两种图像是成组出现的；图像标注采用两个封闭图形进行标注，分别表示狭窄通道的掩膜和通道所在墙体的掩膜；掩膜是一个由0和1两种像素值组成的图像，其尺寸大小与所标注图像的大小相同，其中像素值1坐标代表了原图中感兴趣的像素值位置，像素值为0的坐标代表了原图中不感兴趣位置；将掩膜与原图像相乘，得到图像中感兴趣的区域；通过标注得到的掩膜作为图像分割的真值，在网络训练时起到监督训练和测试狭窄通道检测模型效果的作用；步骤三：狭窄通道检测模型的训练与验证狭窄通道检测模型的训练采用深度学习框架进行训练，训练过程分为数据处理和迭代优化两个部分；数据处理：对于输入数据格式，首先将每组RGB图像和深度图像进行通道融合得到4通道图像，然后统一改变成相同的尺寸H
in
*W
in
*4，其中H
in
和W
in
分别代表...

【专利技术属性】
技术研发人员：庄严，杨佳辉，闫飞，张雪涛，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：