一种基于对抗神经网络数据增强的机场跑道异物材料识别方法技术

本发明专利技术公开了一种基于对抗神经网络数据增强的机场跑道异物材料识别方法，针对机场跑道异物材料数据少，难采集，且材料物品的无固定形态，尺度多样的特点，本发明专利技术包括：设计逐分辨率提升的生成对抗神经网络，生成高质量的机场跑道异物材料数据，生成对抗神经网络由上海大学校园道路模拟与上海虹桥机场跑道异物材料分类数据集中的训练集驱动训练。利用训练好的对抗神经网络生成器，生成新的材料图像数据。结合原始数据与对抗神经网络生成数据，驱动基于特征通道注意力机制的残差神经网络进行分类训练，达到更高的机场跑道异物材料识别能力。

【技术实现步骤摘要】
一种基于对抗神经网络数据增强的机场跑道异物材料识别方法
本专利技术属于计算机视觉中的材料识别领域，尤其涉及机场跑道异物的材料识别，进一步涉及一种利用神经网络机场跑道异物材料识别的方法，充分利用生成对抗神经网络与特征通道注意力机制残差卷积神经网络的特点，本方法在公开数据集上得到良好的识别性能验证。
技术介绍
机场跑道异物指的是在机场跑道上影响飞机起降安全的外来物品，对机场跑道上物品进行材料识别，是判断机场跑道异物危险等级的关键。材料识别算法是计算机视觉中一个重要研究课题，它与常规物品分类识别最大的区别在于，材料物品往往无固定形态，尺度多变。材料识别方法大致分为两类，一类是人工设计特征，如纹理特征，梯度特征，根据设计滤波器的方式进行特征提取，然后使用传统分类器如支持向量机进行分类识别；另外一类是自动提取特征，这主要是通过卷积神经网络的训练，进行特征提取，然后使用softmax分类器进行分类。我们的方法是第二种自动提取特征的方式，使用的是基于特征通道注意力机制的残差卷积神经网络，由于神经网络的训练需要数据进行驱动，为了弥补机场跑道异物难收集的问题，使用生成对抗网络生成大量机场跑道异物样本，提升分类器分类识别性能。
技术实现思路
本专利技术针对机场跑道异物材料数据少，难采集，且材料物品的无固定形态，尺度多样的特点，设计逐分辨率提升的生成对抗神经网络，生成高质量的机场跑道异物材料数据，生成对抗神经网络由上海大学校园道路模拟与上海虹桥机场跑道异物材料分类数据集中的训练集驱动训练。利用训练好的对抗神经网络生成器，生成新的材料图像数据。结合原始数据与对抗神经网络生成数据，驱动基于特征通道注意力机制的残差神经网络进行分类训练，达到更高的机场跑道异物材料识别能力。本专利技术采用如下技术方案：一种基于对抗神经网络数据增强的机场跑道异物材料识别方法，该方法包括对抗神经网络数据增强部分和融合数据驱动下的，基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分。本专利技术提出的方法的整体流程图如图1所示。对抗神经网络数据增强部分，包括4个步骤：输入数据处理；搭建生成器神经网络；搭建判别器神经网络；生成器和判别器对抗训练。对抗神经网络数据来源于上海大学校园道路模拟数据与上海虹桥机场跑道异物材料数据集的训练集，以下称之为原始训练数据，原始训练数据中包括金属、塑料和石头三种材料各1000张。对抗神经网络生成器输入数据为长度为509的随机数一维向量，经过像素归一化层，与机场跑道异物材料类别长度为3的一维独热编码进行合并，合并数据为长度512的一维向量作为生成器输入数据。判别器输入数据由两部分组成，分别为生成器输出数据与相关类别原始训练数据。生成器神经网络，采用逐分辨率提升的设计架构，由4*4分辨率模块两倍分辨率逐渐提升到128*128分辨率模块，使用连接控制层，通过参数α(取值范围为0到1)连接系数控制连接。每一分辨率模块，首先经过双线性插值上采样层，再进行卷积，这包括六个卷积模块，每个卷积模块中由特征提取卷积块和RGB(红绿蓝)颜色通道转换卷积块组成，其中特征提取卷积块，使用堆叠的可变性卷积层，像素归一化层和LeakyReLu(LeakyRectifiedlinearunit)激活函数组合，提取高维抽象特征；RGB(红蓝绿)颜色通道转换卷积，是为了建立颜色通道约束，使生成图像保持色彩不变性，通过颜色通道对齐的卷积通道设计实现。生成器网络结构整体结构如图1所示，细节设计图如图2所示。判别神经网络，采用与生成器对称的网络设计，使用平均池化层进行图像下采样，输入数据由原始训练数据与生成器输出数据合并组合。同样采用连接控制层，通过参数α(取值范围为0到1)连接系数控制连接。图像分辨率级别与生成器保持一致。网络细节设计如图3所示。训练过程：对抗神经网络通过逐渐分辨率提升的方式进行网络训练，过程图如图4所示。损失函数采用Wasserstein距离损失函数，同时根据利普西茨(lipschitz)连续性的条件，进行梯度约束，加快训练速度，同时在训练判别器时，在小批次上进行随机插值，训练过程采用动量随机梯度下降(StochasticGradientDescent)SGD优化器，初始学习率设为0.0001；动量系数设为0.9；权重衰减超参因子设置为0.00004；不同分辨率迭代不同epoch，分别为50，50，50，80，80，80。基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分，包括4个步骤：原始数据与对抗神经网络生成器生成融合数据；搭建基于特征通道注意力机制的残差卷积神经网络；训练网络；测试机场跑道异物材料分类器识别性能。融合数据：将对抗神经网络生成器，按照等比例分别生成三个材料类别各1000张数据，将生成数据与原始训练数据合并数据。搭建基于特征通道注意力机制的残差卷积神经网络：与残差卷积神经网络不同，采用了特征通道注意力机制的残差模块，结构图如图5所示。训练过程：使用交叉熵损失函数，使用动量自适应(NesterovAdaptiveMomentEstimation)nadam优化器，初始学习率设为0.0001，迭代200个epoch。测试过程：为了验证基于对抗神经网络数据增强的机场跑道异物材料识别方法的性能，设计了一组对比验证实验，首先对比上海大学校园道路模拟与上海虹桥机场跑道异物材料数据集论文出处指标进行对比，同样在验证集上进行测试，论文中三种材料识别准确率平均约为73％，本专利技术结果约为82％，提升明显。同时在同样使用基于特征通道注意力机制的残差卷积神经网络，在训练样本数量一致情况下，使用传统图像数据增强(图像旋转、随机裁剪、马赛克、涂鸦等方式)，与基于对抗神经网络数据增强的识别结果进行了对比。传统图像增强准确率约为78％，本专利技术依然有近4％的性能优势。附图说明图1为本专利技术提出的方法的整体流程图。图2为对抗神经网络生成器细节设计图。图3为对抗神经网络判别器细节设计图。图4为对抗神经网络逐分辨率提升训练对比图。图5为特征通道残差卷积模块与传统残差模块对比图。图6为本专利技术提出的方法的实验测试图。具体实施方式以下结合说明书附图，对本专利技术的实施实例加以详细说明：如图1所示，本专利技术是一种基于对抗神经网络数据增强的机场跑道异物材料识别方法。该方法主要包括对抗神经网络数据增强部分和融合数据驱动下的，基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分。对抗神经网络数据增强部分具体步骤如下：步骤1)输入数据处理对抗神经网络数据来源于上海大学校园道路模拟数据与上海虹桥机场跑道异物材料数据集的训练集，以下称之为原始训练数据，原始训练数据中包括金属、塑料和石头三种材料各1000张。对抗神经网络生成器输入数据为长度为509的随机数一维向量，经过像素归一化层，与机场跑道异物材料类别长度为3的一维独热编码进行合并，合并数据为长度512的一维向量作为生成器输入数据。判别器输入数据由两部分组成，分别为生成器输出数据与相关类别原始训练数据。像素归一化公式如公式(1)所示：其中PixelNorm表示图像或卷积特征图经过归一化后的结果，x表示为图像或卷积特征图每个单位像素位置数值。独热编码也称之为one-hot编码，已知数据集包括三个类别，类别1的on本文档来自技高网...

【技术保护点】
1.一种基于对抗神经网络数据增强的机场跑道异物材料识别方法，其特征在于：该方法包括对抗神经网络数据增强部分和融合数据驱动下的基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分；对抗神经网络数据增强部分，包括4个步骤：输入数据处理；搭建生成器神经网络；搭建判别器神经网络；生成器和判别器对抗训练；基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分，包括4个步骤：原始数据与对抗神经网络生成器生成融合数据；搭建基于特征通道注意力机制的残差卷积神经网络；训练网络；测试机场跑道异物材料分类器识别性能。

【技术特征摘要】
1.一种基于对抗神经网络数据增强的机场跑道异物材料识别方法，其特征在于：该方法包括对抗神经网络数据增强部分和融合数据驱动下的基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分；对抗神经网络数据增强部分，包括4个步骤：输入数据处理；搭建生成器神经网络；搭建判别器神经网络；生成器和判别器对抗训练；基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分，包括4个步骤：原始数据与对抗神经网络生成器生成融合数据；搭建基于特征通道注意力机制的残差卷积神经网络；训练网络；测试机场跑道异物材料分类器识别性能。2.根据权利要求1所述的一种基于对抗神经网络数据增强的机场跑道异物材料识别方法，其特征在于：对抗神经网络数据为原始训练数据，原始训练数据中包括金属、塑料和石头三种材料各1000张；对抗神经网络生成器输入数据为长度为509的随机数一维向量，经过像素归一化层，与机场跑道异物材料类别长度为3的一维独热编码进行合并，合并数据为长度512的一维向量作为生成器输入数据；判别器输入数据由两部分组成，分别为生成器输出数据与相关类别原始训练数据。3.根据权利要求1所述的一种基于对抗神经网络数据增强的机场跑道异物材料识别方法，其特征在于：生成器神经网络，采用逐分辨率提升的设计架构，由4*4分辨率模块两倍分辨率逐渐提升到128*128分辨率模块，使用连接控制层，通过参数α连接系数控制连接；每一分辨率模块，首先经过双线性插值上采样层，再进行卷积，这包括六个卷积模块，每个卷积模块中由特征提取卷积块和RGB颜色通道转换卷积块组成，其中特征提取卷积块，使用堆叠的可变性卷积层，像素归一化层和L...

【专利技术属性】
技术研发人员：王素玉，于晨，冯明宽，陶思辉，李越，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11