一种基于WGAN-GP数据生成与泊松融合的数据深度增强方法技术

本发明专利技术公开了一种基于WGAN

【技术实现步骤摘要】
一种基于WGAN
‑
GP数据生成与泊松融合的数据深度增强方法


[0001]本专利技术属于深度学习图像处理领域，涉及一种基于WGAN
‑
GP数据生成与泊松融合的数据深度增强方法。本专利技术适用于目标检测中数据样本缺乏或类别不均衡的道路病害智能化检测。

技术介绍

[0002]由于温度变化、反复碾压和不适当的定期维护等多方面的影响，路面会出现不同程度、不同类型的病害，如路面裂缝、坑槽等严重影响了行车舒适性和安全性，必要的养护管理对于促进城市道路设施服务水平的提高、确保道路的安全运营至关重要。目前，道路维护过分依赖于人工巡检的方式，存在成本高、主观性强、效率低下等问题。因此，采用先进的技术手段，实现道路病害的自动检测，成为道路养护管理的关键所在。
[0003]近年来，借助于人工智能的图像识别技术越来越多的被应用到路面病害检测中，其核心是深度学习以及卷积神经网络的图像识别技术。但深度学习是一种数据驱动的技术，需要足够的数据量使得模型去学习到可能的分布。然而在实际采集环境中很难获得足够多且类别均衡的病害样本来保证神经网络的训练。传统的数据增强方法有多种，包括随机缩放，对比度增强，随机裁剪、水平翻转、竖直翻转等，但是路面病害的特征往往与图像的颜色分布、对比度有关，因此传统数据增强方法对比度增强可能不太适用于路面图片中。且当图像数量较少时，随机裁剪和翻转等操作很难补充到数据隐含的潜在分布规律。
[0004]针对上述问题，本专利技术提出了一种将WGAN
‑
GP数据生成与泊松融合相结合的数据深度增强方法，人工生成在不同遮挡物下、不同光照条件下的道路病害图片，将其带入目标检测模型的训练集，以提高路面病害智能检测的精度。

技术实现思路

[0005]本专利技术采用的技术方案为一种基于生成对抗网络WGAN
‑
GP(Wasserstein Generative Adversarial Network with Gradient Penalty)与泊松融合相结合的数据深度增强方法，包括WGAN
‑
GP数据生成和泊松融合两大部分，方法实现流程如图1所示，具体步骤如下：
[0006]步骤一：WGAN
‑
GP数据生成
[0007]WGAN
‑
GP是具有梯度惩罚的生成对抗网络，是一种基于博弈思想的生成模型，该生成模型包含两个网络，分别为生成网络G(Generator Network)和判别网络D(Discriminator，Network)。使用的对抗生成网络框架如图2所示，将随机分布的噪声(a)添加到原始图像(b)中，生成数据(c)，将生成数据(c)输入到生成网络G，生成网络G提取坑槽的特征信息(d)并生成拟合数据(e)去欺骗判别网络D，判别网络D辨别生成网络输出拟合数据的真假，通过不断交替地反馈来训练模型，最后判别器无法辨别样本真伪时，生成器模型训练完成。
[0008]WGAN
‑
GP数据生成算法步骤如下：
[0009]首先，将道路病害边界框从原始道路图片中剪切出来作为WGAN
‑
GP数据生成的输入图像，剪切图片是在不同光照条件下不同遮挡物下的坑槽。然后将剪切图片调整为80x80像素大小，生成HDF5数据存储文件，带入WGAN
‑
GP对抗生成网络中。
[0010]其次，WGAN
‑
GP网络读入HDF5数据存储文件并设置网络训练参数，包括批训练Batch_size、图片像素大小、训练带数Epoch、判别器参数、鉴别器参数。
[0011]接着，设置生成器和判别器网络结构。WGAN
‑
GP生成网络G和判别网络D均设置为五层的卷积神经网络，生成网络由ConvTrans2d反卷积层、BN(BatchNorm)归一化层、Relu和Tanh激活函数组成，判别网络由Conv2d卷积层、IN(InstanceNorm)归一化层、LeakyRelu激活函数组成，网络设置如表1所示。
[0012]表1 WGAN
‑
GP对抗生成网络设置
[0013][0014]本专利技术使用的Relu激活函数如式(1)：
[0015][0016]使用的LeakyRelu激活函数如式(2)：
[0017][0018]本专利技术使用的Tanh激活函数如式(3)：
[0019][0020]式(1)、(2)、(3)中，x为各层神经网络的输入数据，f(x)为各层神经网路的输出函数。
[0021]然后，设置判别器的损失函数和优化函数。对于损失函数，前两项为判别器的博弈损失，后项为引入的Lipschitz约束梯度惩罚。对于博弈损失，生成对抗网络的训练是通过训练判别网络D最大化判别准确率，同时训练生成网络G最小化log(1
‑
D(G(z)))，即训练生成网络G和判别网络D是关于函数V(G，D)的极小极大的博弈，采用的博弈函数见公式(4)：
[0022][0023]使用的判别器损失函数如式(5)：
[0024][0025]式中：x为真实数据分布，最大化D(x)表示鉴别器将尽可能地学习真实样本数据分布，P
z
(z)为输入的噪声分布，G(z)表示生成器生成的样本数据分布，D(G(z))表示鉴别器将尽力去鉴别生成器生成的样本数据是否为真。
[0026]对于优化函数，使用Adam方法对模型参数进行优化。Adam方法是一种简单、计算效率高的随机目标函数梯度优化算法，该方法在处理稀疏梯度和处理非平稳目标方面具有两个优势。
[0027]Adam保持过去的平均平方梯度v
t
在指数衰减的趋势，同时有一个指数衰减趋势的过去梯度m
t
的平均值，并在误差面有一个平坦的最小值的偏好。然后，计算过去的衰减平均值和过去的平方梯度m
t
和v
t
相应地如公式(6)、(7)：
[0028]m
t
＝β1m
t
‑1+(1
‑
β1)g
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0029][0030]其中m
t
和v
t
分别是梯度的第一阶矩(均值)和第二阶矩(无中心方差)的估计值。该算法保持图像矩阵随机梯度下降保持单一的学习率，更新生成对抗网络中的所有权重。
[0031]由于m
t
和v
t
初始化为0的向量，它们偏向于0，这些偏向计算见公式(8)、(9)：
[0032][0033][0034]然后使用这些t并更新参数见公式(10)：
[0035][0036]其中，β1默认值为0.9，β2的默认值为0.999，∈的默认值为10
‑8。
[0037]最后，判别器求本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于WGAN
‑
GP数据生成与泊松融合的数据深度增强方法，其特征在于，包括WGAN
‑
GP数据生成和泊松融合两大部分，具体步骤如下：步骤一：WGAN
‑
GP数据生成；首先，将道路病害边界框从原始道路图片中剪切出来作为WGAN
‑
GP数据生成的输入图像，剪切图片是在不同光照条件下不同遮挡物下的坑槽；然后将剪切图片调整为80x80像素大小，生成HDF5数据存储文件，带入WGAN
‑
GP对抗生成网络中；其次，WGAN
‑
GP网络读入HDF5数据存储文件并设置网络训练参数，包括批训练Batch_size、图片像素大小、训练带数Epoch、判别器参数、鉴别器参数；接着，设置生成器和判别器网络结构；WGAN
‑
GP生成网络G和判别网络D均设置为五层的卷积神经网络，生成网络由ConvTrans2d反卷积层、BN归一化层、Relu和Tanh激活函数组成，判别网络由Conv2d卷积层、IN归一化层、LeakyRelu激活函数组成；最后，判别器求出真实样本和生成样本之间的差值梯度M,设定Lipschitz约束不超过M，Loss损失约束最大可能接近M，通过迭代实现网络的不断更新优化；步骤二：泊松融合新的训练数据是通过将WGAN
‑
GP生成的路面病害图像插入到无病害的道路图像中合成；基于泊松方程而引入的泊松融合求解像素最优值的方法，保留源图像梯度信息的同时，融合源图像与目标图像；该方法根据指定的边界条件求解一个泊松方程，实现梯度域上的连续，从而达到边界处的无缝融合。2.根据权利要求1所述的一种基于WGAN
‑
GP数据生成与泊松融合的数据深度增强方法，其特征在于，使用的Relu激活函数如式(1)：使用的LeakyRelu激活函数如式(2)：使用的Tanh激活函数如式(3)：式(1)、(2)、(3)中，x为各层神经网络的输入数据，f(x)为各层神经网路的输出函数；设置判别器的损失函数和优化函数；对于损失函数，前两项为判别器的博弈损失，后项为引入的Lipschitz约束梯度惩罚；对于博弈损失，生成对抗网络的训练是通过训练判别网络D最大化判别准确率，同时训练生成网络G最小化log(1
‑
D(G(z)))，即训练生成网络G和判别网络D是关于函数V(G,D)的极小极大的博弈，采用的博弈函数见公式(4)：使用的判别器损失函数如式(5)：式中：x为真实数据分布，最大化D(x)表示鉴别器将尽可能地学习真实样本数据分布，P
z
(z)为输入的噪声分布，G(z)表示生成器生成的样本数据分布，D(G(z))表示鉴别器将尽力
去鉴别生成器生成的样本数据是否为真。3.根据权...

【专利技术属性】
技术研发人员：侯越，张慧婷，陈宁，刘卓，陈艳艳，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：