一种基于对抗学习的车辆图像优化方法及系统技术方案

本发明专利技术公开了一种基于对抗学习的车辆图像优化方法及系统，该方法的步骤为：收集不同角度拍摄的车辆图像，将车辆图像划分为标准场景图像和非标准场景图像；对非标准图像进行图像预处理后作为低质量数据集；构建基于生成对抗网络的车辆图像优化模型，模型由生成器、判别器和特征提取器构成；训练基于生成对抗网络的车辆图像优化模型，设置损失函数，采用反向传播计算网络权重梯度并更新车辆图像优化模型参数；车辆图像优化模型训练完成后，保留生成器作为最终的车辆图像优化模型，输入多场景车辆图像，输出优化的标准场景图像。本发明专利技术实现复杂场景车辆图像到标准场景车辆图像迁移，达到优化图像质量目的，提升车辆检测识别准确率。

A vehicle image optimization method and system based on confrontation learning

The invention discloses a vehicle image optimization method and system based on confrontation learning. The steps of the method are: collecting vehicle images taken from different angles, dividing the vehicle images into standard scene images and non-standard scene images; preprocessing the non-standard images as low-quality data sets; building a vehicle image optimization model based on the generated confrontation network Model B is composed of generator, discriminator and feature extractor; train vehicle image optimization model based on generating countermeasure network, set loss function, use back propagation to calculate network weight gradient and update vehicle image optimization model parameters; after vehicle image optimization model training, retain generator as the final vehicle image optimization model and input multi Scene Vehicle image, Output optimized standard scene image. The invention realizes the transfer of complex scene vehicle image to standard scene vehicle image, achieves the purpose of optimizing image quality and improves the accuracy of vehicle detection and recognition.

【技术实现步骤摘要】
一种基于对抗学习的车辆图像优化方法及系统
本专利技术涉及计算机视觉
，具体涉及一种基于对抗学习的车辆图像优化方法及系统。
技术介绍
在公共交通领域里，车辆检测识别技术被广泛应用在了卡口系统、智能交通系统、自动驾驶系统、电子警察系统等子领域中，但是目前的车辆检测识别技术存在一个普遍的问题，常见的车辆识别算法对于输入数据的要求是相当严格的，比如需要视角居中，画面清晰，亮度合适等等，否则准确率会大幅下降，因而在现实复杂监控场景下，如车辆拍摄角度过大、室外光照变化、成像不清晰、有遮挡物等，现有算法应用就存在很大限制，容易出现误识别率高的问题。而对于车辆图像优化技术，目前更多的是单一场景的图像优化，例如车辆角度矫正，现有的方案是先提取车辆关键点，根据关键点位置做矩阵运算实现车辆对齐，基于传统机器学习，需要人工提取特征，自动化程度低，且对于复杂场景难以做到自适应，此外，该方法仅能用于车辆角度矫正，对于其他造成识别准确率下降的因素并未纳入考虑中，因此存在一定局限性。
技术实现思路
为了克服现有技术存在的缺陷与不足，本专利技术提供一种基于对抗学习的车辆图像优化方法及系统，通过基于对抗损失、像素损失和感知损失的生成对抗网络将将实际采集到的低质量车辆图像映射为高质量的车辆图像，实现复杂场景车辆图像到标准场景车辆图像迁移，达到优化图像质量目的，通过提供质量更优的数据，以降低外部复杂因素对检测结果的影响，提升车辆检测识别准确率。为了达到上述目的，本专利技术采用以下技术方案：本专利技术提供一种基于对抗学习的车辆图像优化方法，包括下述步骤：S1：收集不同角度拍摄的车辆图像，将车辆图像划分为标准场景图像和非标准场景图像；S2：对非标准图像进行图像预处理，将预处理后的图像作为低质量数据集；S3：构建基于生成对抗网络的车辆图像优化模型，所述车辆图像优化模型包括生成器、判别器和特征提取器；S4：训练基于生成对抗网络的车辆图像优化模型：S41：输入低质量数据集到生成器中，经由生成器网络中各层神经元非线性组合输出生成的高质量图像；S42：将生成的高质量图像、对应的真实高质量图像输入到判别器和特征提取器中，得到生成的高质量图像、对应的真实高质量图像判定为真实图像的概率和图像特征矩阵；S43：设置损失函数，采用反向传播计算网络权重梯度并更新车辆图像优化模型参数；S44：循环执行步骤S41-S43；S5：车辆图像优化模型训练完成后，保留生成器作为最终的车辆图像优化模型，输入多场景车辆图像，输出优化的标准场景图像。作为优选的技术方案，步骤S2所述对非标准图像进行图像预处理，所述图像预处理采用图像加噪、亮度变换、随机擦除或模糊处理中的任意一种或多种。作为优选的技术方案，步骤S41所述输入低质量数据集到生成器中，所述生成器设置编码器和解码器，编码器学习输入的低质量车辆图像特征并编码成特征矩阵，解码器将输入图像特征信息解码成标准场景车辆图像。作为优选的技术方案，步骤S43中所述设置损失函数，所述损失函数包括对抗损失函数、L1损失函数和感知损失函数。作为优选的技术方案，所述对抗损失函数具体计算公式为：其中，y～Y表示y服从于标准场景下的车辆图像分布，x～X表示x服从于复杂场景下的车辆图像分布，E表示每一批样本的期望；所述L1损失函数具体计算公式为：其中，表示真实图像中第i行第j个像素，表示生成图像中第i行第j个像素，W和H分别表示输入图像的长和宽；所述感知损失函数具体计算公式为：其中，表示真实图像特征第i行第j列第m维的值，表示生成图像特征第i行第j列第m维的值，Wm和Hm分别表示提取出的特征矩阵的长和宽；生成器最终的损失函数为：L＝λ1Ladv+λ2Lpixcel+λ3Lper；其中，λ1、λ2、λ3表示对抗损失函数、L1损失函数和感知损失函数的占比权重。本专利技术还提供一种基于对抗学习的车辆图像优化系统，包括：、图像预处理模块、车辆图像优化模型构建模块和车辆图像优化模型训练模块；所述图像预处理模块用于对非标准图像进行图像预处理，得到低质量数据集；所述车辆图像优化模型构建模块包括生成器、判别器和特征提取器，所述生成器用于将低质量数据集生成高质量图像，所述判别器用于区分输入图像是真实高质量图像或者是生成的高质量图像，所述特征提取器用于提取生成的高质量图像和真实高质量图像的图像特征；所述车辆图像优化模型训练模块用于训练构建的车辆图像优化模型，将低质量数据集输入车辆图像优化模型中，通过损失函数和反向传播更新模型参数，得到最终的车辆图像优化模型。作为优选的技术方案，所述生成器包括编码器和解码器，所述编码器设有通道数分别为64、128、256、512的四层卷积层和通道数为512的10个残差块，所述解码器设有通道数分别为512、256、128、64的四层反卷积层。作为优选的技术方案，所述判别器采用通道数分别为64、256、512、128、64、1的六层全卷积分类网络。作为优选的技术方案，所述特征提取器采用深度学习网络VGGNet-16模型。本专利技术与现有技术相比，具有如下优点和有益效果：(1)本专利技术采用生成对抗网络，利用生成器和判别器间的竞争，将输入车辆图像转换成标准场景的车辆图像，输入的车辆图像不断向标准场景图像变换靠拢，整个图像优化过程简单且高效。(2)本专利技术基于卷积神经网络，自动从大量数据中学习特征，能够有效减轻人工负担。(3)本专利技术基于对抗学习对低质量图像进行优化，解决车辆检测识别效率低的问题，不需要增加新的硬件设备，只需在现有设备上进行软件更新，大大降低部署难度和成本。(4)本专利技术通过使用多种损失函数共同保证生成的标准场景车辆图像的细节完整性，使图像更加真实，同时多种损失函数也可以帮助网络更稳定地训练。(5)本专利技术能够适应车辆角度大、车身遮挡、画面不清晰等各种复杂场景，相比于现有方法具有更好的场景适应能力和鲁棒性。附图说明图1为本实施例基于对抗学习的车辆图像优化方法的流程示意图；图2为本实施例基于对抗学习的车辆图像优化方法的生成对抗网络结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例如图1、图2所示，本实施例提供一种基于对抗学习的车辆图像优化方法，首先收集不同角度的车辆图像，通过图像变换操作模拟多种场景，然后构建生成对抗网络模型，接着用按标准场景和非标准场景成对划分的数据集训练模型，最后保留生成器作为最终的车辆图像优化模型，具体步骤如下所述：S1：收集不同角度拍摄的车辆图像，将图像分为车辆角度居中和不居中两类，其中车辆角度居中图像为标准场景图像，在生本文档来自技高网...

【技术保护点】
1.一种基于对抗学习的车辆图像优化方法，其特征在于，包括下述步骤：/nS1：收集不同角度拍摄的车辆图像，将车辆图像划分为标准场景图像和非标准场景图像；/nS2：对非标准图像进行图像预处理，将预处理后的图像作为低质量数据集；/nS3：构建基于生成对抗网络的车辆图像优化模型，所述车辆图像优化模型包括生成器、判别器和特征提取器；/nS4：训练基于生成对抗网络的车辆图像优化模型：/nS41：输入低质量数据集到生成器中，经由生成器网络中各层神经元非线性组合输出生成的高质量图像；/nS42：将生成的高质量图像、对应的真实高质量图像输入到判别器和特征提取器中，得到生成的高质量图像、对应的真实高质量图像判定为真实图像的概率和图像特征矩阵；/nS43：设置损失函数，采用反向传播计算网络权重梯度并更新车辆图像优化模型参数；/nS44：循环执行步骤S41-S43；/nS5：车辆图像优化模型训练完成后，保留生成器作为最终的车辆图像优化模型，输入多场景车辆图像，输出优化的标准场景图像。/n

【技术特征摘要】
1.一种基于对抗学习的车辆图像优化方法，其特征在于，包括下述步骤：
S1：收集不同角度拍摄的车辆图像，将车辆图像划分为标准场景图像和非标准场景图像；
S2：对非标准图像进行图像预处理，将预处理后的图像作为低质量数据集；
S3：构建基于生成对抗网络的车辆图像优化模型，所述车辆图像优化模型包括生成器、判别器和特征提取器；
S4：训练基于生成对抗网络的车辆图像优化模型：
S41：输入低质量数据集到生成器中，经由生成器网络中各层神经元非线性组合输出生成的高质量图像；
S42：将生成的高质量图像、对应的真实高质量图像输入到判别器和特征提取器中，得到生成的高质量图像、对应的真实高质量图像判定为真实图像的概率和图像特征矩阵；
S43：设置损失函数，采用反向传播计算网络权重梯度并更新车辆图像优化模型参数；
S44：循环执行步骤S41-S43；
S5：车辆图像优化模型训练完成后，保留生成器作为最终的车辆图像优化模型，输入多场景车辆图像，输出优化的标准场景图像。


2.根据权利要求1所述的基于对抗学习的车辆图像优化方法，其特征在于，步骤S2所述对非标准图像进行图像预处理，所述图像预处理采用图像加噪、亮度变换、随机擦除或模糊处理中的任意一种或多种。


3.根据权利要求1所述的基于对抗学习的车辆图像优化方法，其特征在于，步骤S41所述输入低质量数据集到生成器中，所述生成器设置编码器和解码器，编码器学习输入的低质量车辆图像特征并编码成特征矩阵，解码器将输入图像特征信息解码成标准场景车辆图像。


4.根据权利要求1所述的基于对抗学习的车辆图像优化方法，其特征在于，步骤S43中所述设置损失函数，所述损失函数包括对抗损失函数、L1损失函数和感知损失函数。


5.根据权利要求4所述的基于对抗学习的车辆图像优化方法，其特征在于，
所述对抗损失函数具体计算公式为：



其中，y～Y表示y服从于标准场景下的车辆图像分布，x～X表示x服从于复杂场景下的车辆图像分布，E表示每...

【专利技术属性】
技术研发人员：翁健，黎天琦，魏凯敏，张悦，何政宇，陈思念，冯丙文，刘志全，
申请(专利权)人：暨南大学，
类型：发明
国别省市：广东;44