一种基于GAN网络的工业监控视频图像清晰化方法技术

一种基于GAN网络的工业监控视频图像清晰化方法，包括以下步骤：步骤一，对原始工业视频图像进行采集；步骤二，图像数据预处理；步骤三，检测是否含有训练好的模型；步骤四，搭建GAN网络；步骤五，模型训练；步骤六，模型测试，得到相对应的高清晰度图像；步骤七，检查测试效果，若模型能够根据测试图像生成高清晰度的图像，则模型训练较好，可以满足实际应用要求；若测试效果不佳，则重新开始步骤一增加训练样本，重新进行训练；具有训练过程简单，模型小，效果好，且计算效率高，非常适合复杂工业环境下对监控图像的恢复和清晰化处理。

A method of industrial monitoring video image clarity based on GaN network

【技术实现步骤摘要】
一种基于GAN网络的工业监控视频图像清晰化方法
本专利技术涉及计算机视觉方法领域，具体涉及一种基于GAN网络的工业监控视频图像清晰化方法。
技术介绍
随着我国工业迅速稳健发展，企业对于生产流程中的智能监控是保证人员生命安全、产品质量和效率十分重要的一环。但在实际的工业环境中，由于灰尘、烟雾、光照变化导致监控视频模糊、光照不足、像素损失导致画面不清晰，影响监控效果。需要经常进行镜头清洁，导致维护工作量较大。图像清晰化或称为图像超分辨率重建是计算机视觉领域中的一种重要处理方式。其能够根据输入的低清晰度图像恢复为高清晰度的图像，在不提升硬件成本的基础上改善图像效果上有十分重要的意义。基于GAN网络(生成对抗网络)的工业监控视频图像清晰化对于镜头受污严重、需要经常清洗的复杂工业监控环境可以很好的提升图像的清晰度，节约人力维护成本，也减少因维护设备停运造成的损失，延长使用和维护的时间。
技术实现思路
为克服上述现有技术的不足，本专利技术的目的是提供一种基于GAN网络的工业监控视频图像清晰化方法，以解决在工业监控中由于灰尘、烟雾、光照变化导致监控视频模糊、光照过强或过暗、像素损失等画面不清晰的问题，具有方法简单、图像清晰、成本低、延长了使用和维护时间的特点。为实现上述目的，本专利技术所采用的技术方案为：一种基于GAN网络的工业监控视频图像清晰化方法，包括以下步骤：步骤一，对原始工业视频图像进行采集，采集至少两组视频数据作为训练集；一组为实际工业环境下受灰尘、烟雾、光照变化导致监控视频模糊、光照不足、像素损失导致画面不清晰的低清晰度视频图像；一组作为监督学习标签的镜头经过清洗后采集的高清晰度视频图像；采集的低清晰度图像多于高清晰度图像；步骤二，图像数据预处理：将两组视频按帧保存为图像，按照图像清晰化GAN网络输入图像的格式调整为一张拼接的合成图像，低清晰度的图像与高清晰度的图像分别为合成图像的左半张与右半张，即左边为低清晰度图像，右边为高清晰度图像；若改变两张图像的位置，其位置相应的代码也需要改变；步骤三，检测是否含有训练好的模型：如果已经有训练好的模型，则进入步骤五直接进行模型的测试；如果没有检测到模型，则进入步骤四进行模型的搭建和训练；步骤四，搭建GAN网络：GAN网络包括两个主要组成模块：生成器和判别器；低清晰度图像输入生成器生成伪高清晰度图像，判别器被训练判别图像为生成器生成的高清晰图像还是真实高清晰图像，损失函数用于调节网络层级间的权重；最终的图像清晰化GAN网络能根据输入的低清晰度图像生成高清晰度的图像；步骤五，模型训练：输入一张合成图像，左边图像输入生成器生成伪高清晰度图像与右边真实的高清晰度图像比较，误差传入生成器和判别器调整其网络层级之间的权重；训练至损失值不再下降即可终止训练，该GAN网络生成器生成的图像越近似高分辨率图像，判别器被训练能够区分图像的真伪；步骤六，模型测试：测试图像按照步骤二的将待处理的低清晰度的图像输入训练好的图像清晰化GAN网络，网络自动调用最后一次保存的模型，即可得到相对应的高清晰度图像；步骤七，检查测试效果：若模型能够根据测试图像生成高清晰度的图像，则模型训练较好，可以满足实际应用要求；若测试效果不佳，则重新开始步骤一增加训练样本，重新进行训练。步骤二所述的图像清晰化，采用人为添加噪音使变为低清晰度的图像，然后再通过算法或神经网络来进行图像的恢复。步骤四所述的图像清晰化GAN网络的搭建，具体做法是：1)GAN是生成模型，条件GAN学习从输入图像x和随机噪声向量z到y的映射，G:{x,z}→y，生成器G被训练生成不能通过判别器D区分的图像，判别器D被训练尽可能地检测发生器的假图像；2)GAN网络目标：条件GAN的目标可以表示为：其中，G试图最小化这个目标函数，以对抗试图最大化的D，即其中x为输入图像，y为输出图像，G为生成器，D为判别器，即D(x,y)判别输入图像x与监督图像y，Ex,y[logD(x,y)]为判别器对于x和y的期望，G(x,y)为根据输入图像x与监督图像y训练后生成的图像，D(x,G(x,y))为判别输入图像与生成器生成图像，Ex,z[log(1-D(x,G(x,y)))]为生成器生成的图像不被判别器区分的期望；生成器与判别器同时训练：固定判别器，调整G的参数使得log(1-D(x,G(x,y)))的期望最小化；固定生成器，调整D的参数使得logD(x,y)+log(1-D(x,G(x,y)))的期望最大化，这个优化过程可以归结为极小极大博弈问题。与现有技术相比，本专利技术的有益效果是：本专利技术使用GAN网络，训练集有50000对轧钢工业监控图像，调用vgg16模块进行了10次迭代后损失值基本不变，且模型能够重建出清晰度较高的监控图像。本专利技术通过对低清晰度的工业监控图像进行恢复和清晰化处理，得到重建的高清晰度图像，在不提高设备硬件成本和人力维护的前提下，提高了工业监控视频的图像分辨率，能够根据已有的低清晰度图像获得更有辨识度、细节更丰富的高清晰图像，用于辅助提高监控的效果。所述的一种基于GAN网络的工业监控视频图像清晰化方法，图像清晰化处理或图像超分辨重建过程中对图像数据的预处理一般采用人为添加噪音使变为低清晰度的图像，然后再通过算法或神经网络来进行图像的恢复。因此低清晰度图像与高清晰度图像是一一对应的，而本专利技术中使用的GAN网络并不需要进行图像模糊处理的对应的低清晰化图像，采集两组不同状态的图像就可满足训练的要求。本专利技术训练好的图像清晰化模型更贴切工业场景，具有实际应用价值。本专利技术通过不断的对抗学习，上述网络能够根据输入的低清晰度的图像生成高清晰度的工业监控图像；本专利技术使用两组轧钢监控视频作为训练集对网络进行离线训练，不需要进行图像模糊处理，即可实现对监控图像进行图像清晰化处理；该方法以真实的工业监控环境为训练对象，且具有训练过程简单，模型小，效果好，且计算效率高，非常适合复杂工业环境下对监控图像的恢复和清晰化处理。附图说明图1是本专利技术的实现流程框架图。图2是本专利技术监控视频的低清晰度图像。图3是本专利技术监控视频的高清晰度图像。图4是本专利技术经过训练后重建的高清晰度图像。具体实施方式下面结合附图和实施例对本专利技术作进一步详细说明。一种基于GAN网络的工业监控视频图像清晰化方法，使用深度学习网络中的GAN网络架构中生成器与判别器的对抗关系，对于输入的低清晰度图像进行特征提取和重建，引入符合人眼视觉效果的感知损失函数使生成的图像与真实高清晰度图像进行对比，来调节生成网络与判别网络的权重，使得判别器能够很好的区分图像的真伪，生成器能够生成逼真的高清晰度的重建图像，具体包括以下步骤：步骤一，对原始工业视频图像进行采集，采集至少两组视频数据作为训练集；一组为实际工业环境下受灰尘、烟雾、光照变化导致监控视频模糊、光照不足、像素损失导致画面不清晰的低清晰本文档来自技高网...

【技术保护点】
1.一种基于GAN网络的工业监控视频图像清晰化方法，其特征在于，包括以下步骤：/n步骤一，对原始工业视频图像进行采集，采集至少两组视频数据作为训练集；一组为实际工业环境下受灰尘、烟雾、光照变化导致监控视频模糊、光照不足、像素损失导致画面不清晰的低清晰度视频图像；一组作为监督学习标签的镜头经过清洗后采集的高清晰度视频图像；采集的低清晰度图像多于高清晰度图像；/n步骤二，图像数据预处理：将两组视频按帧保存为图像，按照图像清晰化GAN网络输入图像的格式调整为一张拼接的合成图像，低清晰度的图像与高清晰度的图像分别为合成图像的左半张与右半张，即左边为低清晰度图像，右边为高清晰度图像；若改变两张图像的位置，其位置相应的代码也需要改变；/n步骤三，检测是否含有训练好的模型：如果已经有训练好的模型，则进入步骤五直接进行模型的测试；如果没有检测到模型，则进入步骤四进行模型的搭建和训练；/n步骤四，搭建GAN网络：GAN网络包括两个主要组成模块：生成器和判别器；低清晰度图像输入生成器生成伪高清晰度图像，判别器被训练判别图像为生成器生成的高清晰图像还是真实高清晰图像，损失函数用于调节网络层级间的权重；最终的图像清晰化GAN网络能根据输入的低清晰度图像生成高清晰度的图像；/n步骤五，模型训练：输入一张合成图像，左边图像输入生成器生成伪高清晰度图像与右边真实的高清晰度图像比较，误差传入生成器和判别器调整其网络层级之间的权重；训练至损失值不再下降即可终止训练，该GAN网络生成器生成的图像越近似高分辨率图像，判别器网络被训练能够区分图像的真伪；/n步骤六，模型测试：测试图像按照步骤二的将待处理的低清晰度的图像输入训练好的图像清晰化GAN网络，网络自动调用最后一次保存的模型，即可得到相对应的高清晰度图像；/n步骤七，检查测试效果：若模型能够根据测试图像生成高清晰度的图像，则模型训练较好，可以满足实际应用要求；若测试效果不佳，则重新开始步骤一增加训练样本，重新进行训练。/n...

【技术特征摘要】
1.一种基于GAN网络的工业监控视频图像清晰化方法，其特征在于，包括以下步骤：
步骤一，对原始工业视频图像进行采集，采集至少两组视频数据作为训练集；一组为实际工业环境下受灰尘、烟雾、光照变化导致监控视频模糊、光照不足、像素损失导致画面不清晰的低清晰度视频图像；一组作为监督学习标签的镜头经过清洗后采集的高清晰度视频图像；采集的低清晰度图像多于高清晰度图像；
步骤二，图像数据预处理：将两组视频按帧保存为图像，按照图像清晰化GAN网络输入图像的格式调整为一张拼接的合成图像，低清晰度的图像与高清晰度的图像分别为合成图像的左半张与右半张，即左边为低清晰度图像，右边为高清晰度图像；若改变两张图像的位置，其位置相应的代码也需要改变；
步骤三，检测是否含有训练好的模型：如果已经有训练好的模型，则进入步骤五直接进行模型的测试；如果没有检测到模型，则进入步骤四进行模型的搭建和训练；
步骤四，搭建GAN网络：GAN网络包括两个主要组成模块：生成器和判别器；低清晰度图像输入生成器生成伪高清晰度图像，判别器被训练判别图像为生成器生成的高清晰图像还是真实高清晰图像，损失函数用于调节网络层级间的权重；最终的图像清晰化GAN网络能根据输入的低清晰度图像生成高清晰度的图像；
步骤五，模型训练：输入一张合成图像，左边图像输入生成器生成伪高清晰度图像与右边真实的高清晰度图像比较，误差传入生成器和判别器调整其网络层级之间的权重；训练至损失值不再下降即可终止训练，该GAN网络生成器生成的图像越近似高分辨率图像，判别器网络被训练能够区分图像的真伪；
步骤六，模型测试：测试图像按照步骤二的将待处理的低清晰度的图像输入训练好的图像清晰化GAN网络，网络自动调用最后一次保存的模型，即可得到相对...

【专利技术属性】
技术研发人员：杨延西，毛如玉，高异，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61