基于深度学习的图像扩充方法和装置、存储介质和计算机制造方法及图纸

本发明专利技术提供一种图像扩充方法和装置、存储介质和计算机。所述图像扩充方法包括：提供包括有多张原始图像的第一图像集和生成对抗网络；对所述原始图像进行图像处理以得到处理后图像，多张处理后图像构成第二图像集，基于第一图像集和第二图像集形成第三图像集；利用第三图像集中的图像来训练所述生成对抗网络，得到最终的生成对抗网络；最终的生成对抗网络的基于第三图像集生成多张生成图像，并判断所述多张生成图像的真伪，被判断为真的多张生成图像形成第四图像集，基于第三图像集和第四图像集形成第五图像集。这样可以有效的扩充优质的图像集，以便为后续图像分类或目标检测的卷积神经网络模型训练提供优质的图像源。神经网络模型训练提供优质的图像源。神经网络模型训练提供优质的图像源。

【技术实现步骤摘要】
基于深度学习的图像扩充方法和装置、存储介质和计算机


[0001]本专利技术涉及深度学习领域，尤其涉及一种基于深度学习的图像扩充方法和装置、存储介质和计算机。

技术介绍

[0002]深度学习凭借其在识别应用中较高的预测准确率，在图像分类、图像语义分割领域中表现不凡，主要利用卷积神经网络(CNN)，在图像中寻找特征，或将目标从背景中分离出来，或将不同类别的目标区分开来。
[0003]然而，建立一个优质的神经网络模型的前提，就是拥有一个优质的图像训练集，这不仅在数量上有所要求，还需针对环境差异化具有一定容纳性，这一点在工业应用时尤为重要，因为造成图片变化的不可抗因素极多，工业环境中，光源、相机、镜头等硬件性能的衰落，外部环境的变化与干扰，都会影响到模型的鲁棒性，但在已有的图像数据中无法完全体现出来。
[0004]因此，有效的图像扩充方式是达到工业环境高适应性的重要途径。

技术实现思路

[0005]本专利技术的目的在于提供一种图像扩充方法和装置、存储介质和计算机，其可以有效的扩充优质的图像集，以便为后续图像分类或目标检测的卷积神经网络模型训练提供优质的图像源。
[0006]为实现专利技术目的，根据本专利技术的一个方面，本专利技术提供一种图像扩充方法，其包括：提供第一图像集和生成对抗网络，其中第一图像集包括有多张原始图像，所述生成对抗网络包括生成模型和判别模型；对所述原始图像进行图像处理以得到处理后图像，多张处理后图像构成第二图像集，其中所述图像处理包括图形变换、光效处理、色彩及细节处理、特殊处理中的一种或多种，基于第一图像集和第二图像集形成第三图像集；利用第三图像集中的图像来训练所述生成对抗网络，得到最终的生成对抗网络；最终的生成对抗网络的生成模型基于第三图像集生成多张生成图像，最终的生成对抗网络的判别模型判断所述多张生成图像的真伪，被判断为真的多张生成图像形成第四图像集，基于第三图像集和第四图像集形成第五图像集。
[0007]根据本专利技术的另一个方面，本专利技术提供一种图像扩充装置，其包括：预扩充模块，其对第一图像集内的多张原始图像进行图像处理以得到处理后图像，多张处理后图像构成第二图像集，基于第一图像集和第二图像集形成第三图像集，其中所述图像处理包括图形变换、光效处理、色彩及细节处理、特殊处理中的一种或多种；生成对抗网络，其包括生成模型和判别模型，利用第三图像集中的图像来训练所述生成对抗网络得到最终的生成对抗网络，最终的生成对抗网络的生成模型基于第三图像集生成多张生成图像，最终的生成对抗网络的判别模型判断所述多张生成图像的真伪，被判断为真的多张生成图像形成第四图像集，其中基于第三图像集和第四图像集形成第五图像集。
[0008]根据本专利技术的另外一个方面，本专利技术提供一种存储介质，其存储有程序指令，在所述程序执行被运行以执行上述图像扩充方法。所述图像扩充方法包括：提供第一图像集和生成对抗网络，其中第一图像集包括有多张原始图像，所述生成对抗网络包括生成模型和判别模型；对所述原始图像进行图像处理以得到处理后图像，多张处理后图像构成第二图像集，其中所述图像处理包括图形变换、光效处理、色彩及细节处理、特殊处理中的一种或多种，基于第一图像集和第二图像集形成第三图像集；利用第三图像集中的图像来训练所述生成对抗网络，得到最终的生成对抗网络；最终的生成对抗网络的生成模型基于第三图像集生成多张生成图像，最终的生成对抗网络的判别模型判断所述多张生成图像的真伪，被判断为真的多张生成图像形成第四图像集，基于第三图像集和第四图像集形成第五图像集。
[0009]根据本专利技术的另外一个方面，本专利技术提一种计算机，其包括处理器和存储器，所述存储器中存储有程序指令，所述处理器运行所述程序指令以执行上述图像扩充方法。所述图像扩充方法包括：提供第一图像集和生成对抗网络，其中第一图像集包括有多张原始图像，所述生成对抗网络包括生成模型和判别模型；对所述原始图像进行图像处理以得到处理后图像，多张处理后图像构成第二图像集，其中所述图像处理包括图形变换、光效处理、色彩及细节处理、特殊处理中的一种或多种，基于第一图像集和第二图像集形成第三图像集；利用第三图像集中的图像来训练所述生成对抗网络，得到最终的生成对抗网络；最终的生成对抗网络的生成模型基于第三图像集生成多张生成图像，最终的生成对抗网络的判别模型判断所述多张生成图像的真伪，被判断为真的多张生成图像形成第四图像集，基于第三图像集和第四图像集形成第五图像集。
[0010]与现有技术相比，本专利技术采用传统图像处理以及生成对抗网络(GAN)结合的方法，进行有效的图像扩充，为后续图像分类或目标检测的卷积神经网络模型训练提供优质的图像源，使其兼容多项干扰因素，使得检测在多干扰的工业环境中具有更高的准确率。
附图说明
[0011]图1为本专利技术的图像扩充方法在一个实施例中的流程示意图；
[0012]图2为本专利技术中的图像扩充装置在一个实施例中的流程示意图；
[0013]图3为本专利技术中的图像扩充方案的扩充原理示意图；
[0014]图4为本专利技术中的生成对抗网络的生成模型在一个实施例中的结构示意图；
[0015]图5为本专利技术中的生成对抗网络的判别模型在一个实施例中的结构示意图。
具体实施方式
[0016]为更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术的具体实施方式、结构、特征及其功效，详细说明如下。
[0017]图1为本专利技术的图像扩充方法100在一个实施例中的流程示意图。如图1所示的，所述图像扩充方法100包括如下步骤或操作。
[0018]步骤110，提供第一图像集和生成对抗网络(GAN,Generative Adversarial Networks)，其中第一图像集包括有多张原始图像。
[0019]在本文中，一张图像就是用于进行后续传统图像处理以及训练生成对抗网络的一
张图像。所述原始图像可以由摄像机通过拍摄获取。如图3所示，其仅示意出了一张原始图像，其实际上可以有很多张，这张原始图像的内容为一直小鸡，但是很显然，原始图像的内容可以是其他任何需要进行分类或检测的内容。
[0020]所述生成对抗网络是一种深度学习模型，其包括生成模型(Generative Model)和判别模型(Discriminative Model)，其中生成模型和判别模型的互相博弈学习产生相当好的输出。很显然，第一图像集和生成对抗网络可以在同一步骤中被提供，也可以在不同步骤中被提供，这取决于需要和选择。
[0021]如背景中提到的，第一图像集通常数量较少，需要进行有效的扩充，以便为后续图像分类或目标检测的卷积神经网络模型训练提供优质的图像源。
[0022]步骤120，对所述原始图像进行图像处理以得到处理后图像，多张处理后图像构成第二图像集，其中所述图像处理包括图形变换、光效处理、色彩及细节处理、特殊处理中的一种或多种，基于第一图像集和第二图像集形成第三图像集。
[0023]该步骤120本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像扩充方法，其特征在于，其包括：提供第一图像集和生成对抗网络，其中第一图像集包括有多张原始图像，所述生成对抗网络包括生成模型和判别模型；对所述原始图像进行图像处理以得到处理后图像，多张处理后图像构成第二图像集，其中所述图像处理包括图形变换、光效处理、色彩及细节处理、特殊处理中的一种或多种，基于第一图像集和第二图像集形成第三图像集；利用第三图像集中的图像来训练所述生成对抗网络，得到最终的生成对抗网络；最终的生成对抗网络的生成模型基于第三图像集生成多张生成图像，最终的生成对抗网络的判别模型判断所述多张生成图像的真伪，被判断为真的多张生成图像形成第四图像集，基于第三图像集和第四图像集形成第五图像集。2.如权利要求1所述的图像扩充方法，其特征在于，对第五图像集中的图像进行标记，利用标记后的第五图像集来训练卷积神经网络模型，得到训练后的卷积神经网络模型。3.如权利要求1所述的图像扩充方法，其特征在于，所述图形变换包括翻转、旋转、畸变、缩放中的一种或几种；所述光效处理包括亮度处理、对比度处理、高光暗部处理、光照渐变处理中的一种或几种；所述色彩及细节处理包括饱和度处理、色相处理、色温处理、噪声处理、清晰度处理中的一种或几种；所述特殊处理包括遮挡处理、变形处理中的一种或几种，第三图像集包括第一图像集的部分或全部和第二图像集的部分或全部，第五图像集包括第三图像集的部分或全部和第四图像集的部分或全部。4.如权利要求1所述的图像扩充方法，其特征在于，利用第三图像集中的图像来训练所述生成对抗网络以使得所述判别模型的判断准确率最大化以及所述生成模型具有最大化欺骗所述判别模型的能力，所述生成模型包括编码器、噪声添加模块和解码器，所述编码器包括卷积层、池化层、多个密集块、分别连接于对应的密集块输出端的多个过渡层，所述解码器包括多个密集块和分别连接于对应的密集块输出端的多个反卷积过渡层，所述噪声添加模块连接于编码器的输出端和解码器的输入端之间，所述解码器输出对应输入图像相同尺寸的生成图像，所述判别模型属于二分类模型，其包括池化层、卷积层、多个密集块、连接于多个密集块之间的过渡层、全局池化层和全连接层，当一张输入图像输入所述生成对抗网络后，先由所述生成模型的编码器对输入图像进行特征提取，由噪声添加模块添加随机噪声后，再由所述生成模型的解码器输出对应输入图像相同尺寸的生成图像，然后将所述生成图输入所述判别模型，所述判别模型对所述生成图像进行特征提取，所述判别模块还对所述输入图像进行特征提取，所述判别模块根据从所述生成图像中提取的特征与从所述输入图像中提取的特征输出所述生成图像对应真伪类别的概率值，最终确定所述生成图像是真是伪。5.如权利要求4所述的图像扩充方法，其特征在于，所述编码器包括1个卷积层、1个池化层、4个密集块和4个过渡层，所述编码器的1个卷积层、1个池化层、4个密集块依次相连，4个过渡层分别连接于对应的密集块的输出端，每个密集块与位于其后方的每个过渡层相
连；所述解码器包括4个密集块和分别连接于对应的密集块输出端的4个反卷积过渡层，每个密集块与位于其后方的每个反卷积过渡层相连，所述判别模型包括依次相连的1个池化层、1个卷积层、4个密集块、分别连接于4个密集块之间的3个过渡层、1个全局池化层和1个全连接层，每个密集块与位于其后方的每个过渡层相连。6.如权利要求4所述的图像扩充方法，其特征在于，利用第三图像集中的图像对所述生成模型和所述判别模型进行交替训练，通过梯度下降算法最小化损失函数，对所述生成模型和所述判别模型的参数进行反向调节，迭代训练指定次数后获取较小的损失函数，生成最终的生成对抗网络。7.一种图像扩充装置，其特征在于，其包括：预扩充模块，其对第一图像集内的多张...

【专利技术属性】
技术研发人员：韩旭，颜聪，
申请(专利权)人：东声苏州智能科技有限公司，
类型：发明
国别省市：