针对成像中直流分量变化的深度学习样本增强方法技术

本发明专利技术涉及一种针对成像中直流分量变化的深度学习样本增强方法，包括以下步骤，S1、样本选取；S2、特征提取；S3、训练图像集数据处理；S4、目标图像集数据处理；S5、网络设计；S6、网络训练；S7、迭代训练；S8、网络使用。本发明专利技术利用在不同成像环境下得到的样本图像，进行直方图统计，利用对抗神经网络训练出不同成像环境下的直方图转换网络；然后利用网络输出的直方图对原图进行直方图规定化，从而生成模拟不同成像环境下，且效果接近真实的样本图像，实现样本增强，用于设备上深度学习网络模型的训练，从而提高模型的泛化能力，无需重新训练。无需重新训练。无需重新训练。

【技术实现步骤摘要】
针对成像中直流分量变化的深度学习样本增强方法


[0001]本专利技术涉及图像视觉检测
，尤其是一种针对成像中直流分量变化的深度学习样本增强方法。

技术介绍

[0002]自动化机器视觉行业一直以来存在不同机台成像效果存在差异的问题，尤其是量产机台，每台机器可能是由不同光电人员调试并定型的，不同光电人员的经验，能力，评价标准等存在差异，使得成像效果差异更大。
[0003]这种差异直接导致在样机上的算法无法在新机台上直接复制使用，对于传统算法，可以通过参数设计，调整参数的方法完成快速复制；但对于使用到深度学习算法的设备，由于深度学习是一个端到端的过程，在使用阶段几乎没有中间参数可供调节，检出效果主要由网络设计以及训练样本及训练方法决定，无法像传统算法那样通过设计中间参数，在使用的时候调节中间参数，使算法能快速复用到其他机台上。
[0004]对于这个问题，现有的已知的解决办法都是从样本增强上着手解决，通常有以下三种方式；（1）最原始的办法是直接将图像全局各通道的灰度分别加上或者减去一个恒定值，用来模拟不同成像环境下的样本图片；（2）后来又有人研究光照变化导致灰度变化的数学模型，试图通过数学建模来进行样本增强；（3）近年来，出现了使用对抗神经网络来生成训练样本的办法，使用的是传统对抗神经网络，即将高斯随机序列信号作为输入，以样本图像作为标签，来训练对抗神经网络，最终利用训练好的网络来生成样本。
[0005]但是，上述三种方式分别存在以下问题：（1）全局灰度加减恒定值的方法较为简单，只考虑到了图像的全局亮暗变化，与真正的成像亮度变化效果有较大差别，所以生成的样本往往与真实的成像效果像差很大；（2）基于数学建模的方法提供了一个解决该问题的理论方向，但由于该数学模型过于复杂，很难设计出有效的数学模型，目前也没有已知的该类方法用于实际生产；（3）基于常规对抗神经网络生成样本的方法，针对性不强，缺乏可控性，且效果很不稳定，很难针对不同的成像环境生成相应环境下的样本图像。
[0006]并且，在基于机器视觉的检测设备量产时，由于每台设备的光电系统都是由人工调试，会造成不稳定性，从而影响算法检出效果，尤其是深度学习，可能因此需要针对每台机器的成像重新训练模型，从而带来的增加生产周期以及成本的问题。

技术实现思路

[0007]本专利技术要解决的技术问题是：提供一种针对成像中直流分量变化的深度学习样本增强方法，解决由于成像环境的改变导致的深度学习模型需要在新生产的机台上重新训练
的问题，使得在样机上训练的模型可以直接复用到其他机台，从而缩短机台的生产周期，节约生产成本。
[0008]本专利技术解决其技术问题所采用的技术方案是：一种针对成像中直流分量变化的深度学习样本增强方法，包括以下步骤，S1、收集同一种产品在各种成像环境下的样本，作为不同的子集，分别为训练图像集与目标图像集；S2、提取训练图像集每张图像的各通道的直方图，并对直方图向量进行归一化；S3、针对每张训练图像集中的图像，生成高斯随机信号，并将这个高斯随机信号分别与该幅图像的各通道的经过归一化的直方图进行一维拼接，形成向量，作为一个训练样本，最终由获得的训练样本组成训练集；S4、提取目标图像集每张图像的各通道的直方图，并对直方图向量进行归一化，构成一个目标样本，最终由获得的目标样本组成目标集；S5、将训练集中的样本输入GAN中的生成网络，生成网络由若干个全连接层构成，其中输出层为SoftMax层，最终输出直方图向量；将生成网络输出的直方图向量输入GAN中的判别网络，其标签为0；将目标集中的样本输入GAN中的判别网络，其标签为1；S6、按照以上的GAN输入和标注，对GAN进行训练；S7、将步骤1中得到的各个子集轮流两两组合，将每个组合中的2个子集轮流作为训练集与目标集，按照步骤S2与步骤S6来继续训练同一个GAN网络，在该GAN网络上不断的重复训练，直到所有组合训练完成；S8、训练完成后，将生成网络应用于样本增强，将待增强样本图像参照步骤S3的方法，构成输入向量集，将输入向量集中的每个向量集输入到生成网络，生成一个直方图向量，将该直方图结合它对应的原样本图像，进行直方图规定化，得到生成的增强样本；循环将待增强样本图像进行该操作，每次用于拼接，来生成输入信号的高斯信号均为重新随机生成，直到生成的增强样本数达到规定数量。
[0009]进一步的说，本专利技术所述的步骤S2中，提取训练图像集每张图像的各通道的直方图，设每张图像的通道数为n_channel,则每张图像获得n_channel个由256个数据组成的直方图向量，将其归一化。
[0010]进一步的说，本专利技术所述的步骤S3中，针对每张训练图像集中的图像，生成一个由64个数据组成的符合N(0,1)分布的高斯随机信号，将这个一维高斯随机信号分别与该幅图像的n_channel个通道的经过归一化的直方图进行一维拼接，形成n_channel个分别由320个数据组成的向量，作为一个训练样本，将训练图像集中的每幅图像都做此操作，每幅图像获得一个训练样本，最终由获得的训练样本组成训练集。
[0011]进一步的说，本专利技术所述的步骤S4中，提取目标图像集每张图像的各通道的直方图，每张图像获得n_channel个分别由256个数据组成的直方图向量，将其归一化，构成一个目标样本，将目标图像集中的每幅图像都做此操作，每幅图像获得一个目标样本，最终由获得的目标样本组成目标集。
[0012]进一步的说，本专利技术所述的步骤S6中，当满足以下任一条件时：训练轮数大于epoch_min,且判别网络的准确率在0.5
±
t之内时；训练轮数大于epoch_max时；
结束训练；其中：epoch_min为最小训练轮数；epoch_max为最大训练轮数；t为准确率偏差阈值。
[0013]本专利技术的有益效果是，解决了
技术介绍
中存在的缺陷，利用在不同成像环境下得到的样本图像，进行直方图统计，利用对抗神经网络训练出不同成像环境下的直方图转换网络；然后利用网络输出的直方图对原图进行直方图规定化，从而生成模拟不同成像环境下，且效果接近真实的样本图像，实现样本增强，用于设备上深度学习网络模型的训练，从而提高模型的泛化能力，无需重新训练。
附图说明
[0014]图1是本专利技术的流程示意图。
具体实施方式
[0015]现在结合附图和优选实施例对本专利技术作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。
[0016]如图1所示的一种针对成像中直流分量变化的深度学习样本增强方法，利用不同成像环境下的图像，轮流作为待增强样本与目标样本，利用直方图均衡化来进行样本增强的方案；直方图结合随机信号作为输入，结合对抗神经网络GAN，最终输出直方图，再利用输出直方图通过直方图来进行样本增强的整体流程框架。
[0017]具体包括以下步骤：1、样本选取收集同一种产品在各种成像环境下的样本，作为不同的子集，选择2个子集，即2种成像环境下的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对成像中直流分量变化的深度学习样本增强方法，其特征在于：包括以下步骤，S1、收集同一种产品在各种成像环境下的样本，作为不同的子集，分别为训练图像集与目标图像集；S2、提取训练图像集每张图像的各通道的直方图，并对直方图向量进行归一化；S3、针对每张训练图像集中的图像，生成高斯随机信号，并将这个高斯随机信号分别与该幅图像的各通道的经过归一化的直方图进行一维拼接，形成向量，作为一个训练样本，最终由获得的训练样本组成训练集；S4、提取目标图像集每张图像的各通道的直方图，并对直方图向量进行归一化，构成一个目标样本，最终由获得的目标样本组成目标集；S5、将训练集中的样本输入GAN中的生成网络，生成网络由若干个全连接层构成，其中输出层为SoftMax层，最终输出直方图向量；将生成网络输出的直方图向量输入GAN中的判别网络，其标签为0；将目标集中的样本输入GAN中的判别网络，其标签为1；S6、按照以上的GAN输入和标注，对GAN进行训练；S7、将步骤1中得到的各个子集轮流两两组合，将每个组合中的2个子集轮流作为训练集与目标集，按照步骤S2与步骤S6来继续训练同一个GAN网络，在该GAN网络上不断的重复训练，直到所有组合训练完成；S8、训练完成后，将生成网络应用于样本增强，将待增强样本图像参照步骤S3的方法，构成输入向量集，将输入向量集中的每个向量集输入到生成网络，生成一个直方图向量，将该直方图结合它对应的原样本图像，进行直方图规定化，得到生成的增强样本；循环将待增强样本图像进行该操作，每次用于拼接，来生成输入信号的高斯信号均为重新随机生成，直到生成的增强样本数达到规定数量。2.如权利要求...

【专利技术属性】
技术研发人员：都卫东，王天翔，
申请(专利权)人：征图新视江苏科技股份有限公司，
类型：发明
国别省市：