样本图像数据增强方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提出一种样本图像数据增强方法、装置、电子设备及计算机可读存储介质。所述样本图像数据增强方法包括：获取样本图像；获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；获取依据所述样本图像生成具有所述感兴趣区域的标注图像；获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。本发明专利技术提出的样本图像数据增强方法所需训练资源较少，生成的扩展样本图像的质量也较高。

【技术实现步骤摘要】
样本图像数据增强方法、装置、电子设备及存储介质
本专利技术涉及计算机图像处理
，尤其涉及一种样本图像数据增强方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着社会经济的不断发展，社会大众生活水平的逐步改善，计算机技术在生产生活中得到广泛推广，特别是计算机图像处理技术，成为当前计算机应用领域中的重要技术类型之一。计算机图像处理技术中，如何对样本图像数据进行增强，在实际工业项目中解决样本图像分布不均衡的问题时十分重要。举例来说，在进行计算机图像检测分类时，若某一类型的样本图像(如车损图像)的数量较少，导致图像检测分类模型对所述类型的样本图像的训练较少，进而在进行某一相关图像的检测分类时，可能出现错误的检测分类结果。因此，为改善样本图像分布不均衡的问题，当某一类型样本图像数据较少时，可以先对所述类型的样本图像数据进行增强。进一步地，将增强后的所述类型的多个样本图像数据输入图像检测分类模型进行训练，可以使得图像检测分类模型对某一相关图像进行检测分类时的准确率较高。一般地，样本图像数据增强方法可以分为有监督地数据增强和无监督地数据增强方法。其中，有监督的数据增强可以分为单样本图像数据增强和多样本图像数据增强，无监督的数据增强可以分为生成新的数据和学习增强策略。有监督数据增强采用预设的数据变换规则，在已有数据的基础上进行数据扩充。其中，单样本图像数据增强包括几何操作如翻转、旋转等和颜色变换如噪声、模糊等。该类方法的优势很明显，即操作方便，但是存在过拟合的风险。多样本图像数据增强不同于单样本数据增强，它利用多个样本图像来产生新的样本图像，如SMOTE、SamplingPairing和mixup等，这三种方法都是试图将离散样本点连续化来拟合真实分布，不过所增加的样本图像在特征空间中仍位于已知小样本图像点所围成的区域内。而且，该类方法存在一些潜在问题，如SMOTE，它为每个小众样本图像合成数量相同的样本图像，然而，其一方面增加了类之间重叠的可能性，另一方面生成了一些没有提供有益信息的样本。无监督的数据增强方法主要分为两种：通过模型学习出适合当前任务的数据增强方法，如AutoAugment，通过模型学习数据的分布，随机生成与训练数据集分布一致的图片，如对抗生成网络(GAN)。AutoAugment的基本思想思路是从数据本身寻找最佳图像变换策略，对于不同的任务学习不同的增强方法。从预先准备的16个常用数据增强操作中随机选取5个，通过训练和验证来挑选出能够达到数据增强的增强操作组合。该方法能够对于不同的任务学习最佳的数据增强方法，比之有监督数据增强中采用预设的数据变换规则要更灵活、更有针对性。同时，该方法的劣势也很明显：耗费计算资源过大，在计算资源有限的情况下难以实现。
技术实现思路
本专利技术提供一种样本图像数据增强方法、装置、电子设备及计算机可读存储介质，其主要目的在于基于对抗生成网络对样本图像数据进行增强，生成扩展样本图像。为实现上述目的，本专利技术提供一种样本图像数据增强方法，其包括以下步骤：获取样本图像；获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；获取依据所述样本图像生成具有所述感兴趣区域的标注图像；获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。优选地，所述初始对抗生成网络模型包括多个生成器G0,G1,......GN及与所述多个生成器G0,G1,......GN对应的多个判别器D0,D1,......DN，所述多个生成器G0,G1,......GN的输出图像尺寸按照G0,G1,......GN的顺序依次增大，所述图像块包括多个尺寸顺序增大的图像块x0,x1,......xN，所述初始对抗生成网络模型的输入包括所述图像块及噪声图像z0,z1,......zN，其中N为大于等于2的自然数，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中：当n＝N时，将所述噪声图像zn输入所述生成器Gn得到输出图像将所述输出图像及所述图像块xn输入所述判别器Dn，并对所述生成器Gn及所述判别器Dn进行交替迭代训练；当n<N时，n为自然数，将所述噪声图像zn及对所述生成器Gn+1的输出图像的采样图像输入所述生成器Gn得到输出图像并将所述输出图像及所述图像块xn输入所述判别器Dn，对所述生成器Gn及所述判别器Dn进行交替迭代训练；及保存训练后的所述多个生成器或保存训练后的所述多个生成器及所述多个判别器作为所述目标对抗生成网络模型。优选地，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中，所述多个生成器G0,G1,......GN对应的多个判别器D0,D1,......DN依照从GN至G0、从DN至D0的顺序被依次训练及固定；当n＝N时，所述生成器Gn包括卷积神经网络，所述卷积神经网络接收所述噪声图像zn并输出所述输出图像当n<N时，所述生成器Gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器用于将所述噪声图像zn及对所述采样图像叠加后提供至所述卷积神经网络，所述第二叠加器用于将所述卷积神经网络的输出图像与所述采样图像叠加后作为所述输出图像优选地，所述初始对抗生成网络模型包括全卷积的金字塔对抗生成网络模型。优选地，所述生成器Gn的卷积神经网络采用33Conv-BN-LeackyReLU组成的5层全卷积网络。优选地，所述生成器Gn采用可提供梯度惩罚损失的WGAN-GP。优选地，所述判别器Dn为马尔科夫判别器。优选地，所述生成器Gn及所述判别器Dn的训练损失包括对抗损失ladv和重建损失lrec，所述生成器Gn及所述判别器Dn的训练损失的公式如下：其中，代表所述生成器Gn的对抗损失最小且所述判别器Dn的对抗损失最大时的乘积，λ代表超参数，lrac(Gn)代表所述生成器Gn的重建损失。优选地，所述重建损失lrec符合如下条件：当n＝N时，所述噪声图像zN为随机噪声图像z*，所述生成器Gn及所述判别器Dn的重建损失为：lrec＝||(GN(z*)-xN||2；当n＜N时，所述噪声图像zn为0，所述生成器Gn及所述判别器Dn的重建损失为：优选地，所述样本图像包括车损图像。优选地，所述感兴趣区域包括所述车损图像中的车身划痕区域或车身开裂区域。为实现上述目的，本专利技术还提供一种样本图像数据增强装置，其包括：样本图像获取模块，用于获取样本图像；网络模型获取模块，用于获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；标注图像获取模块，用于获取依据所述样本图像生成具有所述感兴趣区域的标注图像；掩膜图像获取模块，用于获取对所述标注图像中所述感兴趣区域以外本文档来自技高网...

【技术保护点】
1.一种样本图像数据增强方法，其特征在于，所述方法包括以下步骤：/n获取样本图像；/n获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；/n获取依据所述样本图像生成具有所述感兴趣区域的标注图像；/n获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及/n将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。/n

【技术特征摘要】
1.一种样本图像数据增强方法，其特征在于，所述方法包括以下步骤：
获取样本图像；
获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。


2.根据权利要求1所述的样本图像数据增强方法，其特征在于，所述初始对抗生成网络模型包括多个生成器G0，G1，......GN及与所述多个生成器G0，G1，......GN对应的多个判别器D0，D1，......DN，所述多个生成器G0，G1，......GN的输出图像尺寸按照G0，G1，......GN的顺序依次增大，所述图像块包括多个尺寸顺序增大的图像块x0，x1，......xN，所述初始对抗生成网络模型的输入包括所述图像块及噪声图像z0，z1，......zN，其中N为大于等于2的自然数，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中：
当n＝N时，将所述噪声图像zn输入所述生成器Gn得到输出图像将所述输出图像及所述图像块xn输入所述判别器Dn，并对所述生成器Gn及所述判别器Dn进行交替迭代训练；
当n＜N时，n为自然数，将所述噪声图像zn及对所述生成器Gn+1的输出图像的采样图像输入所述生成器Gn得到输出图像并将所述输出图像及所述图像块xn输入所述判别器Dn，对所述生成器Gn及所述判别器Dn进行交替迭代训练；及
保存训练后的所述多个生成器G0，G1，......GN或保存训练后的所述多个生成器G0，G1，......GN及所述多个判别器D0，D1，......DN作为所述目标对抗生成网络模型。


3.根据权利要求2所述的样本图像数据增强方法，其特征在于，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中，所述多个生成器G0，G1，......GN对应的多个判别器D0，D1，......DN依照从GN至G0、从DN至D0的顺序被依次训练及固定；
当n＝N时，所述生成器Gn包括卷积神经网络，所述卷积神经网络接收所述噪声图像zn并输出所述输出图像
当n＜N时，所述生成器Gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器用于将所述噪声图像zn及对所述采样图像叠加后提供至所述卷积神经网络，所述第二叠加器用于将所述卷积神经网络的输出图像与所述采样图像叠加后作为所述...

【专利技术属性】
技术研发人员：赵霄鸿，刘莉红，刘玉宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44