一种图像增强方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种图像增强方法、装置、电子设备及存储介质，该方法包括：使用神经网络模型对原始图像进行特征提取，获得隐特征向量；对隐特征向量进行修改，获得修改后的隐向量；根据修改后的隐向量对原始图像进行图像增强，获得原始图像对应的增强图像。通过使用神经网络模型对原始图像进行特征提取，并对获得的隐特征向量进行修改，获得修改后的隐向量，然后根据修改后的隐向量对原始图像进行图像增强，由于对神经网络模型提取的隐特征向量进行修改，修改后的隐向量用于引导神经网络模型生成能够提升模型泛化性能的增强图像，因此，使用获得的增强图像能够提升模型泛化性能，从而有效地提高了模型泛化性能。效地提高了模型泛化性能。效地提高了模型泛化性能。

【技术实现步骤摘要】
一种图像增强方法、装置、电子设备及存储介质


[0001]本申请涉及计算机视觉、图像处理和深度学习的
，具体而言，涉及一种图像增强方法、装置、电子设备及存储介质。

技术介绍

[0002]图像增强，是指为了减少网络的过拟合现象，通过对训练图片进行变换可以得到泛化能力更强的网络，更好的适应应用场景，也可以强调某些关注的特征，且抑制非关注的特征。
[0003]目前，为了增加神经网络模型的训练数据集，通常对原始图像进行图像增强的方式都是采用随机方式进行的，这些随机方式包括：翻转变换(flip)、缩放变换(zoom)、平移变换(shift)、尺度变换(scale)、对比度变换(contrast)、噪声(noise)添加和随机裁切等随机方式进行图像增强。然而，在具体的实施过程中发现，采用随机方式对原始图像进行图像增强，并使用得到的增强图像训练模型后，这些模型泛化性能并没有明显提升。因此，采用随机方式进行图像增强得到的增强图像难以提升模型泛化性能。

技术实现思路

[0004]本申请实施例的目的在于提供一种图像增强方法、装置、电子设备及存储介质，用于改善进行图像增强得到的增强图像难以提升模型泛化性能的问题。
[0005]本申请实施例提供了一种图像增强方法，包括：使用神经网络模型对原始图像进行特征提取，获得隐特征向量；对隐特征向量进行修改，获得修改后的隐向量；根据修改后的隐向量对原始图像进行图像增强，获得原始图像对应的增强图像。在上述方案的实现过程中，通过使用神经网络模型对原始图像进行特征提取，并对获得的隐特征向量进行修改，获得修改后的隐向量，然后根据修改后的隐向量对原始图像进行图像增强，由于对神经网络模型提取的隐特征向量进行修改，修改后的隐向量用于引导神经网络模型生成能够提升模型泛化性能的增强图像，因此，使用获得的增强图像能够提升模型泛化性能，从而有效地提高了模型泛化性能。
[0006]可选地，在本申请实施例中，神经网络模型是自编码网络；使用神经网络模型对原始图像进行特征提取，包括：使用自编码网络中的编码器对原始图像进行特征提取；根据修改后的隐向量对原始图像进行图像增强，包括：使用自编码网络中的生成器根据修改后的隐向量对原始图像进行图像增强。在上述方案的实现过程中，通过采用自编码网络中的编码器和生成器对原始图像进行图像增强，从而使得自编码网络中的编码器和生成器能够更好地生成用于提升模型泛化性能的增强图像，因此，使用获得的增强图像能够提升模型泛化性能，从而有效地提高了模型泛化性能。
[0007]可选地，在本申请实施例中，神经网络模型是超网络；根据修改后的隐向量对原始图像进行图像增强，包括：使用修改后的隐向量修改超网络的网络参数，获得修改后的超网络；通过修改后的超网络对原始图像进行图像增强。在上述方案的实现过程中，通过修改后
的超网络对原始图像进行图像增强，使得修改后的超网络能够更好地生成用于提升模型泛化性能的增强图像，因此，使用获得的增强图像能够提升模型泛化性能，从而有效地提高了模型泛化性能。
[0008]可选地，在本申请实施例中，对隐特征向量进行修改，包括：获取修改向量，并在隐特征向量的基础上增加修改向量。在上述方案的实现过程中，通过获取修改向量，并在隐特征向量的基础上增加修改向量，获得的修改后的隐向量用于引导生成能够提升模型泛化性能的增强图像，因此，使用获得的增强图像能够提升模型泛化性能，从而有效地提高了模型泛化性能。
[0009]可选地，在本申请实施例中，获取修改向量，包括：获取样本图像和样本标签，样本标签是对样本图像进行图像增强获得的增强图像；使用神经网络模型对样本图像进行图像增强，获得预测增强图像；根据预测增强图像与样本标签之间的图像像素损失值确定修改向量。在上述方案的实现过程中，通过根据预测增强图像与样本标签之间的图像像素损失值确定修改向量，从而避免了难以确定修改向量的问题，有效地提高了确定修改向量的准确率。
[0010]可选地，在本申请实施例中，获取修改向量，包括：获取样本图像和样本标签，样本标签是样本图像所属的类别标签；对样本图像进行类别预测，获得预测图像类别；根据预测图像类别与类别标签之间的分类损失值确定修改向量。在上述方案的实现过程中，通过根据预测图像类别与类别标签之间的分类损失值确定修改向量，从而避免了难以确定修改向量的问题，有效地提高了确定修改向量的准确率。
[0011]可选地，在本申请实施例中，获取修改向量，包括：获取样本图像和样本标签，样本标签包括：样本图像对应的增强图像和类别标签；使用神经网络模型对样本图像进行图像增强，获得预测增强图像，并对样本图像进行类别预测，获得预测图像类别；计算出预测增强图像与样本标签之间的图像像素损失值，并计算出预测图像类别与类别标签之间的分类损失值；根据图像像素损失值和分类损失值确定修改向量。在上述方案的实现过程中，通过根据图像像素损失值和分类损失值确定修改向量，从而避免了难以确定修改向量的问题，有效地提高了确定修改向量的准确率。
[0012]本申请实施例还提供了一种图像增强装置，包括：特征向量获得模块，用于使用神经网络模型对原始图像进行特征提取，获得隐特征向量；特征向量修改模块，用于对隐特征向量进行修改，获得修改后的隐向量；增强图像获得模块，用于根据修改后的隐向量对原始图像进行图像增强，获得原始图像对应的增强图像。
[0013]可选地，在本申请实施例中，神经网络模型是自编码网络；特征向量获得模块，包括：图像特征提取子模块，用于使用自编码网络中的编码器对原始图像进行特征提取；增强图像获得模块，包括：原始图像增强子模块，用于使用自编码网络中的生成器根据修改后的隐向量对原始图像进行图像增强。
[0014]可选地，在本申请实施例中，神经网络模型是超网络；增强图像获得模块，包括：网络参数修改子模块，用于使用修改后的隐向量修改超网络的网络参数，获得修改后的超网络；网络图像增强子模块，用于通过修改后的超网络对原始图像进行图像增强。
[0015]可选地，在本申请实施例中，特征向量修改模块，包括：向量增减修改子模块，用于获取修改向量，并在隐特征向量的基础上增加修改向量。
[0016]可选地，在本申请实施例中，向量增减修改子模块，包括：第一数据获取单元，用于获取样本图像和样本标签，样本标签是对样本图像进行图像增强获得的增强图像；增强图像预测单元，用于使用神经网络模型对样本图像进行图像增强，获得预测增强图像；第一向量确定单元，用于根据预测增强图像与样本标签之间的图像像素损失值确定修改向量。
[0017]可选地，在本申请实施例中，向量增减修改子模块，包括：第二数据获取单元，用于获取样本图像和样本标签，样本标签是样本图像所属的类别标签；图像类别预测单元，用于对样本图像进行类别预测，获得预测图像类别；第二向量确定单元，用于根据预测图像类别与类别标签之间的分类损失值确定修改向量。
[0018]可选地，在本申请实施例中，向量增减修改子模块，包括：第三数据获取单元，用于获取样本图像和样本标签，样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强方法，其特征在于，包括：使用神经网络模型对原始图像进行特征提取，获得隐特征向量；对所述隐特征向量进行修改，获得修改后的隐向量；根据所述修改后的隐向量对所述原始图像进行图像增强，获得所述原始图像对应的增强图像。2.根据权利要求1所述的方法，其特征在于，所述神经网络模型是自编码网络；所述使用神经网络模型对原始图像进行特征提取，包括：使用所述自编码网络中的编码器对所述原始图像进行特征提取；所述根据所述修改后的隐向量对所述原始图像进行图像增强，包括：使用所述自编码网络中的生成器根据所述修改后的隐向量对所述原始图像进行图像增强。3.根据权利要求1所述的方法，其特征在于，所述神经网络模型是超网络；所述根据所述修改后的隐向量对所述原始图像进行图像增强，包括：使用所述修改后的隐向量修改所述超网络的网络参数，获得修改后的超网络；通过所述修改后的超网络对所述原始图像进行图像增强。4.根据权利要求1所述的方法，其特征在于，所述对所述隐特征向量进行修改，包括：获取修改向量，并在所述隐特征向量的基础上增加所述修改向量。5.根据权利要求4所述的方法，其特征在于，所述获取修改向量，包括：获取样本图像和样本标签，所述样本标签是对所述样本图像进行图像增强获得的增强图像；使用所述神经网络模型对所述样本图像进行图像增强，获得预测增强图像；根据所述预测增强图像与所述样本标签之间的图像像素损失值确定所述修改向量。6.根据权利要求4所述的方法，其特征在于，所述获取...

【专利技术属性】
技术研发人员：李健铨，刘小康，胡加明，
申请(专利权)人：鼎富智能科技有限公司，
类型：发明
国别省市：