基于对抗网络的三角形标志牌图像数据增广方法及装置制造方法及图纸

本发明专利技术涉及一种基于对抗网络的三角标志牌图像数据增广方法及装置，本发明专利技术首先提取原始道路图像中的第一目标三角标志牌送入StyleGAN2对抗网络中进行模型训练并生成三角标志牌假图；然后提取原始道路图像中的第二目标三角标志牌，分别提取三角标识牌假图和第二目标三角标志牌的三角形角点；最后根据所述三角标识牌假图和第二目标三角标志牌的三角形角点进行仿射变换，将第二目标三角标志牌替换为三角标志牌假图，从而实现第一目标标志牌的数据增广。数据增广。数据增广。

【技术实现步骤摘要】
基于对抗网络的三角形标志牌图像数据增广方法及装置


[0001]本专利技术涉及深度学习神经网络
，具体涉及一种基于对抗网络的三角形标志牌图像数据增广方法及装置。

技术介绍

[0002]生成对抗网络(GAN)是生成模型的一种神经网络架构。GAN是使用两个神经网络模型训练而成的一种生成模型。其中一个称为“生成器”模型，可学习生成新的可用图像；另一个称为“判别器”，可用于判别区分生成的假图和训练模型的原始图像。这两种模型处于一种竞争状态，生成器企图愚弄判别器，而判别器则要同时处理生成图片和实际图片。
[0003]但是对抗网络生成的图片都是整张图像，但是目前现有对抗网络生成的图像分辨率较小，无法满足现有的深度学习模型训练工作，如何在使用对抗网络生成整张图像中的局部小目标，同时将小目标融合到整体图片时，图片的边缘的平滑梯度较小，生成新的目标又具备多样性，这是生成对抗网络一个较难解决的问题。

技术实现思路

[0004]本专利技术针对现有技术中存在的技术问题，提供一种基于对抗网络的三角形标志牌图像数据增广方法，生成道路图像中的三角形标志牌，用于替换原始图像的其他类型的三角形标志牌，从而对某种类型比较少的三角形标志牌图片数据达到数据增广的目的。
[0005]本专利技术解决上述技术问题的技术方案如下：
[0006]第一方面，本专利技术提供一种基于对抗网络的三角标志牌图像数据增广方法，包括以下步骤：
[0007]提取原始道路图像中的第一目标三角标志牌送入StyleGAN2对抗网络中进行模型训练并生成三角标志牌假图；
[0008]提取原始道路图像中的第二目标三角标志牌，分别提取三角标识牌假图和第二目标三角标志牌的三角形角点；
[0009]根据所述三角标识牌假图和第二目标三角标志牌的三角形角点进行仿射变换，将第二目标三角标志牌替换为三角标志牌假图，从而实现第一目标标志牌的数据增广。
[0010]进一步的，在将第二目标三角标志牌替换为三角标志牌假图后，还包括：利用泊松融合算法对替换后的图像进行颜色及梯度的调节。
[0011]进一步的，所述的三角形角点的提取方法包括：
[0012]对包含三角标识牌假图或包含第二目标三角标志牌的图像进行预处理，突出图像的前景部分；
[0013]利用提取图像中三角标识牌所在的前景部分，得到各个前景的包围圈；
[0014]计算各包围圈的面积，面积最大的包围圈即为三角标志牌的外接三角形的最大包围圈；
[0015]利用三角拟合函数对所述最大包围圈进行拟合得到三角形的三个顶点。
[0016]进一步的，所述的预处理包括自适应直方图均值化和图像锐化。
[0017]进一步的，所述三角标志牌假图的生成方法包括：
[0018]加载训练好的StyleGAN2对抗网络模型，得到第一目标三角标志牌对应的平均三角标志牌图片；对所述平均三角标志牌图片添加不同的噪声生成各种不同的三角标志牌假图。
[0019]第二方面，本专利技术提供一种基于对抗网络的三角标志牌图像数据增广装置，包括：
[0020]数据提取模块，用于从原始道路图像中提取第一目标三角标志牌图像和第二目标三角标志牌图像；
[0021]模型训练模块，用于将第一目标三角标志牌送入StyleGAN2对抗网络中进行模型训练，通过加载训练好的模型生成三角标志牌假图；
[0022]角点提取模块，用于提取三角标识牌假图和第二目标三角标志牌的三角形角点；
[0023]数据增广模块，根据所述三角标识牌假图和第二目标三角标志牌的三角形角点进行仿射变换，将第二目标三角标志牌替换为三角标志牌假图，从而实现第一目标标志牌的数据增广。
[0024]进一步的，该装置还包括融合优化模块，利用泊松融合算法对替换后的图像进行颜色及梯度的调节。
[0025]进一步的，所述角点提取模块包括：
[0026]预处理子模块，用于对包含三角标识牌假图或包含第二目标三角标志牌的图像进行预处理，突出图像的前景部分；
[0027]前景提取子模块，用于提取图像中三角标识牌所在的前景部分，得到各个前景的包围圈；
[0028]最大包围圈确定子模块，计算各包围圈的面积，面积最大的包围圈即为三角标志牌的外接三角形的最大包围圈；
[0029]拟合子模块，利用三角拟合函数对所述最大包围圈进行拟合得到三角形的三个顶点。
[0030]第三方面，本专利技术提供一种电子设备，包括：
[0031]存储器，用于存储计算机软件程序；
[0032]处理器，用于读取并执行所述计算机软件程序，进而实现本专利技术第一方面所述的一种基于对抗网络的三角标志牌图像数据增广方法。
[0033]第四方面，本专利技术提供一种非暂态计算机可读存储介质，所述存储介质中存储有用于实现本专利技术第一方面所述的一种基于对抗网络的三角标志牌图像数据增广方法的计算机软件程序。
[0034]本专利技术的有益效果是：通过使用StyleGAN2对抗网络来生成无数个第一目标三角形标志牌，这样可以增广若干个第一目标三角形标志牌，利用对抗网络增广的图片与传统的数据增广方式相比具有增广形式更加随机，需要修改的参数也更加随机不确定性。然后分别求取生成三角形图片与原始三角形图片的角点，使用仿射变换对生成三角形图片进行转换，这样做的目的是为了使生成图片在形状和角度都与被替换的三角形相类似，最后使用柏松融合算法使生成图像无缝融合到原始道路图像中，这样的图像处理方式对大规模的图像增广有非常大的好处。
附图说明
[0035]图1为本专利技术实施例提供的一种基于对抗网络的三角标志牌图像数据增广方法流程示意图；
[0036]图2为本专利技术实施例提供的三角形角点获取流程示意图；
[0037]图3为本专利技术实施例提供的一种基于对抗网络的三角标志牌图像数据增广装置结构示意图；
[0038]图4为本专利技术实施例提供的角点提取模块结构示意图；
[0039]图5为本专利技术提供的一种电子设备结构示意图；
[0040]图6为本专利技术提供的一种计算机可读存储介质结构示意图。
具体实施方式
[0041]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0042]本专利技术实施例以对道路图像中“注意隧道”三角形标识牌进行数据增广为例来对本专利技术的技术方案进行说明。
[0043]图1为本专利技术实施例提供的一种基于对抗网络的三角标志牌图像数据增广方法流程示意图，如图1所示，该方法包括以下步骤：
[0044]S1，提取原始道路图像中的“注意隧道”三角形标志牌送入StyleGAN2对抗网络中进行模型训练并生成三角标志牌假图。
[0045]由于需要增广某种类型比较少的三角形标志牌，将增广后的三角形标志牌替换掉某种类型比较多的三角形标志牌，例如将其他类别的三角形标志牌替换为“注意隧道”的三角形标志牌。本专利技术的操作是收集不同场景下的道路图像，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗网络的三角标志牌图像数据增广方法，其特征在于，包括以下步骤：提取原始道路图像中的第一目标三角标志牌送入StyleGAN2对抗网络中进行模型训练并生成三角标志牌假图；提取原始道路图像中的第二目标三角标志牌，分别提取三角标识牌假图和第二目标三角标志牌的三角形角点；根据所述三角标识牌假图和第二目标三角标志牌的三角形角点进行仿射变换，将第二目标三角标志牌替换为三角标志牌假图，从而实现第一目标标志牌的数据增广。2.根据权利要求1所述的方法，其特征在于，在将第二目标三角标志牌替换为三角标志牌假图后，还包括：利用泊松融合算法对替换后的图像进行颜色及梯度的调节。3.根据权利要求1所述的方法，其特征在于，所述的三角形角点的提取方法包括：对包含三角标识牌假图或包含第二目标三角标志牌的图像进行预处理，突出图像的前景部分；利用提取图像中三角标识牌所在的前景部分，得到各个前景的包围圈；计算各包围圈的面积，面积最大的包围圈即为三角标志牌的外接三角形的最大包围圈；利用三角拟合函数对所述最大包围圈进行拟合得到三角形的三个顶点。4.根据权利要求3所述的方法，其特征在于，所述的预处理包括自适应直方图均值化和图像锐化。5.根据权利要求1所述的方法，其特征在于，所述三角标志牌假图的生成方法包括：加载训练好的StyleGAN2对抗网络模型，得到第一目标三角标志牌对应的平均三角标志牌图片；对所述平均三角标志牌图片添加不同的噪声生成各种不同的三角标志牌假图。6.一种基于对抗网络的三角标志牌图像数据增广装置，其特征在于，包括：数据提取模块，用于从原始道路图像中提取第一目...

【专利技术属性】
技术研发人员：何云，何豪杰，喻旸，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：