一种基于记忆增广网络的货车图片颜色编辑方法技术

本发明专利技术公开了一种基于记忆增广网络的货车图片颜色编辑方法，具体步骤包括获取真实场景的货车图片，并进行比例划分为训练集和测试集；对训练集的图片数据预处理和标准化，并进行图片颜色特征提取；构建基于记忆增广网络的卷积神经网络模型；设定损失函数，以及利用训练集进行网络模型训练更新；根据测试集和训练后的网络模型进行测试，并利用融合模块滤除背景杂色，得到最终颜色编辑结果。本发明专利技术图片处理、记忆增广网络和深度卷积神经网络搭建、特征提取等，实现基于记忆增广网络的货车图片颜色编辑方法，实现了货车图片的高质量颜色属性编辑，解决了一般的图像生成方法所带来的外形和车牌等纹理细节的改变的问题。和车牌等纹理细节的改变的问题。和车牌等纹理细节的改变的问题。

【技术实现步骤摘要】
一种基于记忆增广网络的货车图片颜色编辑方法


[0001]本专利技术涉及计算机视觉图像生成
，特别涉及一种基于记忆增广网络的货车图片颜色编辑方法。

技术介绍

[0002]随着社会的发展，图像生成作为一种基于记忆增广网络的货车图片颜色编辑方法重要的技术越来越受到人们的重视，应用范围也逐渐扩大，划分出了很多小领域，如：人脸属性编辑、图像着色、图像去雾去噪以及图像风格化等。日常生活中，小到手机上的美颜相机，大到AI老照片修复等，都有图像生成技术的身影。在深度学习应用到图像生成领域之后，生成图像的质量得到了极大的改善，生成的可操纵性也更加灵活，逐步衍生出两大主流方法：自编码器和对抗生成网络。
[0003]虽然两大主流方法都发展迅猛，但是都存在不足之处。两者结合的变种也存在不少，但仍存在如下问题：一、无法在有限数据集下对货车颜色进行编辑；二、无法对保证除颜色之外，货车图像的纹理不变；三、对货车特定部位的颜色编辑大多在训练时就需要大量的掩膜。

技术实现思路

[0004]本专利技术的目的克服现有技术存在的不足，为实现以上目的，采用一种基于记忆增广网络的货车图片颜色编辑方法，以解决上述
技术介绍
中提出的问题。
[0005]一种基于记忆增广网络的货车图片颜色编辑方法，具体步骤包括：
[0006]获取真实场景的货车图片，并进行比例划分为训练集和测试集；
[0007]对训练集的图片数据预处理和标准化，并进行图片颜色特征提取；
[0008]构建基于记忆增广网络的卷积神经网络模型；r/>[0009]设定损失函数，以及利用训练集进行网络模型训练更新；
[0010]根据测试集和训练后的网络模型进行测试，并利用融合模块滤除背景杂色，得到最终颜色编辑结果。
[0011]作为本专利技术的进一步的方案：所述训练集的图片设置有对应的颜色标签为L＝{L1，L2，
…
，L
i
，
…
，L
n
}，其中L
i
代表第i张训练图片的标签；
[0012]所述训练集的图像标准化公式为：P
x
＝(P
x
‑
P
mean
)/P
std
，其中P
mean
为像素均值，P
std
为像素标准差。
[0013]作为本专利技术的进一步的方案：所述构建基于记忆增广网络的卷积神经网络模型，测试图片结果，并引入融合模块的具体步骤包括：
[0014]步骤一、构建特征提取器提取货车图片的空间特征；
[0015]步骤二、采用一对多的空间颜色特征对来构建记忆增广网络模型；
[0016]步骤三、利用生成器和鉴别器构建着色网络，并引入自适应归一化层；
[0017]步骤四、最后引入特征融合模块滤除不必要的颜色改变。
[0018]作为本专利技术的进一步的方案：所述步骤一构建特征提取器提取货车图片的空间特征的具体步骤包括：
[0019]构建残差网络ResNet18，并引入预训练参数并进行固定不参与更新过程，调整最后一层输出为512维特征向量，即输出特征向量为X
res
∈R
512
；
[0020]在残差网络ResNet18后接入输入维度为512的全连接层，输出的空间特征维度S，即q∈R
S
。
[0021]作为本专利技术的进一步的方案：所述步骤二采用一对多的空间颜色特征对来构建记忆增广网络模型的具体步骤包括：
[0022]设定空间特征信息S、颜色特征信息V，以及时间信息T，并确定对应关系，其中颜色特征信息若为二维数组，则每一列颜色特征的颜色属性相同，每一行是同一个空间特征对应的所有颜色特征信息，空间特征信息、颜色特征信息，以及时间信息的数目相同，即记忆增广网络的大小；
[0023]设定空间特征和颜色特征的对应关系是一对多的，时间信息和空间信息是一一对应的，其中若当前空间特征信息S正在被访问，则对应的信息T值更新为0，否则值加1。
[0024]作为本专利技术的进一步的方案：所述步骤三利用生成器和鉴别器构建着色网络，并引入自适应归一化层的具体步骤包括：
[0025]构建生成器：采用全卷积网络的形式，设置网络输入输出为256*256的图像，其中全卷积网络的编码器设置有若干个编码模块，一编码模块包括一个卷积层和一个自适应归一化层，解码器设置有若干个解码模块，一解码模块包括一个转置卷积和一个自适应归一化层；
[0026]利用自适应归一化层将记忆增广网络检索得到的颜色特征送入生成器匹配着色，得到多样化的着色结果；
[0027]构建鉴别器：采用Conv2d卷积和LeakyReLU堆叠的结构形式，每次通道数乘2，特征图除2，并经过全连接层得到最终鉴别结果，其中全连接层由BatchNorm1d、Linear和Sigmoid构成。
[0028]作为本专利技术的进一步的方案：所述步骤四最后引入特征融合模块滤除不必要的颜色改变的具体步骤包括：
[0029]获取经过生成器生成的多样化颜色生成图片
[0030]同时将掩膜m
x
引入融合模块，得到多样化着色结果y
′
为：
[0031][0032]式中，x为输入图片。
[0033]作为本专利技术的进一步的方案：所述设定损失函数，以及利用训练集进行网络模型训练更新的具体步骤包括：
[0034]设定损失函数，利用设置有阈值的triplet loss来进行特征提取器的更新；
[0035]通过空间特征、颜色特征和时间记忆的更新记忆增广网络；
[0036]设置有smooth L1损失的对抗损失来进行更新生成器和鉴别器；
[0037]生成器和鉴别器的主体函数为损失函数，损失函数公式为：
[0038][0039]式中，y为真值，即输入图片x对应的真实RGB图，是生成器的生成结果，δ是设定的阈值。
[0040]与现有技术相比，本专利技术存在以下技术效果：
[0041]通过采用上述的技术方案，利用对货车图片进行图片预处理、记忆增广网络和深度卷积神经网络搭建、特征提取等技术手段。实现了货车图片的高质量颜色属性编辑，解决了一般的图像生成方法所带来的外形和车牌等纹理细节的改变的问题。以记忆增广网络为颜色特征的存储网路，使得稀有样本也可以不被覆盖，解决了样本不平衡问题。同时本方法可以只改变货车颜色，不改变车牌等纹理，应用到目标检测等领域。
附图说明
[0042]下面结合附图，对本专利技术的具体实施方式进行详细描述：
[0043]图1为本申请公开的一些实施例的货车图片颜色编辑方法的步骤示意图；
[0044]图2为本申请公开的一些实施例的算法流程示意图；
[0045]图3为本申请公开的一些实施例的特征提取器和记忆增广网络结构示意图；
[0046]图4为本申请公开的一些实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于记忆增广网络的货车图片颜色编辑方法，其特征在于，包括：获取真实场景的货车图片，并进行比例划分为训练集和测试集；对训练集的图片数据预处理和标准化，并进行图片颜色特征提取；构建基于记忆增广网络的卷积神经网络模型；设定损失函数，以及利用训练集进行网络模型训练更新；根据测试集和训练后的网络模型进行测试，并利用融合模块滤除背景杂色，得到最终颜色编辑结果。2.根据权利要求1所述一种基于记忆增广网络的货车图片颜色编辑方法，其特征在于，所述训练集的图片设置有对应的颜色标签为L＝{L1，L2，
…
，L
i
，
…
，L
n
}，其中L
i
代表第i张训练图片的标签；所述训练集的图像标准化公式为：P
x
＝(P
x
‑
P
mean
)/P
std
，其中P
mean
为像素均值，P
std
为像素标准差。3.根据权利要求1所述一种基于记忆增广网络的货车图片颜色编辑方法，其特征在于，所述构建基于记忆增广网络的卷积神经网络模型，测试图片结果，并引入融合模块的具体步骤包括：步骤一、构建特征提取器提取货车图片的空间特征；步骤二、采用一对多的空间颜色特征对来构建记忆增广网络模型；步骤三、利用生成器和鉴别器构建着色网络，并引入自适应归一化层；步骤四、最后引入特征融合模块滤除不必要的颜色改变。4.根据权利要求3所述一种基于记忆增广网络的货车图片颜色编辑方法，其特征在于，所述步骤一构建特征提取器提取货车图片的空间特征的具体步骤包括：构建残差网络ResNet18，并引入预训练参数并进行固定不参与更新过程，调整最后一层输出为512维特征向量，即输出特征向量为X
res
∈R
512
；在残差网络ResNet18后接入输入维度为512的全连接层，输出的空间特征维度S，即q∈R
S
。5.根据权利要求3所述一种基于记忆增广网络的货车图片颜色编辑方法，其特征在于，所述步骤二采用一对多的空间颜色特征...

【专利技术属性】
技术研发人员：夏立志，吕强，吕建春，周平，王雪雁，郑刚，
申请(专利权)人：合肥市正茂科技有限公司，
类型：发明
国别省市：