【技术实现步骤摘要】
图像处理方法、迁移模型训练方法、装置、介质及设备
本公开涉及图像处理领域，具体地，涉及一种图像处理方法、迁移模型训练方法、装置、介质及设备。
技术介绍
图像处理是一种具有巨大的社会和经济效益的实用技术，被广泛应用于各行各业以及人们日常生活中。图像处理中最常见的一个需求是改变图像风格(即风格迁移)，其目标是保持待处理图像的内容信息(例如，人脸、动物等)同时将一张风格图像的图像风格迁移至该待处理图像中。例如，将真人头像变成具有动漫风格的头像(即动漫头像)。图像风格包括颜色风格(例如，动漫头像中头发、眼睛的颜色)和形状风格(例如，动漫头像中嘴巴和眼睛的形状)。通常风格迁移通过给定的一张待处理图像和一张风格图像，生成具有待处理图像的内容信息和风格图像的颜色风格、形状风格的图像。在实际使用中，风格迁移也可以通过给定的一种待处理图像和两张风格图像，生成具有待处理图像的内容信息和两张风格图像的颜色风格融合后的颜色风格、两张风格图像的形状风格融合后的形状风格。可见，生成的图像的颜色风格为两张风格图像的颜色风格的融合、形状风格为两张风...
【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理图像、第一目标图像和第二目标图像，其中，所述第一目标图像具有第一图像风格，所述第二目标图像具有第二图像风格，所述第一图像风格包括第一颜色风格和第一形状风格，所述第二图像风格包括第二颜色风格和第二形状风格；/n将所述待处理图像、所述第一目标图像和所述第二目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照目标颜色风格和目标形状风格，对所述待处理图像进行风格迁移处理，其中，所述目标颜色风格为所述第一颜色风格，而所述目标形状风格是根据所述第一形状风格和所述第二形状风格确定的，或者，所述目标颜色风格是根据所述第一颜色...
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理图像、第一目标图像和第二目标图像，其中，所述第一目标图像具有第一图像风格，所述第二目标图像具有第二图像风格，所述第一图像风格包括第一颜色风格和第一形状风格，所述第二图像风格包括第二颜色风格和第二形状风格；
将所述待处理图像、所述第一目标图像和所述第二目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照目标颜色风格和目标形状风格，对所述待处理图像进行风格迁移处理，其中，所述目标颜色风格为所述第一颜色风格，而所述目标形状风格是根据所述第一形状风格和所述第二形状风格确定的，或者，所述目标颜色风格是根据所述第一颜色风格和所述第二颜色风格确定的，而所述目标形状风格为所述第一形状风格。
2.根据权利要求1所述的方法，其特征在于，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述生成器包括第一编码网络、第二编码网络以及解码网络；
所述图像风格迁移模型按照目标颜色风格和目标形状风格，对所述待处理图像进行风格迁移处理，包括：
所述第一编码网络对所述待处理图像进行编码，得到编码特征图；
所述第二编码网络对所述第一目标图像进行编码，得到与所述第一颜色风格对应的第一颜色特征参数值和与所述第一形状风格对应的第一形状特征参数值；
所述第二编码网络对所述第二目标图像进行编码，得到与所述第二颜色风格对应的第二颜色特征参数值和与所述第二形状风格对应的第二形状特征参数值；
所述解码网络根据所述编码特征图、与所述目标颜色风格对应的目标颜色特征参数值以及与所述目标形状风格对应的目标形状特征参数值，生成目标图像；
其中，所述目标形状特征参数值为所述第一颜色特征参数值，而所述目标形状特征参数值是根据所述第一形状特征参数值和所述第二形状特征参数值确定的；或者，所述目标颜色特征参数值是根据所述第一颜色特征参数值和所述第二颜色特征参数值确定的，而所述目标形状特征参数值为所述第一形状特征参数值。
3.根据权利要求1所述的方法，其特征在于，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，其中，在模型训练阶段，所述生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，所述第一网络层用于提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，所述目标第二网络层用于从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述第一网络层还用于提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层，所述目标第二网络层还用于从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；其中，所述第二特征信息和所述第四特征信息用于对所述判别器进行模型参数更新，所述第四特征信息用于对所述生成器进行模型参数更新。
4.根据权利要求3所述的方法，其特征在于，在模型训练阶段，利用所述第四特征信息对所述合成图像进行真假判定，并根据所述合成图像的真假判定结果和生成器损失函数，对所述生成器进行模型参数更新；利用所述第二特征信息对所述参考图像进行真假判定，并根据所述参考图像的真假判定结果、所述合成图像的真假判定结果和判别器损失函数，对所述判别器进行模型参数更新。
5.根据权利要求4所述的方法，其特征在于，所述生成器损失函数包括对抗损失、第一特征匹配损失、第二特征匹配损失以及重构损失；
其中，所述第一特征匹配损失是根据所述第一网络层的各池化层提取的特征信息确定的；所述第二特征匹配损失是根据所述目标第二网络层的池化层提取的特征信息确定的。
6.根据权利要求3-5中任一项所述的方法，其特征在于，所述生成器包括第一编码网络、第二编码网络以及解码网络；
所述第一编码网络用于对所述样本图像进行编码，得到第一特征图；
所述第二编码网络用于对所述参考图像进行编码，得到风格特征信息，其中，所述风格特征信息包括参考颜色特征参数值和参考形状特征参数值；
所述解码网络用于根据所述第一特征图和所述风格特征信息，生成所述合成图像。
7.根据权利要求6所述的方法，其特征在于，所述解码网络包括第一融合模块、处理模块以及连接在所述第一融合模块与所述处理模块之间的至少一个第二融合模块，当所述第二融合模块的数量为多个时，多个所述第二融合模块为串联；
所述第一融合模块用于将所述风格特征信息与所述第一特征图进行融合，得到第二特征图，并将所述第二特征图输入至与所述第一融合模块连接的所述第二融合模块；
每一所述第二融合模块分别用于对来自前一模块的特征图进行上采样，并将所述风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入所述第三特征图；
所述处理模块用于将从与所述处理模块连接的所述第二融合模块输入的所述第三特征图的图像尺寸调整为目标尺寸，得到所述合成图像，其中，所述目标尺寸为所述样本图像的尺寸。
8.根据权利要求7所述的方法，其特征在于，所述第一融合模块包括至少一个融合子模块，每一所述融合子模块包括串联的第一卷积层和第一归一化层，当所述融合子模块数量为多个时，多个所述融合子模块为串联；
所述第一编码网络还用于将所述第一特征图输入至与所述第一编码网络连接的第一卷积层；
每一所述第一卷积层分别用于对输入所述第一卷积层的特征图进行特征提取，并将提取到的特征图输入至所述第一卷积层所属的融合子模块中的所述第一归一化层；
每一所述第一归一化层分别用于对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将所述风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，其中，所述第二特征图为与所述第二融合模块连接的所述第一归一化层输出的融合得到的特征图。
9.根据权利要求8所述的方法，其特征在于，所述第一归一化层为1*1的卷积层；
每一所述第一归一化层分别用于：
根据来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；
根据所述实例归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行实例归一化，得到第四特征图；
根据所述层归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行层归一化，得到第五特征图；
对所述第四特征图和所述第五特征图依次进行通道拼接操作和1*1的卷积操作，得到第六特征图；
将所述风格特征信息和所述第六特征图进行融合，并输出融合得到的特征图。
10.根据权利7所述的方法，其特征在于，所述第二融合模块包括依次连接的上采样层、第二卷积层、第二归一化层、第三卷积层以及第三归一化层；
所述上采样层用于对所述来自所述前一模块的特征图进行上采样；
所述第二卷积层用于对上采样后得到的特征图进行特征提取，得到第七特征图；
所述第二归一化层用于对所述第七特征图进行归一化，得到第八特征图；
所述第三卷积层用于对所述第八特征图进行特征提取，得到第九特征图；
所述第三归一化层用于对所述第九特征图进行归一化，并将所述风格特征信息和归一化所得的特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
11.根据权利要求10所述的方法，其特征在于，所述第二归...
【专利技术属性】
技术研发人员：王一同，朱渊略，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。