一种基于VecGAN的图像处理方法技术

一种基于VecGAN的图像处理方法，所述图像处理方法包括以下步骤：构建基于编码器、解码器的生成器网络，并设置编码器、解码器对图像进行潜空间的编码特征转换，其中，图像具有标记和属性；在潜空间中对图像进行基于标记的风格转换；使用非转换路径和循环转换路径对生成器网络进行训练，并确定生成器网络的转换路径；基于预设优化目标对包括生成器网络和判别器网络的VecGAN模型进行训练，并保存输出VecGAN模型；将图像输入VecGAN模型进行图像处理。本发明专利技术使用VecGAN实现图像处理，在网络的编码器和解码器之间使用跳过连接，使得图像较低分辨率下能够找到信息流的最佳平衡，实现图像属性的强度修改。像属性的强度修改。像属性的强度修改。

【技术实现步骤摘要】
一种基于VecGAN的图像处理方法


[0001]本专利技术涉及机器视觉技术应用领域，具体涉及一种基于VecGAN的图像处理方法。

技术介绍

[0002]近年来的机器视觉技术应用领域，在图像到图像的转换方法方面取得了重大进展，尤其是在以生成对抗网络(GAN)为动力的面部属性编辑方面。面部属性编辑方法的一个主要难题是能够仅改变图像的一个属性而不影响其他属性，另一个难题是风格代码的可解释性，以便可以控制编辑的属性强度。为了理清属性，从共享风格代码SDIT，到混合风格代码StarGANv2，再到分层理清风格HiSD，这些方法都有一定的局限性，比如因为风格代码的不可理解性，无法直接修改图像中属性的强度，如金发属性无法修改为其他颜色的头发属性。

技术实现思路

[0003]本专利技术旨在解决现有技术中对于图像转换处理的相关方法不能对图像的属性强度进行修改的问题。
[0004]为解决上述问题，本专利技术实施例提供了一种基于VecGAN的图像处理方法，所述图像处理方法包括以下步骤：
[0005]S1、构建基于编码器、解码器的生成器网络，并设置所述编码器、所述解码器对图像进行潜空间的编码特征转换，其中，所述图像具有标记和属性；
[0006]S2、在潜空间中对所述图像进行基于标记的风格转换；
[0007]S3、使用非转换路径和循环转换路径对所述生成器网络进行训练，并确定所述生成器网络的转换路径；
[0008]S4、基于预设优化目标对包括所述生成器网络和判别器网络的VecGAN模型进行训练，并保存输出所述VecGAN模型；
[0009]S5、将所述图像输入所述VecGAN模型进行图像处理。
[0010]更进一步地，定义所述图像x的所述标记为i，所述属性为j，不同的所述标记之间具有位移a，所述编码器为E，所述解码器为G，所述编码特征为e，对图像进行潜空间的编码特征转换的步骤中，对所述标记进行T变换，步骤S1中，设置所述编码器、所述解码器对图像进行潜空间的编码特征转换的过程满足以下关系式(1)：
[0011]e
′
＝T(e,a,i)
[0012]x
′
＝G(e
′
)
ꢀꢀꢀ
(1)。
[0013]更进一步地，步骤S2中，在潜空间中对所述图像进行基于标记的风格转换的步骤具体为：
[0014]设置一个特征方向矩阵A，所述特征方向矩阵A中包括每个所述标记的可学习特征方向，风格转换的过程满足以下关系式(2)：
[0015]T(e,a,i)＝e+a
×
A
i
ꢀꢀꢀ
(2)；
[0016]其中，Ai表示所述标记i的所述可学习特征方向；
[0017]位移a满足以下关系式(3)：
[0018]a＝a
t
‑
a
s
ꢀꢀꢀ
(3)；
[0019]其中，a
t
为所述标记i的目标风格，a
s
为所述标记i的原本风格。
[0020]更进一步地，所述非转换路径具体为：
[0021]不应用任何转换风格的情况下执行所述图像的重建，并得到图像x
n
，其过程满足以下关系式(4)：
[0022]x
n
＝G(E(x))
ꢀꢀꢀ
(4)；
[0023]所述循环转换路径具体为：
[0024]通过随机采样得到的所述目标风格执行所述图像的重建，并得到图像x
t
，其过程满足以下关系式(5)：
[0025]x
t
＝G(T(e,M
i,j
(z)
‑
P(e,i),i))
ꢀꢀꢀ
(5)；
[0026]其中，M
i,j
(z)为满足均匀分布的所述目标风格，j为对应所述目标风格的目标属性，P为执行投影操作。
[0027]更进一步地，所述转换路径具体为：
[0028]在所述循环转换路径得到的图像x
t
的基础上进行图像重建，并得到图像x
c
，其过程满足以下关系式(6)：
[0029]x
c
＝G(T(e
t
,P(e,i)
‑
P(e
t
,i),i))
ꢀꢀꢀ
(6)；
[0030]其中，e
t
＝E(X
t
)。
[0031]更进一步地，所述预设优化目标包括对抗目标、转换重建目标、图片重建目标、正交性目标，定义输入所述VecGAN模型的所述图像x
i,j
∈X
i,j
，其中：
[0032]所述对抗目标满足以下关系式(7)：
[0033][0034]所述转换重建目标满足以下关系式(8)：
[0035]L
shift
＝‖M
i,j
(z)
‑
P(e
t
,i)‖1ꢀꢀꢀ
(8)；
[0036]所述图片重建目标满足以下关系式(9)：
[0037]L
rec
＝‖x
n
‑
x‖1+‖x
c
‑
x‖1ꢀꢀꢀ
(9)；
[0038]所述正交星目标满足以下关系式(10)：
[0039]L
ortho
＝‖A
T
A
‑
I‖
F
ꢀꢀꢀ
(10)。
[0040]更进一步地，步骤S4中，基于预设优化目标对包括所述生成器网络和判别器网络的VecGAN模型进行训练的步骤所使用的总体损失函数满足以下关系式(11)：
[0041][0042]其中，λ
a
、λ
s
、λ
r
、λ0、λ
sp
为超参数。
[0043]更进一步地，步骤S4，基于预设优化目标对包括所述生成器网络和判别器网络的VecGAN模型进行训练的步骤中，所述超参数的取值满足以下关系式(12)：
[0044]λ
a
＝1,λ
s
＝1,λ
r
＝1,λ
o
＝1,λ
sp
＝0.05
ꢀꢀꢀ
(12)；
[0045]训练时，所述VecGAN模型的学习率设置为10
‑4，训练执行批量大小为8的50万次迭
代。
[0046]本专利技术所达到的有益技术效果，在于提出了一种新的图像处理框架VecGAN，VecGAN具有可解释潜在方向的图像到图像翻译的能力，在潜在空间中学习属性编辑方向，并将其正则化为相互正交，以进行风格分解，本专利技术使用VecGAN实现图像处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VecGAN的图像处理方法，其特征在于，所述图像处理方法包括以下步骤：S1、构建基于编码器、解码器的生成器网络，并设置所述编码器、所述解码器对图像进行潜空间的编码特征转换，其中，所述图像具有标记和属性；S2、在潜空间中对所述图像进行基于标记的风格转换；S3、使用非转换路径和循环转换路径对所述生成器网络进行训练，并确定所述生成器网络的转换路径；S4、基于预设优化目标对包括所述生成器网络和判别器网络的VecGAN模型进行训练，并保存输出所述VecGAN模型；S5、将所述图像输入所述VecGAN模型进行图像处理。2.如权利要求1所述的基于VecGAN的图像处理方法，其特征在于，定义所述图像x的所述标记为i，所述属性为j，不同的所述标记之间具有位移a，所述编码器为E，所述解码器为G，所述编码特征为e，对图像进行潜空间的编码特征转换的步骤中，对所述标记进行T变换，步骤S1中，设置所述编码器、所述解码器对图像进行潜空间的编码特征转换的过程满足以下关系式(1)：e
′
＝T(e,a,i)x
′
＝G(e
′
)
ꢀꢀꢀ
(1)。3.如权利要求2所述的基于VecGAN的图像处理方法，其特征在于，步骤S2中，在潜空间中对所述图像进行基于标记的风格转换的步骤具体为：设置一个特征方向矩阵A，所述特征方向矩阵A中包括每个所述标记的可学习特征方向，风格转换的过程满足以下关系式(2)：T(e,a,i)＝e+a
×
A
i
ꢀꢀꢀ
(2)；其中，Ai表示所述标记i的所述可学习特征方向；位移a满足以下关系式(3)：a＝a
t
‑
a
s
ꢀꢀꢀ
(3)；其中，a
t
为所述标记i的目标风格，a
s
为所述标记i的原本风格。4.如权利要求3所述的基于VecGAN的图像处理方法，其特征在于，所述非转换路径具体为：不应用任何转换风格的情况下执行所述图像的重建，并得到图像x
n
，其过程满足以下关系式(4)：x
n
＝G(E(x))
ꢀꢀꢀ
(4)；所述循环转换路径具体为：通过随机采样得到的所述目标风格执行所述图像的重建，并得到图像x
t
，其过程满足以下关系式(5)：x
t
＝G(T(e,M
i,j
(z)
‑
P(e,i),i))
ꢀꢀꢀ
(5)；其中，M
i,j
(z)为满足均匀分布的所述目标风格，j为对应所述目标风格的目标...

【专利技术属性】
技术研发人员：杨海东，杜嘉灏，王华龙，李泽辉，
申请(专利权)人：佛山市南海区广工大数控装备协同创新研究院，
类型：发明
国别省市：