一种基于生成式对抗网络的水印去除方法技术

本发明专利技术提供了图像处理技术领域的一种基于生成式对抗网络的水印去除方法，包括如下步骤：步骤S10、基于递归注意力循环网络以及上下文自动编码器搭建生成器；步骤S20、基于递归注意力循环网络以及PatchGAN搭建判别器；步骤S30、将若干张水印样本图片输入由所述生成器和判别器组成的条件生成式对抗网络中进行对抗训练；步骤S40、将水印图片输入对抗训练后的所述生成器生成去水印图片。本发明专利技术的优点在于：实现自动去除水印，并极大的提升了水印的去除效果。去除效果。去除效果。

【技术实现步骤摘要】
一种基于生成式对抗网络的水印去除方法


[0001]本专利技术涉及图像处理
，特别指一种基于生成式对抗网络的水印去除方法。

技术介绍

[0002]水印是一种被广泛使用的，保护图像、视频等多媒体数据版权信息的方法，但是一些恶意营销性质的水印会影响图像的可欣赏性。因此，产生了去除水印的需求。
[0003]去除水印主要有如下3种方法：1、借助软件工具将图像中的水印文字直接去除；2、利用修剪方式把图像的水印修剪掉，适用于水印在图像边缘的情况，前提是修剪后不影响图像的整体观感；3、利用颜色相近的画笔把图像中的文字盖住，适用于图像是纯色的情况，比如图像上只有黑色或者白的情况。
[0004]上述3种去水印的方法都需要借助工具，只能由人工操作，且一次处理一张图像，处理方式比较繁琐、效率低，不适合处理大批量、背景复杂、水印复杂的图像。传统上虽然也存在使用全卷积网络来搭建水印去除器的方法，全卷积网络的输入是带水印的图像的区域，经过多层卷积处理后输出无水印的图像，但这种方法需要先将图像中的水印部分标识出来，再对标识出来的水印区域进行去水印操作，不适合水印复杂的图像。
[0005]因此，如何提供一种基于生成式对抗网络的水印去除方法，实现自动去除水印，并提升水印的去除效果，成为一个亟待解决的问题。

技术实现思路

[0006]本专利技术要解决的技术问题，在于提供一种基于生成式对抗网络的水印去除方法，实现自动去除水印，并提升水印的去除效果。
[0007]本专利技术是这样实现的：一种基于生成式对抗网络的水印去除方法，包括如下步骤：
[0008]步骤S10、基于递归注意力循环网络以及上下文自动编码器搭建生成器；
[0009]步骤S20、基于递归注意力循环网络以及PatchGAN搭建判别器；
[0010]步骤S30、将若干张水印样本图片输入由所述生成器和判别器组成的条件生成式对抗网络中进行对抗训练；
[0011]步骤S40、将水印图片输入对抗训练后的所述生成器生成去水印图片。
[0012]进一步地，所述步骤S10中，
[0013]所述递归注意力循环网络的每时间步长均包括一个至少两层的ResNet、一个卷积LSTM单元以及一个用于生成注意力分布图的卷积层Convs；其中N为正整数；所述递归注意力循环网络用于定位需要移除水印的区域；
[0014]所述上下文自动编码器由16个Conv
‑
relu块的U
‑
Net结构组成，用于对所述递归注意力循环网络定位的区域去除水印。
[0015]进一步地，所述步骤S10中，所述生成器的生成网络损失函数为：
[0016]L
G
＝10
‑2L
GAN
(O)+L
ATT
({A},M)+L
M
({S},{T})+L
P
(O,T)；
[0017]L
GAN
(O)＝log(1
‑
D(O))；
[0018][0019][0020]L
P
(O,T)＝L
MSE
(VGG(O),VGG(T))；
[0021]其中L
G
表示生成网络的损失值；O表示生成器生成的去水印图片；T表示O对应的无水印图片；D表示判别网络；M表示二进制掩码；L
GAN
(O)表示生成网络的损失函数；L
ATT
({A},M)表示递归注意力循环网络的损失函数，即时间步长t输出的注意力分布图A
t
与二进制掩码M的均方误差，N＝5，θ＝0.9；L
MSE
(
·
)表示求均方误差；L
M
({S},{T})表示上下文自动编码器的多尺度损失函数，S
i
表示从上下文自动编码器提取的第i个输出，T
i
表示将无水印图片缩小到与S
i
相同尺寸，λ
i
表示不同尺寸图片的权重；L
P
(O,T)表示上下文自动编码器的感知损失函数，即利用训练好的特征网络VGG从图片O和T中提取若干个特征并计算均方误差后求和。
[0022]进一步地，所述步骤S20中，所述判别器的判别网络损失函数为：
[0023]L
D
(T,O)＝
‑
log(D(T))
‑
log(1
‑
D(O))+γL
map
(O,T,A
N
)；
[0024]L
map
(O,T,A
N
)＝L
MSE
(D
map
(O),A
N
)+L
MSE
(D
map
(T),0)；
[0025]其中L
D
(T,O)表示判别网络的损失值；γ表示L
map
(O,T,A
N
)损失的权重；L
map
(O,T,A
N
)表示判别器其中一层生成的注意力掩码和注意力分布图之间的差异；D
map
(
·
)表示判别器生成注意力掩码的过程；0表示只包含0值的注意力分布图。
[0026]进一步地，所述步骤S30具体包括：
[0027]步骤S31、将若干张水印样本图片输入由所述生成器生成去水印样本图片；
[0028]步骤S32、将所述水印样本图片以及去水印样本图片输入判别器；
[0029]步骤S33、判别器判断所有的所述去水印样本图片是否为真，且所述去水印样本图片与对应的水印样本图片是否匹配，若是，则完成对抗训练，进入步骤S40；若否，则进入步骤S31、继续进行对抗训练。
[0030]进一步地，所述步骤S30中，所述条件生成式对抗网络的目标函数为：
[0031][0032]其中L
cGAN
(G,D)表示条件生成式对抗网络的目标函数；s表示水印样本图片；x表示水印样本图片对应的真实图片；D(s,x)表示将水印样本图片和真实图片输入判别器；D(s,G(s))表示将水印样本图片和生成器生成的去水印样本图片输入判别器；表示水印样本图片和其对应的真实图片联合分布的期望；表示去水印样本图片分布的期望。
[0033]本专利技术的优点在于：
[0034]1、通过将水印样本图片输入由生成器和判别器组成的条件生成式对抗网络中进行对抗训练，再将水印图片输入对抗训练后的生成器生成去水印图片，即利用对抗训练后的生成器自动批量的去除水印，提高了水印去除的效率、适合处理大批量、背景复杂、水印复杂的图像；通过基于递归注意力循环网络以及上下文自动编码器搭建生成器，基于递归
注意力循环网络以及PatchGAN搭建判别器，即生成器通过递归注意力循环网络生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成式对抗网络的水印去除方法，其特征在于：包括如下步骤：步骤S10、基于递归注意力循环网络以及上下文自动编码器搭建生成器；步骤S20、基于递归注意力循环网络以及PatchGAN搭建判别器；步骤S30、将若干张水印样本图片输入由所述生成器和判别器组成的条件生成式对抗网络中进行对抗训练；步骤S40、将水印图片输入对抗训练后的所述生成器生成去水印图片。2.如权利要求1所述的一种基于生成式对抗网络的水印去除方法，其特征在于：所述步骤S10中，所述递归注意力循环网络的每时间步长均包括一个至少两层的ResNet、一个卷积LSTM单元以及一个用于生成注意力分布图的卷积层Convs；其中N为正整数；所述递归注意力循环网络用于定位需要移除水印的区域；所述上下文自动编码器由16个Conv
‑
relu块的U
‑
Net结构组成，用于对所述递归注意力循环网络定位的区域去除水印。3.如权利要求1所述的一种基于生成式对抗网络的水印去除方法，其特征在于：所述步骤S10中，所述生成器的生成网络损失函数为：L
G
＝10
‑2L
GAN
(O)+L
ATT
({A},M)+L
M
({S},{T})+L
P
(O,T)；L
GAN
(O)＝log(1
‑
D(O))；D(O))；L
P
(O,T)＝L
MSE
(VGG(O),VGG(T))；其中L
G
表示生成网络的损失值；O表示生成器生成的去水印图片；T表示O对应的无水印图片；D表示判别网络；M表示二进制掩码；L
GAN
(O)表示生成网络的损失函数；L
ATT
({A},M)表示递归注意力循环网络的损失函数，即时间步长t输出的注意力分布图A
t
与二进制掩码M的均方误差，N＝5，θ＝0.9；L
MSE
(
·
)表示求均方误差；L
M
({S},{T})表示上下文自动编码器的多尺度损失函数，S
i
表示从上下文自动编码器提取的第i个输出，T
i
表示将无水印图片缩小到与S
i
相同尺寸，λ
i
...

【专利技术属性】
技术研发人员：张西，王雷，居燕峰，朱坚，陆向东，赵庆勇，
申请(专利权)人：福建新大陆软件工程有限公司，
类型：发明
国别省市：