基于高维空间解耦合的可见水印去除方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于高维空间解耦合的可见水印去除方法、系统、设备及介质；方法包括：将嵌入式水印图像、原始图像、水印图像投入共享权值的主干网络编码器，得到图像语义特征，再将嵌入水印图像语义特征通过自注意力模块，得到高层语义；对语义特征构建样本对，并使用损失函数对样本对进行约束；对约束过的高层语义经过上采样层得到第一阶段的水印定位掩码和第一阶段的粗略的图像修复结果，并投入第二阶段Unet网络结构中，最后得到细化的图像修复结果。本发明专利技术引入对比学习方法，构造正负样本集合，解耦不同分支的深层特征，从而提升最终去水印性能；对实际应用中如嵌入水印对抗学习，去除无效水印等场景提供了较好的解决方案。案。案。

【技术实现步骤摘要】
基于高维空间解耦合的可见水印去除方法、系统、设备及介质


[0001]本专利技术涉及可见水印去除领域,具体涉及一种基于高维空间解耦合的可见水印去除方法。

技术介绍

[0002]近年来，随着计算机硬件和深度学习的突破，人工智能领域在越来越多的领域取得了快速发展，并在社会各方面引领技术革新浪潮。计算机视觉作为人工智能研究最广泛的领域，包含图像分类、目标定位、目标检测等诸多细化方向，在人脸识别、无人驾驶、图像检索等领域有着广阔的应用。
[0003]同时，随着自媒体时代的到来，水印技术作为媒体保护手段十分常见，一方面，水印去除算法的公开研究，可以作为水印嵌入方法的对抗学习方法；另一方面，良莠不齐的自媒体对水印的随意使用，甚至形成了“电子包浆”，水印去除方法可以自动地去除无用的水印。
[0004]目前已有的可见水印去除算法包括三个阶段，第一阶段使用数学方法和手工设计的特征，这些方法精度较差，已不再为人采用。第二阶段开始使用深度学习方法，但通常将水印去除算法当作简单的图像
‑
图像翻译任务，没有完全使用水印任务给出的信息，精度也较差。第三阶段也就是最新的方法多采用单编码器
‑
多解码器结构，分别用于水印定位和水印修复任务。然而现有方法并没有注意到不同分支之间的高层语义之间的差距，只能以渐进的方式逐步向各自的任务靠拢。本方法引入了对比学习机制，使不同任务在深层特征就更加具有针对性，从而达到更优良的修复效果。

技术实现思路

[0005]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于高维空间解耦合的可见水印去除方法、系统、设备及介质，通过引入对比学习方法，巧妙构造正负样本集合，解耦不同分支的深层特征，从而提升最终去水印性能。
[0006]为了达到上述目的，本专利技术采用以下技术方案：
[0007]本专利技术一方面提供了一种基于高维空间解耦合的可见水印去除方法，包括下述步骤：
[0008]获取原始图像、水印图像和嵌入水印图像；所述嵌入式水印图像是在原始图像上嵌入水印图像得到；
[0009]将所述原始图像、水印图像和嵌入式水印图像输入共享权值的主干网络，分别得到原始图像语义特征W
‑
、水印语义特征W和嵌入水印图像语义特征；
[0010]将所述嵌入水印图像语义特征经过两个多头自注意力分支，分别得到水印定位分支的高层语义W
*
和水印修复分支的高层语义W
*
‑
；
[0011]将所述的水印语义特征W、原始图像语义特征W
‑
、水印定位分支的高层语义W
*
和水印修复分支的高层语义W
*
‑
构建样本对{W
*
,W
‑
,W}和{W
*
‑
,W
‑
,W}，使用损失函数对样本对进行
约束,得到约束后的W
*
和W
*
‑
；
[0012]将所述得到约束后的W
*
和W
*
‑
，分别经过若干卷积层上采样后得到第一阶段的水印定位掩码和第一阶段的粗略的图像修复结果；
[0013]将所述第一阶段的水印掩码和第一阶段的粗略的图像修复结果同时投入第二阶段Unet网络结构中；对所述第一阶段的粗略的图像进行下采样得到高层语义信息，将下采样得到的高层语义信息再通过上采样恢复图片细节，同时注入第一阶段的解码器信息，得到细化的图像修复结果。
[0014]优选的，所述嵌入水印图像语义特征经过两个多头自注意力分支，具体为：使用多头自注意力机制捕捉不同任务的关注区域，计算公式为：
[0015]Q
i
,K
i
,V
i
＝XWi
iQ
,XW
iK
,XW
iV
[0016][0017]其中，i表示第i个头，X是第i个头的输入，W
iQ
,W
iK
,W
iV
表示第i个头的线性层权重，Q
i
,K
i
,V
i
表示第i个头计算得到的Query，Key，Value向量，d
k
表示key向量的维度数，head
i
为第i个头的计算结果。
[0018]优选的，所述使用损失函数对样本对进行约束，具体为：
[0019]组织两组对比学习损失函数，使用{W
*
,W,W
‑
}作为输入，损失函数记为以为例：
[0020]首先，给定高层语义{W
*
,W,W
‑
}和水印区域掩码真值M，M是和原图宽高一样的二值矩阵，通过计算负样本特征向量、正样本特征向量以及锚样本特征向量，提取出水印区域特征，具体的计算公式为：
[0021][0022][0023][0024]其中，代表全局平均池化和归一化操作，
⊙
代表element
‑
wise乘法，n表示负样本特征向量，p表示正样本特征向量，q表示锚样本特征向量；
[0025]其次，基于InfoNCE损失函数，得到变体对比学习损失函数如下：
[0026][0027]其中，N表示batch中样本数，i表示第i个样本，τ表示的是一个超参数；
[0028]对于损失函数步骤和一样，只是修改了输入的正负样本集合。
[0029]优选的，所述损失函数还包括：
[0030]对于水印掩码真值M和预测值使用损失函数
[0031][0032]对于第一阶段的水印修复图和第二阶段的水印修复图给定监督标签即无水印真值图I，使用损失函数为：
[0033][0034][0035]其中，为第一阶段的水印修复图的损失函数，为第二阶段的水印修复图的损失函数，||1表示一阶范数；
[0036]深层感知损失函数为：
[0037][0038]其中表示预训练的VGG网络；
[0039]总损失函数为：
[0040][0041]其中，λ
mask
,λ
CL
,λ
perc
为超参数。
[0042]优选的，还包括采用了两阶段网络模型；第一阶段的输入作为第二阶段的输出；此外，第一阶段采用了多编码器
‑
多解码器结构。
[0043]本专利技术又一方面提供了一种基于高维空间解耦合的可见水印去除系统，应用于所述的基于基于高维空间解耦合的可见水印去除方法，包括获取图像模块、获取语义特征模块、样本对约束模块、第一阶段修复模块以及细化的图像修复模块；
[0044]所述获取图像模块，用于获取原始图像、水印图像和嵌入水印图像；所述嵌入式水印图像是在原始图像上嵌入水印图像得到；
[0045]所述获取语义特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于高维空间解耦合的可见水印去除方法，其特征在于，包括下述步骤：获取原始图像、水印图像和嵌入水印图像；所述嵌入式水印图像是在原始图像上嵌入水印图像得到；将所述原始图像、水印图像和嵌入式水印图像输入共享权值的主干网络，分别得到原始图像语义特征W
‑
、水印语义特征W和嵌入水印图像语义特征；将所述嵌入水印图像语义特征经过两个多头自注意力分支，分别得到水印定位分支的高层语义W
*
和水印修复分支的高层语义W
*
‑
；将所述的水印语义特征W、原始图像语义特征W
‑
、水印定位分支的高层语义W
*
和水印修复分支的高层语义W
*
‑
构建样本对{W
*
,W
‑
,W}和{W
*
‑
,W
‑
,W}，使用损失函数对样本对进行约束,得到约束后的W
*
和W
*
‑
；将所述得到约束后的W
*
和W
*
‑
，分别经过若干卷积层上采样后得到第一阶段的水印定位掩码和第一阶段的粗略的图像修复结果；将所述第一阶段的水印掩码和第一阶段的粗略的图像修复结果同时投入第二阶段Unet网络结构中；对所述第一阶段的粗略的图像进行下采样得到高层语义信息，将下采样得到的高层语义信息再通过上采样恢复图片细节，同时注入第一阶段的解码器信息，得到细化的图像修复结果。2.根据权利要求1所述基于高维空间解耦合的可见水印去除方法，其特征在于，所述嵌入水印图像语义特征经过两个多头自注意力分支，具体为：使用多头自注意力机制捕捉不同任务的关注区域，计算公式为：同任务的关注区域，计算公式为：其中，i表示第i个头，X是第i个头的输入，W
iQ
,表示第i个头的线性层权重，Q
i
,K
i
,V
i
表示第i个头计算得到的Query，Key，Value向量，d
k
表示key向量的维度数，head
i
为第i个头的计算结果。3.根据权利要求1所述基于高维空间解耦合的可见水印去除方法，其特征在于，所述使用损失函数对样本对进行约束，具体为：组织两组对比学习损失函数，使用{W
*
,W,W
‑
}作为输入，损失函数记为以为例：首先，给定高层语义{W
*
,W,W
‑
}和水印区域掩码真值M，M是和原图宽高一样的二值矩阵，通过计算负样本特征向量、正样本特征向量以及锚样本特征向量，提取出水印区域特征，具体的计算公式为：体的计算公式为：体的计算公式为：其中，代表全局平均池化和归一化操作，
⊙
代表element
‑
wise乘法，n表示负样本特征向量，p表示正样本特征向量，q表示锚样本特征向量；
其次，基于InfoNCE损失函数，得到变体对比学习损失函数如下：其中，N表示batch中样本数，i表示第i个样本，τ表示的是一个超参数；对于损失函数步骤和一样，只是修改了输入的正负样本集合。4.根据权利要求1所述基于高维空间解耦合...

【专利技术属性】
技术研发人员：吴庆耀，孙瑞洲，苏宇堃，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：