一种基于对比学习的全局马赛克去除方法技术

本发明专利技术公开了一种基于对比学习的全局马赛克去除方法，包括搭建对抗网络训练模型、训练对抗网络和去除马赛克步骤。本发明专利技术将全局对比学习网络和局部对比学习网络相结合训练生成对抗网络，解决了全局对比学习训练过程达到一定的阶段时，阶段损失值的不再减少的问题。全局对比损失从马赛克图像捕获全局特征表示到真实图像，并恢复它接近真实图像。局部对比损失函数有助于保持马赛克块与对应的真实图像对应区域之间正确的局部特征表示。只要少量样本就可以学习马赛克图像和真实图像之间复杂映射关系。杂映射关系。杂映射关系。

【技术实现步骤摘要】
一种基于对比学习的全局马赛克去除方法


[0001]本专利技术涉及一种马赛克去除方法，尤其涉及一种基于对比学习的全局马赛克去除方法，属于计算机视觉


技术介绍

[0002]为了保护隐私，互联网上每天都会出现大量的马赛克图片。当非法事件发生时，有必要将马赛克从它们中移除，并产生一个接近其真实图像的理想图像。全局拼接去除(GMR)是图像恢复的一个分支。随着生成对抗网络(GANs)的发展，近年来GMR的图像质量有了很大的进步。模式正则化生成对抗网络(MRGAN)的维护和修复是GMR的最佳监督模型。训练MRGAN模型需要建立了一个GANs模型来捕获从马赛克图像到真实图像的转换特征。借助转换特征，并将其马赛克图像恢复到接近真实的图像。MRGAN模型的挑战是需要大量的拼接图像及其对应的真实图像，对他们建立监督方式训练模型。如果样本数量较少，或者真实图像与拼接图像之间没有一一对应关系(例如图像只是来自同一个域的图像)，MRGAN就无法生成正确的恢复结果。

技术实现思路

[0003]本专利技术要解决的技术问题是提供一种基于对比学习的全局马本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的全局马赛克去除方法，其特征在于：包括以下步骤：步骤1：搭建对抗网络训练模型：所述发生器网络训练模型包括对抗网络、全局对比学习网络和损失计算模块；所述对抗网络包括发生器网络模块、判别网络模块；所述发生器网络模块包括第一编码器网络单元和解码器网络单元；所述判别网络模块包括第二编码器网络单元；所述全局对比学习网络为多层结构，每层包括全局编码器、两层MLP全局网络；全局对比学习网络用于捕获去除马赛克后的图像x
′
i
到参考图像x
k
的图像级结构特征；第一编码器网络单元的输出端接解码器网络单元的输入端，解码器网络的输出端分别接第二编码器网络单元、全局编码器的输入端，第二编码器的输出端接损失计算模块的输入端，损失计算模块的输出端接第一编码器网络单元和解码器网络单元的控制端；步骤2：训练对抗网络，包括一下具体步骤：步骤2
‑
1：训练集中图像依次经发生器网络模块去除马赛克后分别输出至判别网络模块和全局对比学习网络，训练集中各图像x
im
分别在原始图像x
i
上增加一个特定的马赛克；将最小损失值设置为系统可以表示的最大值；步骤2
‑
2：判别网络模块用于计算对抗损失，判别去除马赛克后的图像x
′
i
与参考图像x
k
是否为同一域图像，将判别结果反馈给发生器网络模块；对抗损失的计算方法为：式中G为生成网络变换，D为判别网络变换；指x
im
与训练集图像服从相同分布概率的数学期望；指x
i
与生成网络输出图像服从相同分布概率的数学期望；步骤2
‑
3：全局学习：全局编码器捕获含马赛克图像到真实图像的全局特征表示，并将含马赛克图像恢复到接近真实图像的状态，计算全局损失：接近真实图像的状态，计算全局损失：式中，τ是温度参数，L为全局学习网络的层数；q
l
,分别为第l层查询集{q
l
}＝{M
l
(E
l
(G(x
im
)))}、正例集和反例集中的元素，M1表示MPL网络变换，E1表示全局编码器变换，T为随机数据增强，随机地将一个负例变换到不同的视图；G表示生成网络变换；步骤...

【专利技术属性】
技术研发人员：霍丽娜，曹志义，周小力，王张钰，王威，
申请(专利权)人：河北师范大学，
类型：发明
国别省市：