基于对比学习的文档图像篡改定位和脱敏定位方法及终端技术

本发明专利技术公开了一种基于对比学习的文档图像篡改定位和脱敏定位方法

【技术实现步骤摘要】
基于对比学习的文档图像篡改定位和脱敏定位方法及终端


[0001]本专利技术涉及文档图像篡改定位
，尤其涉及的是基于对比学习的文档图像篡改定位和脱敏定位方法
、
终端及存储介质
。

技术介绍

[0002]随着线上业务程序办理的普及，诸如合同
、
证明文件和申请书等一些重要的文档材料常以电子图像格式被存储和传播
。
然而，由于包含关键文字信息，此类图像往往容易被非法篡改利用
。
如果被不法分子用来谋取不当利益，或者上传社交平台误导公众舆论，将会对个人和社会造成严重的影响
。
与此同时，当需求方拥有待检文档图像，需要第三方机构帮忙真伪鉴别和篡改定位时，为避免暴露敏感信息，常会先进行脱敏处理，导致这类图像含有脱敏痕迹，对篡改痕迹的检测造成影响
。
因此，针对文档图像的取证研究已成为一个重点课题，开发出有效的文档图像篡改定位算法并对篡改区域和脱敏区域加以区分显得十分必要
。
[0003]但是，现有技术中对于文档图像进行篡改定位的定位精度低
、
对于篡改痕迹的发掘能力不够强
、
对于文档场景图像的迁移能力不够好，也无法实现对篡改和脱敏这两类的区分，导致难以精准识别对文档图像的篡改，也很难实现在对文件进行篡改定位的同时保护用户隐私
。
[0004]因此，现有技术还有待改进
。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术缺陷，本专利技术提供一种基于对比学习的文档图像篡改定位和脱敏定位方法
、
终端及存储介质，以解决传统的深度学习的跌倒检测方式可泛化性低的技术问题
。
[0006]本专利技术解决技术问题所采用的技术方案如下：
[0007]第一方面，本专利技术提供一种基于对比学习的文档图像篡改定位和脱敏定位方法，包括：
[0008]获取文档图像数据集，并提取所述文档图像数据集的篡改特征和脱敏特征；
[0009]根据提取到的所述文档图像数据集的篡改特征和脱敏特征进行篡改特征增强的对比训练，得到训练后的篡改特征增强模型；
[0010]根据所述训练后的篡改特征增强模型对输入文档图像进行篡改定位和脱敏定位检测，并输出篡改定位和脱敏定位检测结果
。
[0011]在一种实现方式中，所述获取文档图像数据集，并提取所述文档图像数据集的篡改特征和脱敏特征，包括：
[0012]获取所述文档图像数据集；
[0013]基于特征金字塔网络，在编码器中通过
ConvNeXt
‑
Tiny
骨干网络自底向上对所述文档图像数据集进行各级下采样，提取所述文档图像数据集的篡改特征和脱敏特征；
[0014]在所述编码器的输出阶段，连接金字塔池化模块，使用不同尺度对提取的特征图进行池化，得到多个不同尺寸的特征图，并在通道维度上拼接所述多个不同尺寸的特征图
。
[0015]在一种实现方式中，所述根据提取到的所述文档图像数据集的篡改特征和脱敏特征进行篡改特征增强的对比训练，包括：
[0016]根据所述文档图像数据集的篡改特征和脱敏特征进行篡改特征增强的对比训练，通过对比学习模块对经过所述金字塔池化模块输出的特征图进行优化学习；
[0017]将篡改特征像素点之间的特征拉近，将所述篡改特征像素点与非篡改特征像素点之间的特征远离，以进行篡改特征增强的对比训练
。
[0018]在一种实现方式中，所述将篡改特征像素点之间的特征拉近，将所述篡改特征像素点与非篡改特征像素点之间的特征远离，包括：
[0019]将图像像素级标签标记为0的像素点设置为真实类像素点；
[0020]将图像像素级标签标记为1的像素点设置为篡改类像素点；
[0021]将图像像素级标签标记为2的像素点设置为脱敏类像素点；
[0022]将所述真实类像素点和所述脱敏类像素点设定为非篡改特征像素点，并将对应的标签设定为0；将所述篡改类像素点设定为篡改特征像素点，并将对应的标签设定为1；
[0023]根据标签信息，对所述特征图内部不同映射特征进行有监督对比学习：将所述篡改特征像素点之间的特征拉近，将所述篡改特征像素点与所述非篡改特征像素点之间的特征远离
。
[0024]在一种实现方式中，所述根据标签信息，对所述特征图内部不同映射特征进行有监督对比学习，包括：
[0025]选择所述特征图中的一处特征点映射特征作为索引特征，对所述特征图内部不同映射特征进行所述有监督对比学习；
[0026]根据所述标签信息，当所述索引特征为篡改特征时，设定对应的正样本为所述篡改特征，并设定对应的负样本为真实特征和脱敏特征；
[0027]根据所述标签信息，当所述索引特征为所述真实特征或所述脱敏特征时，设定对应的正样本为所述真实特征和所述脱敏特征，并设定对应的负样本为所述篡改特征
。
[0028]在一种实现方式中，所述根据所述训练后的篡改特征增强模型对输入文档图像进行篡改定位和脱敏定位检测，并输出篡改定位和脱敏定位检测结果，包括：
[0029]根据所述训练后的篡改特征增强模型对所述输入文档图像进行篡改定位和脱敏定位检测；
[0030]在特征金字塔模块输出特征图，在通道维度上合并后，通过全局上下文注意力机制模块进行整合处理；
[0031]通过解码器对所述特征图进行解码，并输出所述篡改定位和脱敏定位检测结果
。
[0032]在一种实现方式中，所述全局上下文注意力机制模块的处理过程包括：上下文建模阶段
、
特征转换阶段以及特征融合阶段；
[0033]所述在特征金字塔模块输出特征图，在通道维度上合并后，通过全局上下文注意力机制模块进行整合处理，包括：
[0034]在所述上下文建模阶段，通过维度变换
、
卷积操作以及
Softmax
操作聚合所述特征图所有位置的信息，获取全局上下文特征；
[0035]在所述维度变换阶段，通过卷积操作
、
层归一化以及
ReLU
激活函数捕获通道间的依赖性；
[0036]在所述特征融合阶段，通过原特征图与变换后的特征图逐元素相加，聚合所述全局上下文特征到每个位置的特征上，对所述特征金字塔模块输出特征图进行整合处理
。
[0037]在一种实现方式中，基于所述特征金字塔网络，在所述解码器中通过双线性插值上采样层自顶向下地放大所述特征图，逐级恢复图像空间；
[0038]在所述编码器与所述解码器之间，通过侧向连接融合第一语义信息特征图和第二语义信息特征图；
[0039]根据解码结果输出所述篡改定位和脱敏定位检测结果
。
[0040]第二方面，本专利技术还提供一种终端，包括：处理器以及存储器，所述存储器存储有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于对比学习的文档图像篡改定位和脱敏定位方法，其特征在于，包括：获取文档图像数据集，并提取所述文档图像数据集的篡改特征和脱敏特征；根据提取到的所述文档图像数据集的篡改特征和脱敏特征进行篡改特征增强的对比训练，得到训练后的篡改特征增强模型；根据所述训练后的篡改特征增强模型对输入文档图像进行篡改定位和脱敏定位检测，并输出篡改定位和脱敏定位检测结果
。2.
根据权利要求1所述的基于对比学习的文档图像篡改定位和脱敏定位方法，其特征在于，所述获取文档图像数据集，并提取所述文档图像数据集的篡改特征和脱敏特征，包括：获取所述文档图像数据集；基于特征金字塔网络，在编码器中通过
ConvNeXt
‑
Tiny
骨干网络自底向上对所述文档图像数据集进行各级下采样，提取所述文档图像数据集的篡改特征和脱敏特征；在所述编码器的输出阶段，连接金字塔池化模块，使用不同尺度对提取的特征图进行池化，得到多个不同尺寸的特征图，并在通道维度上拼接所述多个不同尺寸的特征图
。3.
根据权利要求1所述的基于对比学习的文档图像篡改定位和脱敏定位方法，其特征在于，所述根据提取到的所述文档图像数据集的篡改特征和脱敏特征进行篡改特征增强的对比训练，包括：根据所述文档图像数据集的篡改特征和脱敏特征进行篡改特征增强的对比训练，通过对比学习模块对经过所述金字塔池化模块输出的特征图进行优化学习；将篡改特征像素点之间的特征拉近，将所述篡改特征像素点与非篡改特征像素点之间的特征远离，以进行篡改特征增强的对比训练
。4.
根据权利要求3所述的基于对比学习的文档图像篡改定位和脱敏定位方法，其特征在于，所述将篡改特征像素点之间的特征拉近，将所述篡改特征像素点与非篡改特征像素点之间的特征远离，包括：将图像像素级标签标记为0的像素点设置为真实类像素点；将图像像素级标签标记为1的像素点设置为篡改类像素点；将图像像素级标签标记为2的像素点设置为脱敏类像素点；将所述真实类像素点和所述脱敏类像素点设定为非篡改特征像素点，并将对应的标签设定为0；将所述篡改类像素点设定为篡改特征像素点，并将对应的标签设定为1；根据标签信息，对所述特征图内部不同映射特征进行有监督对比学习：将所述篡改特征像素点之间的特征拉近，将所述篡改特征像素点与所述非篡改特征像素点之间的特征远离
。5.
根据权利要求4所述的基于对比学习的文档图像篡改定位和脱敏定位方法，其特征在于，所述根据标签信息，对所述特征图内部不同映射特征进行有监督对比学习，包括：选择所述特征图中的一处特征点映射特征作为索引特征，对所述特征图内部不同映射特征进行所述有监督对比学习；根据所述标签信息，当所述索引特征为篡改特征时，设定对应的正样本为所述篡改特征，并设定对应的负样本为真实特征和脱敏特...

【专利技术属性】
技术研发人员：李斌，郑铿涛，李伟祥，
申请(专利权)人：深圳大学，
类型：发明
国别省市：