一种自监督文档图像篡改检测方法、装置及介质制造方法及图纸

本发明专利技术公开了一种自监督文档图像篡改检测方法、装置及介质，其中方法包括：获取文档图像；对文档图像进行预处理；根据预处理后的文档图像，利用选择式篡改生成方法生成自监督训练样本；构建并训练基于多模态Transformer的文档图像篡改检测模型；构建并训练频域攻击检测模型；根据训练后的文档图像篡改检测模型和频域攻击检测模型，构建文档图像篡改检测系统，用于对输入样本进行预测。本发明专利技术本发明专利技术的文档图像篡改检测系统仅仅利用无标注文档图像进行训练，节省了大量人力，实现了自监督的文档图像篡改检测；模型基于多模态Transformer同时利用视觉信息和频域信息进行篡改检测，可高效检出无视觉痕迹篡改，可广泛应用于人工智能及计算机视觉的技术领域。应用于人工智能及计算机视觉的技术领域。应用于人工智能及计算机视觉的技术领域。

【技术实现步骤摘要】
一种自监督文档图像篡改检测方法、装置及介质


[0001]本专利技术涉及人工智能及计算机视觉的
，尤其涉及一种自监督文档图像篡改检测方法、装置及介质。

技术介绍

[0002]文档图像是信息传播的重要媒介，广泛出现在人们的日常生活中。然而，数字图像处理技术的飞速发展使得文档图像越来越容易受到不法分子的篡改，为其进行诈骗、造谣等不法行为提供了机会，为社会安全埋下了隐患。因此社会亟需高性能的文档篡改检测系统以判断文档图像是否被篡改并进行篡改区域定位。
[0003]传统的篡改检测方法往往鲁棒性和泛化性差，复杂场景下的检出能力较弱，基于深度神经网络的方法检出能力等较好，但对有标注训练数据的依赖很高。对图像进行人工篡改并标注费时费力，成本极高，阻碍了常规的基于深度神经网络的篡改检测方法的应用。社会亟需能够高效利用海量无标注文档进行自监督训练的文本篡改检测系统。
[0004]另一方面，因为文档图像中文本的字体及背景通常具有一致性，且文本区域通常所占面积很小，因此文档图像篡改通常难以留下视觉篡改痕迹，检出难度相对较大。如何高效检出无视觉痕迹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自监督文档图像篡改检测方法，其特征在于，包括以下步骤：获取文档图像；对文档图像进行预处理；根据预处理后的文档图像，利用选择式篡改生成方法生成自监督训练样本；构建并训练基于多模态Transformer的文档图像篡改检测模型；构建并训练频域攻击检测模型；根据训练后的文档图像篡改检测模型和频域攻击检测模型，构建文档图像篡改检测系统，用于对输入样本进行预测。2.根据权利要求1所述的一种自监督文档图像篡改检测方法，其特征在于，所述对文档图像进行预处理，包括：利用文档图像二值化算法获取文档图像的前景掩码；获取文档图像的文本检测框；利用文档图像擦除算法擦除各文本区域，并将擦除结果另存为背景图。3.根据权利要求2所述的一种自监督文档图像篡改检测方法，其特征在于，所述利用选择式篡改生成方法生成自监督训练样本，包括：利用文档图像的前景掩码及文本检测框获取各文本的前景颜色及背景颜色；以文本的检测框尺寸及文本的前景、背景颜色作为字体特征，按照该字体特征对文本图像中的文本进行聚类；对于每个聚类簇中的各文本实例，根据其进行两两位置交换后的替换位置图像边缘一阶及二阶梯度变化，随机选择部分梯度变化小于阈值的文本实例对，进行图像文本区域交换，经过后处理生成Copy
‑
move及Splicing类型文档图像篡改样本；随机选取聚类簇中的文本实例，将原图中其文本框所在区域用背景图中相应区域替换，并根据文本框的尺寸和前景颜色设置电子字体的尺寸和颜色，利用该电子字体在替换后的区域中打印电子字符，经过后处理生成Generation类型文档图像篡改样本。4.根据权利要求1所述的一种自监督文档图像篡改检测方法，其特征在于，所述基于多模态Transformer的文档图像篡改检测模型利用基于动态压缩的课程学习法进行训练，训练起始阶段进行随机轻度动态图像压缩增广，逐渐过渡到训练中后期采用均匀随机动态图像压缩增广。5.根据权利要求1或4所述的一种自监督文档图像篡改检测方法，其特征在于，所述文档图像篡改检测模型包括频域感知头、视觉感知头、多模态交互模块和多视觉迭代解码器模块；所述频域感知...

【专利技术属性】
技术研发人员：金连文，曲晨帆，刘禹良，刘崇宇，郭丰俊，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：