基于短程稠密连接和注意力机制的双流图像篡改定位方法技术

本发明专利技术公开了一种基于短程稠密连接和注意力机制的双流图像篡改定位方法，包括：构建基于短程稠密连接模块和注意力机制的双流图像篡改定位网络；对篡改定位网络进行训练，得到基于短程稠密连接和注意力机制的双流图像篡改定位模型；使用训练好的网络模型，对输入的待测图像进行篡改定位，输出定位结果。本发明专利技术基于短程稠密连接和注意力机制构建网络，得到一种基于短程稠密连接和注意力机制的双流图像篡改定位网络，从而实现在进行图像篡改定位时同时兼顾篡改定位性能与检测效率的效果。位时同时兼顾篡改定位性能与检测效率的效果。位时同时兼顾篡改定位性能与检测效率的效果。

【技术实现步骤摘要】
基于短程稠密连接和注意力机制的双流图像篡改定位方法


[0001]本专利技术涉及多媒体信息安全与取证领域，尤其涉及一种基于短程稠密连接和注意力机制的双流图像篡改定位方法、装置、设备及存储介质。

技术介绍

[0002]近年来，由于信息技术的发展，互联网逐渐成为人们现实生活中的另一个生活圈，人们在互联网上通过图像、视频交流各种各样的信息，但与此同时，由于图像编辑软件逐渐智能化，人们可以轻易地通过这些图像编辑软件改变原有的图像信息，而在视觉上却不会留下明显的篡改痕迹，因而互联网出现大量的篡改图像。这些篡改图像对网络信息安全、新闻传播、司法取证造成严重的威胁，倘若这些篡改图像被用于证据使用，将会对社会造成严重的影响。因此，对图像篡改进行定位检测意义重大。
[0003]目前，已有相当一部分篡改定位方法研究取得一定的进展，但这些方法只考虑性能，而不考虑运算速度，在面对互联网上成千上万的图像时，显得效率十分低下；而目前Short
‑
Term Dense Concatenate(短程稠密连接，简写为STDC，下文中所有的STDC均表示Short
‑
Term Dense Concaten ate)所构建的网络在进行图像处理时具有较好的速度、准确性的平衡，而在用于图像篡改定位时Short
‑
Term Dense Concatenate在边缘分支上会过度捕捉边缘特征而忽略的全局性的篡改特征，导致最终定位结果不完整。
[0004]因此，现有技术还有待于改进和发展。

技术实现思路

[0005]本申请要解决的技术问题在于，针对目前在多媒体信息安全与取证领域采用Short
‑
Term Dense Concatenate进行图像篡改定位时虽然运算速度较快但存在定位不完整的问题，本专利技术提供一种基于短程稠密连接和注意力机制的双流图像篡改定位方法、装置、设备及存储介质，本专利技术能够通过对STDC进行改进，得到一种基于短程稠密连接和注意力机制的双流图像篡改定位网络，从而实现在进行图像篡改定位时同时兼顾篡改定位性能与检测效率的效果。
[0006]为了解决上述现有技术问题的不足，本申请实施例第一方面提供了一种基于短程稠密连接和注意力机制的双流图像篡改定位方法，所述方法包括：
[0007]构建基于短程稠密连接模块和注意力机制的双流图像篡改定位网络；
[0008]对篡改定位网络进行训练，得到基于短程稠密连接和注意力机制的双流图像篡改定位模型；
[0009]使用训练好的网络模型，对输入的待测图像进行篡改定位，输出定位结果。
[0010]所述设计基于短程稠密连接模块和注意力机制的双流图像篡改定位网络，具体包括：
[0011]所述双流图像篡改定位网络由边缘引导分支和篡改定位分支构成；
[0012]所述篡改定位分支包括5个阶段，其中阶段1和阶段2使用步长为2的卷积层进行下
采样提取图像浅层特征，阶段3、阶段4、阶段5采用短程稠密连接模块提取图像篡改特征，5个阶段依次连接；
[0013]所述篡改定位分支还包括对阶段3、阶段4和阶段5的输出进行进一步处理的定位头、注意力精修模块、全局平均池化模块、位置注意力模块、特征融合模块；
[0014]所述边缘引导分支包括：用于通道压缩的边缘头、用于生成边缘掩码标签的拉普拉斯卷积和用于线性组合的卷积；
[0015]其中通过边缘头进行通道压缩，并进行上采样输出边缘输出掩膜，通过拉普拉斯卷积和用于线性组合图像的卷积对掩膜标签进行处理输出边缘掩膜标签，采用边缘掩膜标签对边缘输出掩膜进行监督。
[0016]所述阶段3、阶段4、阶段5采用短程稠密连接模块提取图像篡改特征，具体包括：
[0017]阶段3提取图像篡改特征后，采用第一定位头对阶段3输出的图像进行通道压缩，进行上采样，输出第一掩膜，采用掩膜标签对第一掩膜进行监督。
[0018]所述阶段1和阶段2使用步长为2的卷积层进行下采样提取图像浅层特征，阶段3、阶段4、阶段5采用短程稠密连接模块提取图像篡改特征，5个阶段依次连接，所述篡改定位分支还包括对阶段3、阶段4和阶段5的输出进行进一步处理的定位头、注意力精修模块、全局平均池化模块、位置注意力模块、特征融合模块，具体包括：
[0019]所述阶段3的输出作为阶段4的输入，所述阶段4的输出作为阶段5的输入；
[0020]通过阶段4得到对应的第四阶段输出，对第四阶段输出采用注意力精修模块进行精修得到第四阶段精修输出；
[0021]通过阶段5得到对应的第五阶段输出，将阶段5的全局平均池化信息加入到第五阶段输出中，得到第五阶段全局输出；
[0022]通过阶段5得到对应的第五阶段输出，对第五阶段输出采用注意力精修模块进行精修并采用位置注意力模块聚集篡改语义信息，得到第五阶段聚集输出；
[0023]对第五阶段全局输出和第五阶段聚集输出进行对应元素相加操作，并进行上采样，得到第五阶段连接输出；
[0024]对第五阶段连接输出、第五阶段全局输出和第四阶段精修输出进行对应元素相加操作，并进行上采样操作得到跨层连接输出；
[0025]通过阶段3得到对应的第三阶段输出，对第三阶段输出和跨层连接输出采用特征融合模块融合特征，得到融合特征输出。
[0026]所述得到融合特征输出后，采用第二定位头进行通道压缩，并进行上采样，输出第二掩膜，采用掩膜标签对第二掩膜进行监督。
[0027]所述对篡改定位网络进行训练，得到基于短程稠密连接和注意力机制的双流图像篡改定位模型，具体包括：
[0028]采用脚本生成篡改图像以及对应的掩膜标签作为数据集1，对数据集1进行划分得到训练集和验证集，对训练集和验证集固定图像大小进行裁剪，其中裁剪区域包含篡改区域，得到数据集2，采用数据集2对篡改定位网络进行训练；
[0029]训练过程中，通过边缘掩膜标签对边缘输出掩膜进行监督得到边缘损失，掩膜标签对第一掩膜进行监督得到第一篡改损失，掩膜标签对第二掩膜进行监督得到第二篡改损失；对边缘损失、第一篡改损失、第二篡改损失进行加和操作得到最终损失；
[0030]基于得到的最终损失对基于短程稠密连接和注意力机制的双流图像篡改定位网络进行优化，当最终损失达到预定要求，同时掩膜标签与第二掩膜的相似度达到预定要求时，输出基于短程稠密连接和注意力机制的双流图像篡改定位模型。
[0031]所述对训练集和验证集固定图像大小进行裁剪时采用滑动窗口算法进行裁剪，得到数据集2；
[0032]所述基于得到的最终损失对基于短程稠密连接和注意力机制的双流图像篡改定位网络进行优化具体采用梯度下降算法优化整个网络的参数。
[0033]本申请实施例第二方面提供了一种基于短程稠密连接和注意力机制的双流图像篡改定位装置，所述装置包括：
[0034]网络构建模块，构建基于短程稠密连接模块和注意力机制的双流图像篡改定位网络；
[0035]模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于短程稠密连接和注意力机制的双流图像篡改定位方法，其特征在于，所述方法包括：构建基于短程稠密连接模块和注意力机制的双流图像篡改定位网络；对篡改定位网络进行训练，得到基于短程稠密连接和注意力机制的双流图像篡改定位模型；使用训练好的网络模型，对输入的待测图像进行篡改定位，输出定位结果。2.根据权利要求1所述一种基于短程稠密连接和注意力机制的双流图像篡改定位方法，其特征在于，所述设计基于短程稠密连接模块和注意力机制的双流图像篡改定位网络，具体包括：所述双流图像篡改定位网络由边缘引导分支和篡改定位分支构成；所述篡改定位分支包括5个阶段，其中阶段1和阶段2使用步长为2的卷积层进行下采样提取图像浅层特征，阶段3、阶段4、阶段5采用短程稠密连接模块提取图像篡改特征，5个阶段依次连接；所述篡改定位分支还包括对阶段3、阶段4和阶段5的输出进行进一步处理的定位头、注意力精修模块、全局平均池化模块、位置注意力模块、特征融合模块；所述边缘引导分支包括：用于通道压缩的边缘头、用于生成边缘掩码标签的拉普拉斯卷积和用于线性组合的卷积；其中通过边缘头进行通道压缩，并进行上采样输出边缘输出掩膜，通过拉普拉斯卷积和用于线性组合图像的卷积对掩膜标签进行处理输出边缘掩膜标签，采用边缘掩膜标签对边缘输出掩膜进行监督。3.根据权利要求2所述一种基于短程稠密连接和注意力机制的双流图像篡改定位方法，其特征在于，所述阶段3、阶段4、阶段5采用短程稠密连接模块提取图像篡改特征，具体包括：阶段3提取图像篡改特征后，采用第一定位头对阶段3输出的图像进行通道压缩，进行上采样，输出第一掩膜，采用掩膜标签对第一掩膜进行监督。4.根据权利要求2所述一种基于短程稠密连接和注意力机制的双流图像篡改定位方法，其特征在于，所述阶段1和阶段2使用步长为2的卷积层进行下采样提取图像浅层特征，阶段3、阶段4、阶段5采用短程稠密连接模块提取图像篡改特征，5个阶段依次连接，所述篡改定位分支还包括对阶段3、阶段4和阶段5的输出进行进一步处理的定位头、注意力精修模块、全局平均池化模块、位置注意力模块、特征融合模块，具体包括：所述阶段3的输出作为阶段4的输入，所述阶段4的输出作为阶段5的输入；通过阶段4得到对应的第四阶段输出，对第四阶段输出采用注意力精修模块进行精修得到第四阶段精修输出；通过阶段5得到对应的第五阶段输出，将阶段5的全局平均池化信息加入到第五阶段输出中，得到第五阶段全局输出；通过阶段5得到对应的第五阶段输出，对第五阶段输出采用注意力精修模块进行精修并采用位置注意力模块聚集篡改语义信息，得到第五阶段聚集输出；对第五阶段全局输出和第五阶段聚集输出进行对应元素相加操作，并进行上采样，得到第五阶段连接输出；
对第五阶段连接输出、第五阶段全局输出和第四阶段精修输出进行对应元素相加操作，并进行上采样操作...

【专利技术属性】
技术研发人员：林茂森，李昊东，黄继武，
申请(专利权)人：深圳大学，
类型：发明
国别省市：