域泛化的尺度对齐翻拍图片检测系统技术方案

一种域泛化的尺度对齐翻拍图片检测系统，包括：预处理模块、对称的对抗学习模块、任务模块、全局的尺度关系对齐模块以及局部特征三元损失挖掘模块，本发明专利技术能够提升综合多个小数据集训练时算法在未知数据上的翻拍检测准确度，可以大幅度提升实际应用场景下多数据来源、未知应用场景、图像尺度不一致情况下的准确度。图像尺度不一致情况下的准确度。图像尺度不一致情况下的准确度。

【技术实现步骤摘要】
域泛化的尺度对齐翻拍图片检测系统


[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种域泛化的尺度对齐翻拍图片检测 系统。

技术介绍

[0002]数字图像取证中的一个分支为对翻拍图像(Recaptured Image)的鉴定。对直接拍摄得到 的图像，使用某种方式重现后，再次使用拍摄设备获取重现的图像称之为翻拍图像。现有的分 类方法通过综合多个来源，或者采用数据增强的手段解决数据量缺乏的问题。而不同来源的数 据集本身具有多种不同的特征的边缘分布，构成了迁移学习中的多个独立的域。使用与训练时 使用到的域不同的域的数据进行测试，称为域切换，这种测试方法更加贴近实际生产使用场景。 直接将多个不同的域合成为一个数据集的域的做法由于分布上的偏差，导致对算法学习到的特 征而言，其性能容易受域切换的影响。在实际应用场景中，通常其检测内容的分布等信息在训 练时是未知的，因而对翻拍检测算法的泛化能力提出了现实挑战。

技术实现思路

[0003]本专利技术针对现有翻拍图像检测技术针对不同数据来源的分布偏差问题以及不同尺度下 决策函数分布不一致的问题，提出一种域泛化的尺度对齐翻拍图片检测系统，能够提升综合多 个小数据集训练时算法在未知数据上的翻拍检测准确度，可以大幅度提升实际应用场景下多数 据来源、未知应用场景、图像尺度不一致情况下的准确度。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种域泛化的尺度对齐翻拍检测系统，包括：预处理模块、对称的对抗学习 模块、任务模块、全局的尺度关系对齐模块以及局部特征三元损失挖掘模块，其中：预处理模 块对待测图像进行窗口提取并生成尺度金字塔，对抗学习模块在训练模式下接收尺度金字塔中 大小两级尺度一一对应的两种不同尺度级别的输入，将其分别嵌入特征空间，任务模块根据嵌 入的特征空间中的特征向量信息得到最终翻拍和直拍的概率值，全局的尺度关系对齐模块根据 任务模块对预处理模块产生的同一个图像的一大一小两个尺度级别上的尺度金字塔层级所计 算的向量值，即分类的打分进行对称的KL散度计算，得到KL散度值，局部特征三元损失挖掘 模块根据嵌入的特征空间中的特征向量信息，每次随机选取一个特征向量作为锚点，再从锚点 所属的类别中选取一个特征向量作为正样本，从另一类里面选取一个特征向量作为负样本，分 别计算锚点与正负样本的特征空间上的欧式距离之和作为三元组的损失，并穷举输入数据中的 所有三元组，对所有三元组的损失求平均值，得到总损失，训练过程中将该损失最小化从而在 特征空间进行局部的三元损失挖掘，提升特征嵌入的紧凑性，保证清晰的决策边界。
[0006]所述的尺度金字塔共两层且分别对应每张输入图像所产生的大小两级尺度。
[0007]所述的对称是指：同一张图像输入在预处理模块产生一大一小两个尺度级别，在
对抗学 习过程中不作区分；且对翻拍、直拍的类别也不进行区分。因此一大一小的尺度、翻拍直拍的 类别在该模块中计算的意义下是对称的，因此具有对称性。
[0008]所述的对抗学习模块包括：两个并联的ResNet 18骨干网络构成的特征生成单元和一个 域判别器，其中：两个ResNet 18骨干网络组成对称的两组特征嵌入网络，两部分通过一个梯 度反向层连接，最后使用分类损失单元计算域判别器的损失。
[0009]所述的对称的两组特征嵌入网络是指：两个骨干网络采用参数共享的策略对图像进行特 征提取，通过梯度反向层相连的域判别器与特征嵌入网络进行对抗，从而将不同域的数据分布 对齐，使特征嵌入网络学习共享的特征空间。
[0010]所述的任务模块包括：两个级联的线性层结点，其中：线性层结点根据嵌入的特征空间 中的特征向量信息得到一个向量值，作为分类的打分，再使用Softmax函数进行向量值的归一 化，得到最终翻拍和直拍的概率值。
[0011]所述的翻拍和直拍的概率值，在测试或实际应用时直接按照概率值更大的一个判定为直 拍或翻拍的类别，训练时使用这两个概率值和真实的类别计算交叉熵，从而利用交叉熵指导网 络学习到翻拍和直拍类别的概念。
[0012]所述的三元组包括：锚点、正样本和负样本，其中：正样本包括当锚点恰好属于翻拍图 像的特征向量，则选择另一个翻拍图像的特征向量。
[0013]所述的KL散度值，在测试或实际使用时该模块不参与计算，训练过程中通过对该KL 散度值进行反向传播，将域之间和域之内的不同尺度的特征构成的分类的分布对齐，从而降低 不同尺度的差异对性能的影响，进一步提升泛化能力。技术效果
[0014]本专利技术通过两个ResNet 18骨干网络分别接受预处理模块生成的一大一小两个尺度级别 上的图像窗口信息。且在对抗学习的过程中，每张图像在一大一小两个尺度上所嵌入的特征都 参与域分类器的训练，且数据集中的翻拍和直拍数据也全部参与域分类器的训练，因此对抗学 习模块具有对称性。
[0015]与现有技术相比，本专利技术能在多个不同来源数据集构成的训练集上训练、在分布信息未 知的翻拍检测测试或实际应用任务中达到更低的错误率(用HTER衡量)和更强的泛化能力(用 AUC衡量)；同时解决了图像尺度分布差异导致的检测错误率升高的问题。
附图说明
[0016]图1为本专利技术系统整体结构示意图；
[0017]图2为实施例训练过程示意图；图3为实施例测试使用过程示意图。
具体实施方式
[0018]如图1所示，为本实施例涉及一种域泛化的尺度对齐翻拍图片检测系统，包括：预处理 模块、对称的对抗学习模块、任务模块、全局的尺度关系对齐模块以及局部特征三元损失挖掘 模块，其中：预处理模块对图像进行窗口提取并生成尺度金字塔，作为后面对称的对抗学习模 块的输入；对称的对抗学习模块在训练模式下接收两种不同尺度级别的输入，将其分别嵌入特 征空间，(测试和实际应用时只使用一侧网络接收输入)对称的两组特
征嵌入网络采用参数共享 的策略对图像进行特征提取，通过梯度反向层相连的域判别器与特征嵌入网络进行对抗，从而 将不同域的数据分布对齐、使特征嵌入网络学习共享的特征空间；任务模块即传统的分类线性 层结点和交叉熵损失，指导网络学习到翻拍和直拍类别的概念；全局的尺度关系对齐模块将域 之间和域之内的不同尺度的特征构成的分类的分布对齐，从而降低不同尺度的差异对性能的影 响，进一步提升泛化能力；局部特征三元损失挖掘模块在特征空间进行局部的三元损失挖掘， 提升特征嵌入的紧凑性，保证清晰的决策边界。
[0019]所述的预处理模块包括：整理单元、小尺度级别单元和大尺度级别单元，其中：整理单 元将数据集的每个域中全部图片、翻拍图片、直拍图片、测试图片、训练图片分类存放到json 文件中，文件中每一条记录保存图片的绝对路径以及图片翻拍、直拍的标签，小尺度级别单元 将图片读取为PILImage数据，并对齐进行1:2降采样，再从中间位置截取256*256*3大小的 窗口作为小尺度图片，该窗口构成一个小尺度级别窗口，之后通过以[0.485,0.456,0.406本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种域泛化的尺度对齐翻拍检测系统，其特征在于，包括：预处理模块、对称的对抗学习模块、任务模块、全局的尺度关系对齐模块以及局部特征三元损失挖掘模块，其中：预处理模块对待测图像进行窗口提取并生成尺度金字塔，对抗学习模块在训练模式下接收尺度金字塔中大小两级尺度一一对应的两种不同尺度级别的输入，将其分别嵌入特征空间，任务模块根据嵌入的特征空间中的特征向量信息得到最终翻拍和直拍的概率值，全局的尺度关系对齐模块根据任务模块对预处理模块产生的同一个图像的一大一小两个尺度级别上的尺度金字塔层级所计算的向量值，即分类的打分进行对称的KL散度计算，得到KL散度值，局部特征三元损失挖掘模块根据嵌入的特征空间中的特征向量信息，每次随机选取一个特征向量作为锚点，再从锚点所属的类别中选取一个特征向量作为正样本，从另一类里面选取一个特征向量作为负样本，分别计算锚点与正负样本的特征空间上的欧式距离之和作为三元组的损失，并穷举输入数据中的所有三元组，对所有三元组的损失求平均值，得到总损失，训练过程中将该损失最小化从而在特征空间进行局部的三元损失挖掘，提升特征嵌入的紧凑性，保证清晰的决策边界；所述的尺度金字塔共两层且分别对应每张输入图像所产生的大小两级尺度；所述的三元组包括：锚点、正样本和负样本，其中：正样本包括当锚点恰好属于翻拍图像的特征向量，则选择另一个翻拍图像的特征向量。2.根据权利要求2所述的域泛化的尺度对齐翻拍检测系统，其特征是，所述的对抗学习模块包括：两个并联的ResNet 18骨干网络构成的特征生成单元和一个域判别器，其中：两个ResNet 18骨干网络组成对称的两组特征嵌入网络，两部分通过一个梯度反向层连接，最后使用分类损失单元计算域判别器的损失。3.根据权利要求2所述的域泛化的尺度对齐翻拍检测系统，其特征是，所述的对称的两组特征嵌入网络是指：两个骨干网络采用参数共享的策略对图像进行特征提取，通过梯度反向层相连的域判别器与特征嵌入网络进行对抗，从而将不同域的数据分布对齐，使特征嵌入网络学习共享的特征空间。4.根据权利要求1或2或3所述的域泛化的尺度对齐翻拍检测系统，其特征是，所述的对抗学习模块包括：两个并联的ResNet 18骨干网络构成的特征生成单元、梯度反向层、域识别单元和分类损失单元，其中：特征生成单元的两个输入口分别与两组ResNet
‑
18骨干网络相连，对应接收两个尺度级别，提取相同类别、相同内容、但是不同尺度级别的特征后将二者按顺序在批量维度上合并并批量地分别输出至任务模块、全局的尺度关系对齐模块、局部特征三元损失挖掘模块以及对称的对抗学习模块的梯度反向层；梯度反向层在不同时间分别进行前向传播时将输入直连到输出且不作任何运算和修改或后向传播时将输出的梯度值与
‑
1相乘，再乘以反向以降低训练初期噪声的影响；域识别单元对特征生成单元所嵌入的特征进行域的分类，其输出的结点数量为总的使用数据集数量；分类损失单元计算交叉熵损失。5.根据权利要求1所述的域泛化的尺度对齐翻拍检测系统，其特征是，所述的任务模块包括：平均值单元、具有两个线性层结点的分类单元和损失单元，其中：平均值单元对翻拍、直拍的嵌入特征求平均值得到两组平均特征值，分类单元对嵌入的特征进行翻拍、直拍的分类任务，损失单元在训练过程中将分类单元输出的类别与实际类别进行比较，并按照正确、错误数量的统计进行计算得到一个损失值，作为最终的综合损失的一部分进行后向传
播；所述的线性层结点根据嵌入的特征空间中的特征向量信息得到一个向量值，作为分类的打分，再使用Softmax函数进行向量值的归一化，得到最终翻拍和直拍的概率值。6.根据权利要求5所述的域泛化的尺度对齐翻拍检测系统，其特征是，所述的翻拍和直拍的概率值，在测试或实际应用时直接按照概率值更大的一个判定为直拍或翻拍的类别，训练时使用这两个概率值和真实的类别计算交叉熵，从而利用交叉熵指导网络学习到翻拍和直拍类别的概念。7.根据权利要求1或2所述的域泛化的尺度对齐翻拍检测系统，其特征是，所述的预处理模块包括：整理单元、小尺度级别单元和大尺度级别单元，其中：整理单元将数据集的每个域中全部图片、翻拍图片、直拍图片、测试图片、训练图片分类存放到json文件中，文件中每一条记录保存图片的绝对路径以及图片翻拍、直拍的标签，小尺度级别单元将图片读取为PILImage数据，并对齐进行1:2降采样，再从中间位置截取256*256*3大小的窗口作为小尺度图片，该窗口构成一个小尺度级别窗口，之后通过以[0.485,0.456,0.406]，[0.229,0.224,0.225]的参数对其进行归一化得到最终的对称的对抗学习模块的小尺度级别输入，大尺度级别单元将图片分别读取为PILImage数据，并从中间位置截取256*256*3大小的窗口作为大的尺度级别上的统一格式的输入图片，然后通过以[0.485,0.456,0.406]，[0.229,0.224,0.225]的参数对其进行归一化得到最终的对称的对抗学习模块的大尺度级别输入。8.根据权利要求1所述的域泛化的尺度对齐翻拍检测系统，其特征是，所述的尺度关系对齐模块包括：与任务模块的分类单元相连的KL散度计算单元，该KL散度计算单元的输入为大、小两个尺度级别的分类的置信度分布，即维度(B,2,2)的张量使用对称化的KL散度衡量每一对同样内容不同尺度的图片在翻拍、直拍的特征的差异，并取二者在任务模块的分类单元输出值的对称化的KL散度作为这一对图片的尺度损失；将批量中所有尺度损失平均值作为最终该尺度关系对齐模块的输出值，其中：B为在训练或测试时设置的批量大小，输出为维度为1的损失数值。9.根据权利要求1所述的域泛化的尺度对齐翻拍检测系统，其特征是，所述的局部特征三元损失挖掘模块对嵌入的特征空间进行进一步的局部的限制，该模块包括：三元损失计算单元，该三元损失计算单元穷举数据集中所有三元组，并计算其损失，再将所有三元组的三元损失求平均值作为最终结果；所述的损失的计算方式为：先选取一个特征作为锚点，再在其同一类别中的特征中选取一个作为正样本，计算二者的距离，再从与其不同类别中的特征中选取一个作为负样本，计算二者的距离，将锚点与正样本的距离减去锚点与负样本的距离作为一个三元组上的三元组损失，通过穷举所有的三元组损失加和平均得到最终的三元组损失，局部特征三元损失挖掘模块在特征空间的局部进行约束，提升特征表示的紧致性，有助于优化特征空间上的决策边界，从而帮助提升泛化能力。10.一种基于权利要求1～9中任一所述系统的域泛化的尺度对齐翻拍检测方法，其特征在于，包括：S1)训练域泛化的尺度对齐翻拍检测模型；S1.1)预处理选中的3个数据集，使用generate_label.py生成全部训练数据和对应标
签的json列表文件；具体为：逐个处理3个训练用数据集，取出所有图片的绝对路径，并将对应的标签一并存入json文件；S1.2)在3个...

【专利技术属性】
技术研发人员：回红，罗吉年，郭捷，甘唯嘉，邱卫东，黄征，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：