基于卷积层激活差异的对抗图像检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于卷积层激活差异的对抗图像检测方法及装置，包括：获取待处理图像，并将待处理图像输入至图像分类模型；获取图像分类模型中预设卷积层输出的特征图，并确定特征图的激活比例；将激活比例输入检测模型后，根据检测模型的输出判断图像分类模型对待处理图像的分类结果是否存在异常；其中，检测模型为预先以正常图像及对抗样本在图像分类模型中的激活比例作为训练样本进行训练后，获得的全连接神经网络模型。本发明专利技术通过在图像分类模型的正常前向传播过程中进行特征图激活比例的计算，在几乎不会给线上应用造成时延的同时，使检测模型根据激活比例判断分类结果是否存在异常，从而对已上线的图像分类模型进行安全加固。安全加固。安全加固。

【技术实现步骤摘要】
基于卷积层激活差异的对抗图像检测方法及装置


[0001]本专利技术属于人工智能
，具体涉及一种基于卷积层激活差异的对抗 图像检测方法及装置。

技术介绍

[0002]近年来，人脸识别、图像内容审核、智能安防和自动驾驶等一系列以图像 分类为技术核心的产业迅猛发展，覆盖了日常生活中认证、支付、医疗和出行 等多个重要场景。但是，研究者发现图像分类模型的安全性不足，面对攻击者 的攻击时比较脆弱。
[0003]图像对抗样本是攻击者针对正在提供服务的图像分类模型发起的攻击，又 称“逃逸攻击”。攻击者的目标是在现有的图片上添加扰动，使得修改后的图片 不在视觉上产生类别变化、而图像分类模型却会将其错误分类，此过程中攻击 者无需篡改图像分类模型的参数，却大幅降低了分类精度。例如，在网络图像 内容监管场景中，攻击者可能通过对抗样本绕过检测系统，进而发布含有违规 内容的图片；在智能安防监控中，攻击者可能身穿带有特定图案的衣物躲避检 测；在自动驾驶场景中，攻击者可能在交通指示牌添加特定内容使汽车的路牌 识别系统出错，带来交通安全隐患。
[0004]相关技术中，图像对抗样本检测方法如NIC由于需要训练多个子模型，或 者如CDRP需要在图像分类模型做出预测结果后，反推得到相关信息再进行检 测，导致对抗样本检测方法给图像分类模型做出最终判断带来较高时延，使线 上应用无法高并发地处理用户请求。

技术实现思路

[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于卷积层激活 差异的对抗图像检测方法及装置。本专利技术要解决的技术问题通过以下技术方案 实现：
[0006]第一方面，本专利技术提供一种基于卷积层激活差异的对抗图像检测方法，包 括：
[0007]获取待处理图像，并将所述待处理图像输入至图像分类模型；所述图像分 类模型为预先训练好的卷积神经网络模型，包括：卷积层、池化层和全连接层；
[0008]获取所述图像分类模型中预设卷积层输出的特征图，并确定所述特征图的 激活比例；
[0009]将所述激活比例输入检测模型后，根据所述检测模型的输出判断所述图像 分类模型对待处理图像的分类结果是否存在异常；其中，所述检测模型为：预 先以正常图像及对抗样本在所述图像分类模型中的激活比例作为训练样本进行 训练后，获得的表示输入图像的异常概率的全连接神经网络模型。
[0010]在本专利技术的一个实施例中，所述获取所述图像分类模型中预设卷积层输出 的特征图，并确定所述特征图的激活比例的步骤，包括：
[0011]选取所述图像分类模型中的两个卷积层后，分别获得所述两个卷积层输出 的第一特征图及第二特征图；
[0012]分别计算所述第一特征图和所述第二特征图的激活比例。
[0013]在本专利技术的一个实施例中，所述分别计算所述第一特征图和所述第二特征 图的激活比例的步骤，包括：
[0014]计算所述第一特征图中各通道的激活比例，得到第一激活比例；
[0015]计算所述第二特征图中各通道的激活比例，得到第二激活比例。
[0016]在本专利技术的一个实施例中，按照如下公式确定所述特征图的激活比例：
[0017][0018]其中，M表示卷积层输出的特征图，h、w分别表示所述特征图的高和宽， φ表示预设阈值，e表示特征图中的矩阵元素，特征图中大于所述预设阈值的矩 阵元素被视作激活，R表示计算得到的特征图激活比例。
[0019]在本专利技术的一个实施例中，所述检测模型采用如下步骤训练获得：
[0020]获取第一类训练样本，所述第一类训练样本包括：多个正常图像、所述正 常图像对应的正常激活比例、各正常图像对应的多个对抗样本以及所述对抗样 本对应的异常激活比例；
[0021]将预设数量个第一类训练样本输入至待训练全连接神经网络模型，并根据 所述待训练全连接神经网络模型的输出结果和预设损失函数，确定损失值；
[0022]根据所述损失值判断待训练全连接神经网络模型是否收敛；如果收敛，则 待训练全连接神经网络模型为训练完成的检测模型；
[0023]如果未收敛，则调整待训练全连接神经网络模型的网络参数，并返回所述 将预设数量个第一类训练样本输入至待训练全连接神经网络模型的步骤。
[0024]在本专利技术的一个实施例中，所述第一类训练样本采用如下步骤获得：
[0025]获取第一训练样本；所述第一训练样本包括多个正常图像；
[0026]将所述第一训练样本输入至所述图像分类模型后，获得所述图像分类模型 中所有卷积层输出的特征图，并确定该特征图的正常激活比例；
[0027]生成各所述正常图像对应的多个对抗样本，得到第二训练样本；
[0028]将所述第二训练样本输入至所述图像分类模型后，获得所述图像分类模型 中所有卷积层输出的特征图，并确定该特征图的异常激活比例；
[0029]生成第一类训练样本，所述第一类训练样本包括：各正常图像的正常激活 比例以及各正常图像对应的多个对抗样本的异常激活比例。
[0030]第二方面，本专利技术提供一种基于卷积层激活差异的对抗图像检测装置，包 括：
[0031]第一获取模块，用于获取待处理图像，并将所述待处理图像输入至图像分 类模型；所述图像分类模型为预先训练好的卷积神经网络模型，包括：卷积层、 池化层和全连接层；
[0032]第二获取模块，用于获取所述图像分类模型中预设卷积层输出的特征图， 并确定所述特征图的激活比例；
[0033]输入模块，用于将所述激活比例输入检测模型后，根据所述检测模型的输 出判断所述图像分类模型对待处理图像的分类结果是否存在异常；其中，所述 检测模型为：预先以正常图像及对抗样本在所述图像分类模型中的激活比例作 为训练样本进行训练后，获
得的表示输入图像的异常概率的全连接神经网络模 型。
[0034]与现有技术相比，本专利技术的有益效果在于：
[0035]针对图像分类模型面临的对抗图像威胁，本专利技术提供了一种基于卷积层激 活差异的对抗图像检测方法及装置，通过在图像分类模型的正常前向传播过程 中进行特征图激活比例的计算，使检测模型根据激活比例判断图像分类模型对 待处理图像的分类结果是否存在异常，从而对已上线的图像分类模型进行安全 加固；此外，由于特征图激活比例的计算在正常前向传播过程中结束，因此几 乎不会给线上应用造成时延，解决了现有检测方法时延高的问题。
[0036]以下将结合附图及实施例对本专利技术做进一步详细说明。
附图说明
[0037]图1是本专利技术实施例提供的基于卷积层激活差异的对抗图像检测方法的一 种流程图；
[0038]图2是本专利技术实施例提供的图像分类模型的一种示意图；
[0039]图3是本专利技术实施例提供的池化操作的一种示意图；
[0040]图4是本专利技术实施例提供的特征图的可视化结果示意图；
[0041]图5是本专利技术实施例提供的基于卷积层激活差异的对抗图像检测方法的一 种示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积层激活差异的对抗图像检测方法，其特征在于，包括：获取待处理图像，并将所述待处理图像输入至图像分类模型；所述图像分类模型为预先训练好的卷积神经网络模型，包括：卷积层、池化层和全连接层；获取所述图像分类模型中预设卷积层输出的特征图，并确定所述特征图的激活比例；将所述激活比例输入检测模型后，根据所述检测模型的输出判断所述图像分类模型对待处理图像的分类结果是否存在异常；其中，所述检测模型为：预先以正常图像及对抗样本在所述图像分类模型中的激活比例作为训练样本进行训练后，获得的表示输入图像的异常概率的全连接神经网络模型。2.根据权利要求1所述的基于卷积层激活差异的对抗图像检测方法，其特征在于，所述获取所述图像分类模型中预设卷积层输出的特征图，并确定所述特征图的激活比例的步骤，包括：选取所述图像分类模型中的两个卷积层后，分别获得所述两个卷积层输出的第一特征图及第二特征图；分别计算所述第一特征图和所述第二特征图的激活比例。3.根据权利要求2所述的基于卷积层激活差异的对抗图像检测方法，其特征在于，所述分别计算所述第一特征图和所述第二特征图的激活比例的步骤，包括：计算所述第一特征图中各通道的激活比例，得到第一激活比例；计算所述第二特征图中各通道的激活比例，得到第二激活比例。4.根据权利要求1所述的基于卷积层激活差异的对抗图像检测方法，其特征在于，按照如下公式确定所述特征图的激活比例：其中，M表示卷积层输出的特征图，h、w分别表示所述特征图的高和宽，φ表示预设阈值，e表示特征图中的矩阵元素，特征图中大于所述预设阈值的矩阵元素被视作激活，R表示计算得到的特征图激活比例。5.根据权利要求1所述的基于卷积层激活差异的对抗图像检测方法，其特征在于，所述检测模型采用如下步骤训练获得：获取第一类训练样本，所述第一类训练样本包括：多个正常图像、所述正常图像对应的正常激活比例、各正常图像对应的...

【专利技术属性】
技术研发人员：李兴华，汤佳伟，章海燕，许勐璠，刘佼，苗银宾，张俊伟，姜奇，郭晶晶，马建峰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：