一种基于深度学习的样本处理方法及相关设备技术

本申请实施例提供了一种基于深度学习的样本处理方法及相关设备，用于过滤深度学习模型中的后门样本

【技术实现步骤摘要】
一种基于深度学习的样本处理方法及相关设备


[0001]本申请实施例涉及信息安全
，尤其涉及一种基于深度学习的样本处理方法及相关设备
。

技术介绍

[0002]随着深度学习在医疗
、
自动驾驶等领域的广泛应用，深度学习模型的安全问题也引起人们的重视
。
深度学习的训练阶段，攻击者给部分训练样本加上触发器，并将其分类标签改为目标类别标签，经训练的深度神经网络就被安插了“后门”。
[0003]在测试阶段，如果有待预测的样本被加上了同样的触发器，那么深度神经网络模型就会输出目标类别，而非样本的真实分类标签，这就是后门攻击
。
在没有足够计算资源训练深度神经网络模型的时候，客户往往会将模型训练的任务交给第三方机构处理
。
如果存在恶意的第三方机构作为攻击者将后门植入到模型中，那么在应用该模型预测带有触发器的样本时，模型会给出攻击者指定的目标类别作为预测
。
基于深度神经网络模型的系统将会做出错误判断，严重影响了系统应用的安全
。
[0004]后门样本中所包含的触发器有极大的影响力，如果将其找到并粘贴到其他干净图像上，那么这些被粘贴了触发器的干净样本也会被模型误分类成目标类
。

技术实现思路

[0005]本申请实施例提供了一种基于深度学习的样本处理方法及相关设备，用于过滤深度学习模型中的后门样本
。
[0006]本申请实施例第一方面提供了一种基于深度学习的样本处理方法，包括：
[0007]获取待处理样本的关键特征信息；其中，所述关键特征信息用于描述于所述待处理样本中关键位置点的特征信息；
[0008]确定所述关键位置点的所述关键特征信息中，位于识别位置点的目标特征信息；其中，目标特征信息为所述关键特征信息中用于识别所述待处理样本的特征信息；
[0009]将所述目标特征信息对应输入至参考样本中的目标位置点，得到待预测样本，以确定所述待预测样本的分类类别标签；其中，所述目标位置点为对应于所述识别位置点的位置点
。
[0010]可选地，所述获取待处理样本的关键特征信息，包括：
[0011]获取所述待处理样本中所有位置点的位置特征信息；
[0012]确定所述所有位置点的所述位置特征信息的表征参数信息；
[0013]确定所述表征参数信息中的目标参数信息，并确定与所述目标参数信息对应的位置点为所述关键位置点，确定与所述关键位置点对应的特征信息为所述关键特征信息
。
[0014]可选地，所述确定所述关键位置点的所述关键特征信息中，位于识别位置点的目标特征信息，包括：
[0015]获取所述关键位置点中所有待识别位置点，及与所述待识别位置点对应的待识别
特征信息；其中，所述关键特征信息包括所有所述待识别特征信息；
[0016]从所述所有待识别位置点中选择第一位置点及第二位置点，并确定分别与所述第一位置点及第二位置点对应的第一特征信息及第二特征信息的差值信息；其中，所述第一位置点及所述第二位置点为所述所有待识别位置点中任意两个位置点；
[0017]根据所述差值信息对第三位置点的待识别特征信息进行变异，获取对应于所述第三位置点的第三特征信息；其中，所述第三位置点为所述所有待识别位置点中任意一个位置点；
[0018]对所述第三位置点所对应的所述第三特征信息及所述待识别特征信息进行交叉取值，确定所述第三位置点的待选择特征信息；
[0019]当所述待选择特征信息满足预设适应度信息，确定所述第三位置点为所述识别位置点，并确定所述第三位置点对应的待识别特征信息为所述目标特征信息
。
[0020]可选地，所述确定所述第三位置点为所述识别位置点，并确定所述第三位置点对应的待识别特征信息为所述目标特征信息之前，所述方法还包括：
[0021]确定所述待处理样本中对应于所述第三位置点的色彩度特征信息；
[0022]根据所述色彩度特征信息，确定对应于所述第三位置点的适应度信息；
[0023]将所述第三位置点的所述待选择特征信息输入至干净样本，识别所述干净样本的所述分类类别标签，以确定对应于所述第三位置点的预测概率信息；其中，所述干净样本的所述分类类别标签为第一类别标签，所述预测概率信息用于描述识别所述分类类别标签为第二类别标签的概率信息；
[0024]根据所述适应度信息及所述预测概率信息，确定所述预设适应度信息
。
[0025]可选地，所述方法还包括：
[0026]当对所述第三位置点的待识别特征信息进行变异时，确定所述第三位置点的目标迭代次数；
[0027]当所述目标迭代次数满足预设次数阈值时，确定满足所述预设适应度信息的所述第三位置点为所述识别位置点；
[0028]或，当所述目标迭代次数满足预设次数阈值，且所述待选择特征信息未满足预设适应度信息时，确定所述待预测样本的分类类别标签为第一类别标签，所述待预测样本为干净样本
。
[0029]可选地，所述将所述目标特征信息对应输入至参考样本中的目标位置点，得到待预测样本，以确定所述待预测样本的分类类别标签，包括：
[0030]获取多组所述参考样本，并设置所述参考样本中对应于所述识别位置点的位置点为所述目标位置点；其中，所述参考样本为干净样本；
[0031]将所述目标特征信息对应的图像特征信息粘贴至所述目标位置点，得到多组所述待预测样本；
[0032]判断所有所述待预测样本的分类类别标签是否与所述参考样本的分类类别标签相同；
[0033]若所述待预测样本与所述参考样本的分类类别标签相同，确定所述待处理样本为所述干净样本；
[0034]若所述待预测样本与所述参考样本的分类类别标签不相同，确定所述待预测样本
为后门样本
。
[0035]可选地，所述确定所述待预测样本的分类类别标签之后，所述方法还包括：
[0036]若所述分类类别标签为第一类别标签，确定所述待处理样本为干净样本
。
[0037]若所述分类类别标签为第二类别标签，确定所述目标特征信息为触发器，且所述待处理样本为后门样本
。
[0038]本申请实施例第二方面提供了一种基于深度学习的样本处理系统，包括：
[0039]获取单元，用于获取待处理样本的关键特征信息；其中，所述关键特征信息用于描述于所述待处理样本中关键位置点的特征信息；
[0040]确定单元，用于确定所述关键位置点的所述关键特征信息中，位于识别位置点的目标特征信息；其中，目标特征信息为所述关键特征信息中用于识别所述待处理样本的特征信息；
[0041]输入单元，用于将所述目标特征信息对应输入至参考样本中的目标位置点，得到待预测样本，以确定所述待预测样本的分类类别标签；其中，所述目标位置点为对应于所述识别位置点的位置点
。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习的样本处理方法，其特征在于，所述方法包括：获取待处理样本的关键特征信息；其中，所述关键特征信息用于描述于所述待处理样本中关键位置点的特征信息；确定所述关键位置点的所述关键特征信息中，位于识别位置点的目标特征信息；其中，目标特征信息为所述关键特征信息中用于识别所述待处理样本的特征信息；将所述目标特征信息对应输入至参考样本中的目标位置点，得到待预测样本，以确定所述待预测样本的分类类别标签；其中，所述目标位置点为对应于所述识别位置点的位置点
。2.
根据权利要求1所述的基于深度学习的样本处理方法，其特征在于，所述获取待处理样本的关键特征信息，包括：获取所述待处理样本中所有位置点的位置特征信息；确定所述所有位置点的所述位置特征信息的表征参数信息；确定所述表征参数信息中的目标参数信息，并确定与所述目标参数信息对应的位置点为所述关键位置点，确定与所述关键位置点对应的特征信息为所述关键特征信息
。3.
根据权利要求1所述的基于深度学习的样本处理方法，其特征在于，所述确定所述关键位置点的所述关键特征信息中，位于识别位置点的目标特征信息，包括：获取所述关键位置点中所有待识别位置点，及与所述待识别位置点对应的待识别特征信息；其中，所述关键特征信息包括所有所述待识别特征信息；从所述所有待识别位置点中选择第一位置点及第二位置点，并确定分别与所述第一位置点及第二位置点对应的第一特征信息及第二特征信息的差值信息；其中，所述第一位置点及所述第二位置点为所述所有待识别位置点中任意两个位置点；根据所述差值信息对第三位置点的待识别特征信息进行变异，获取对应于所述第三位置点的第三特征信息；其中，所述第三位置点为所述所有待识别位置点中任意一个位置点；对所述第三位置点所对应的所述第三特征信息及所述待识别特征信息进行交叉取值，确定所述第三位置点的待选择特征信息；当所述待选择特征信息满足预设适应度信息，确定所述第三位置点为所述识别位置点，并确定所述第三位置点对应的待识别特征信息为所述目标特征信息
。4.
根据权利要求3所述的基于深度学习的样本处理方法，其特征在于，所述确定所述第三位置点为所述识别位置点，并确定所述第三位置点对应的待识别特征信息为所述目标特征信息之前，所述方法还包括：确定所述待处理样本中对应于所述第三位置点的色彩度特征信息；根据所述色彩度特征信息，确定对应于所述第三位置点的适应度信息；将所述第三位置点的所述待选择特征信息输入至干净样本，识别所述干净样本的所述分类类别标签，以确定对应于所述第三位置点的预测概率信息；其中，所述干净样本的所述分类类别标签为第一类别标签，所述预测概率信息用于描述识别所述分类类别标签为第二类别标签的概率信息；根据所述适应度信息及所述预测概率信息，确定所述预设适应度信息
。5.
根据权利要求3所述的基于深度学习的...

【专利技术属性】
技术研发人员：罗文坚，周琪，叶子鹏，唐钰渤，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：