【技术实现步骤摘要】
本说明书涉及人工智能领域，尤其涉及一种基于拟态结构动态防御的模型训练方法及装置。
技术介绍
1、随着人工智能的快速发展，深度学习在图像识别、自然语言处理、语音识别等多个领域都取得了显著的成就。然而，神经网络模型在噪声、扰动、对抗性攻击等复杂环境中的表现往往不稳定，缺乏鲁棒性。
2、目前，当使用神经网络模型对图片进行识别时，其中输入到神经网络模型中的图片样本可能包括对抗性样本，神经网络模型在面对对抗性样本进行识别时，输出的结果准确率可能会降低，并且随着时间推移，对抗性样本的种类不断增加，当前的训练方法不足以得到准确性较高的神经网络模型。
3、基于此，如何提高神经网络模型训练的准确性，则是一个亟待解决的问题。
技术实现思路
1、本说明书提供一种基于拟态结构动态防御的模型训练方法及装置，以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种基于拟态结构动态防御的模型训练方法，包括：
4、获取预训练模型；
5、将训练所述预训练模型所使用的第一图像输入到所述预训练模型中，得到所述第一图像对应的识别结果；
6、根据所述第一图像对应的识别结果以及所述第一图像对应的实际标签，确定所述第一图像对应的梯度信息；
7、根据所述梯度信息对应梯度方向的反向梯度方向，生成干扰数据；
8、将所述干扰数据加入到所述第一图像中，得到第二图像；
9、将所述第二图
10、以最小化所述最终识别结果与所述实际标签之间的偏差为优化目标，对所述预训练模型进行训练。
11、可选地，所述各子识别网络中包含有第一子识别网络以及第二子识别网络，所述第一子识别网络用于通过学习到的针对第一图像进行识别的识别规则，对输入到第一子识别网络中的图像进行识别，所述第二子识别网络用于通过学习到的针对第二图像进行识别的识别规则，对输入到第二子识别网络中的图像进行识别；
12、以最小化所述最终识别结果与所述实际标签之间的偏差为优化目标，对所述预训练模型进行训练，具体包括：
13、固定所述预训练模型中所述第一子识别网络的网络参数，并以最小化所述最终识别结果与所述实际标签之间的偏差为优化目标，对所述第二子识别网络中的网络参数以及所述权重网络层中的网络参数进行调整。
14、可选地，所述方法还包括：
15、当监测到获取与训练所述预训练模型所使用的图像数据的类型不符的图像数据时，生成若干新的子识别网络，并将所述新的子识别网络部署到所述预训练模型中，并根据所述新的子识别网络，对所述权重网络层进行维度扩展，得到更新后的预训练模型；
16、将获取到与训练所述预训练模型所使用的图像数据的类型不符的图像数据以及原始的图像数据作为扩充后图像数据输入到所述更新后的预训练模型中，以通过所述更新后的预训练模型中的权重网络层，确定原始的各子识别网络对应的权重和各新的子识别网络对应的权重，以及通过原始的每个子识别网络和每个新的子识别网络，分别对所述扩充后图像数据进行识别，得到各识别结果，并根据确定出的原始的各子识别网络对应的权重和所述各新的子识别网络对应的权重，对所述各识别结果进行加权，得到所述扩充后图像数据对应的识别结果；
17、以最小化所述扩充后图像数据对应的识别结果与所述扩充后图像数据对应的实际标签之间的偏差为优化目标，对所述更新后的预训练模型进行训练。
18、可选地，以最小化所述扩充后图像数据对应的识别结果与所述扩充后图像数据对应的实际标签之间的偏差为优化目标，对所述更新后的预训练模型进行训练，具体包括：
19、固定所述预训练模型中原始的各子识别网络的网络参数以及所述权重网络层中针对原始的各子识别网络的维度所对应的网络参数；
20、以最小化所述扩充后图像数据对应的识别结果与所述扩充后图像数据对应的实际标签之间的偏差为优化目标，对所述各新的子识别网络中的网络参数以及所述权重网络层中针对所述各新的子识别网络的扩展维度对应的网络参数进行调整。
21、可选地，以最小化所述扩充后图像数据对应的识别结果与所述扩充后图像数据对应的实际标签之间的偏差为优化目标，对所述更新后的预训练模型进行训练，具体包括，具体包括：
22、针对第n轮次的训练，根据在第n轮次训练中得到的所述扩充后图像数据对应的识别结果与所述扩充后图像数据对应的实际标签之间的偏差，得到第一损失值；
23、针对每个原始的子识别网络，根据训练前所述预训练模型中原始的该子识别网络针对所述扩充后图像数据所得到的识别结果，与经过第n-1轮次训练后所述预训练模型中原始的该子识别网络针对所述扩充后图像数据所得到的识别结果之间的偏差，确定原始的该子识别网络所对应的第二损失值；
24、根据所述第一损失值和所述第二损失值，得到总损失值，以通过最小化所述总损失值为优化目标，对所述预训练模型进行第n轮次的训练。
25、本说明书提供了一种基于拟态结构动态防御的模型训练装置，包括：
26、获取模块，用于获取预训练模型；
27、生成模块，用于将训练所述预训练模型所使用的第一图像输入到所述预训练模型中，得到所述第一图像对应的识别结果；根据所述第一图像对应的识别结果以及所述第一图像对应的实际标签，确定所述第一图像对应的梯度信息；根据所述梯度信息对应梯度方向的反向梯度方向，生成干扰数据；将所述干扰数据加入到所述第一图像中，得到第二图像；
28、加权模块，用于将所述第二图像输入到所述预训练模型中，以通过所述预训练模型中的权重网络层，确定所述预训练模型中设置的各子识别网络对应的权重，以及通过每个子识别网络，分别对所述第二图像进行识别，得到各识别结果，并根据确定出的所述各子识别网络对应的权重，对所述各识别结果进行加权，得到最终识别结果；
29、训练模块，用于以最小化所述最终识别结果与所述实际标签之间的偏差为优化目标，对所述预训练模型进行训练。
30、可选地，所述各子识别网络中包含有第一子识别网络以及第二子识别网络，所述第一子识别网络用于通过学习到的针对第一图像进行识别的识别规则，对输入到第一子识别网络中的图像进行识别，所述第二子识别网络用于通过学习到的针对第二图像进行识别的识别规则，对输入到第二子识别网络中的图像进行识别；
31、所述训练模块具体用于，固定所述预训练模型中所述第一子识别网络的网络参数，并以最小化所述最终识别结果与所述实际标签之间的偏差为优化目标，对所述第二子识别网络中的网络参数以及所述权重网络层中的网络参数本文档来自技高网...
【技术保护点】
1.一种基于拟态结构动态防御的模型训练方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述各子识别网络中包含有第一子识别网络以及第二子识别网络，所述第一子识别网络用于通过学习到的针对第一图像进行识别的识别规则，对输入到第一子识别网络中的图像进行识别，所述第二子识别网络用于通过学习到的针对第二图像进行识别的识别规则，对输入到第二子识别网络中的图像进行识别；
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
4.如权利要求3所述的方法，其特征在于，以最小化所述扩充后图像数据对应的识别结果与所述扩充后图像数据对应的实际标签之间的偏差为优化目标，对所述更新后的预训练模型进行训练，具体包括：
5.如权利要求3所述的方法，其特征在于，以最小化所述扩充后图像数据对应的识别结果与所述扩充后图像数据对应的实际标签之间的偏差为优化目标，对所述更新后的预训练模型进行训练，具体包括：
6.一种基于拟态结构动态防御的模型训练装置，其特征在于，包括：
7.如权利要求6所述的装置，其特征在于，所述各子识别网络中包
8.如权利要求6所述的装置，其特征在于，所述训练模块还用于，当监测到获取与训练所述预训练模型所使用的图像数据的类型不符的图像数据时，生成若干新的子识别网络，并将所述新的子识别网络部署到所述预训练模型中，并根据所述新的子识别网络，对所述权重网络层进行维度扩展，得到更新后的预训练模型；将获取到与训练所述预训练模型所使用的图像数据的类型不符的图像数据以及原始的图像数据作为扩充后图像数据输入到所述更新后的预训练模型中，以通过所述更新后的预训练模型中的权重网络层，确定原始的各子识别网络对应的权重和各新的子识别网络对应的权重，以及通过原始的每个子识别网络和每个新的子识别网络，分别对所述扩充后图像数据进行识别，得到各识别结果，并根据确定出的原始的各子识别网络对应的权重和所述各新的子识别网络对应的权重，对所述各识别结果进行加权，得到所述扩充后图像数据对应的识别结果；以最小化所述扩充后图像数据对应的识别结果与所述扩充后图像数据对应的实际标签之间的偏差为优化目标，对所述更新后的预训练模型进行训练。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~5任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~5任一项所述的方法。
...【技术特征摘要】
1.一种基于拟态结构动态防御的模型训练方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述各子识别网络中包含有第一子识别网络以及第二子识别网络，所述第一子识别网络用于通过学习到的针对第一图像进行识别的识别规则，对输入到第一子识别网络中的图像进行识别，所述第二子识别网络用于通过学习到的针对第二图像进行识别的识别规则，对输入到第二子识别网络中的图像进行识别；
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
4.如权利要求3所述的方法，其特征在于，以最小化所述扩充后图像数据对应的识别结果与所述扩充后图像数据对应的实际标签之间的偏差为优化目标，对所述更新后的预训练模型进行训练，具体包括：
5.如权利要求3所述的方法，其特征在于，以最小化所述扩充后图像数据对应的识别结果与所述扩充后图像数据对应的实际标签之间的偏差为优化目标，对所述更新后的预训练模型进行训练，具体包括：
6.一种基于拟态结构动态防御的模型训练装置，其特征在于，包括：
7.如权利要求6所述的装置，其特征在于，所述各子识别网络中包含有第一子识别网络以及第二子识别网络，所述第一子识别网络用于通过学习到的针对第一图像进行识别的识别规则，对输入到第一子识别网络中的图像进行识别，所述第二子识别网络用于通过学习到的针对第二图像进行识别的识别规则，对输入到第二子识别网络中的图像进行...
【专利技术属性】
技术研发人员：张音捷，王之宇，张奕鹏，白冰，孙才俊，孙天宁，徐昊天，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。