一种增强训练人工智能模型的优化方法技术

本发明专利技术提出一种增强训练人工智能模型的优化方法，包括步骤依次为：获得原始数据组和预训练模型、利用三级的梯度优化生成方法以及变换算法函数生成两个对抗样本组、生成两个混合攻击样本组和进行差异性训练，直到获得防御性能符合要求的识别模型。本发明专利技术通过采用三级的梯度优化方法并结合变换算法函数可以生成攻击能力较强的两个对抗样本组，其中一组作为参照而另一组作为可进化的增强组，再加上预训练模型与对抗样本的关联度增强，大大提高对抗样本的攻击能力，有利于在差异性训练中获得防御性能较高的防御模型，最终达到人工智能模型增强训练的目的，设计合理，有利于高效获得防御等级较高的模型，适合大规模推广。适合大规模推广。

【技术实现步骤摘要】
一种增强训练人工智能模型的优化方法


[0001]本专利技术属于人工智能
，尤其涉及一种增强训练人工智能模型的优化方法。

技术介绍

[0002]人工智能，指由人制造出来的机器所表现出来的智能。通常人工智能是指通过普通计算机程序来呈现人类智能的技术。近年来机器学习得到广泛的应用，但同时还存在很多的安全性问题，如对抗样本的存在令人工智能的安全性降低。对抗样本是可以直接改变或影响机器学习模型识别结果的一类数据，它是使用某种算法对元素数据产生细微的精心构造的扰动后，使原本正常的机器学习模型发生识别错误或者不能识别。为了防御对抗样本的攻击，最直接的一个做法是采用对抗性训练的方法来优化模型提高模型的安全性。对抗训练能够提高深度学习的对于对抗样本的抗干扰能力。自从针对深度学习网络模型的对抗样本被证明存在之后，为了保证神经网络模型在对抗攻击情况下的鲁棒性，对抗样本的代入训练就在被广泛使用。
[0003]目前，对于对抗样本的生成，很多训练阶段采用单一的生成算法，所以生成的对抗样本对人工智能模型的攻击性不足，导致防御的模型仍然存在很大的攻击成功概率；再者就是，预训练模型与攻击模型的关联度较低，会大大扩大对抗样本的离散度，从而增加训练的无效工作量，训练效率有待提高。

技术实现思路

[0004]本专利技术针对上述的人工智能所存在的技术问题，提出一种设计合理、结构简单、训练强度较高、效率较高且有利获得防御能力较高模型的一种增强训练人工智能模型的优化方法。
[0005]为了达到上述目的，本专利技术采用的技术方案为，本专利技术提供的一种增强训练人工智能模型的优化方法，包括步骤，S1、基于要训练的神经网络模型，对获取的原始数据集合的样本进行特征提取后，作为原始数据组，训练一个未经过对抗性训练的识别模型，即预训练模型；S2、使用三级的梯度优化生成方法生成对抗样本组I；将预训练模型作为变换算法函数中计算变换概率的一个参数，对在梯度优化生成方法中采用迭代的对抗样本进行变换，用变换算法函数变换生成对抗样本组II；S3、将对抗样本组I和原始数据组混合生成混合攻击样本组I，并将对抗样本组I、对抗样本组II和原始数据组混合生成混合攻击样本组II，利用两个混合样本攻击组再次进行识别模型的攻击训练，得到两个攻击训练后模型；S4、对两个攻击训练后模型进行差异性训练，混合攻击样本组I进行预攻击，混合攻击样本组II进行二次攻击，若达到移动目标防御成功的差异性函数，则得到最终的防御模型，即训练好的识别模型，否则重新生成对抗样本组II，生成对抗样本组II的方法为：调
整步骤S2中梯度优化生成算法的迭代步长以及变换算法中的变换概率，再次执行步骤S3
‑
S4。
[0006]作为优选，S2中的梯度优化生成方法包括以下步骤：S2.1、通过最大损失函数获取对抗样本，在损失函数对于x的梯度变化最大的方向上寻找扰动r，即，其中，sign表示符号函数，是损失函数对于输入x的梯度，；S2.2、采用迭代方式寻找扰动，即，其中t是当前迭代次数，迭代步长，T是整个迭代的总次数，Proj将每次更新的对抗样本投影到x的邻域内；S2.3、将S2.2中的迭代部分用动量迭代代替，基于动量的梯度下降的多步迭代方法表示为，其中，，u是动量衰减因子。
[0007]作为优选，S2中的变换算法函数为：，其中p为变换概率，随机变换函数，其中，，为概率系数且满足，G(x)为预训练模型作为计算变换概率的参数的函数。
[0008]作为优选，S2.1中扰动r满足函数：，其中，表示扰动程度的距离函数，F表示一个训练好的分类模型，表示扰动后的样本，f1为扰动样本在原始类别输出置信度；f2为样本的扰动距离，表示整个扰动范围内所有扰动样本在这两个方向上的分布情况。
[0009]作为优选，将优化具有边界限制的多目标的优化问题，寻找最小扰动，优化后的函数为：。
[0010]作为优选，S4中移动目标防御的差异性函数为：，其中，表示攻击者选择的一个代理模型，表示一组代理模型，表示防御方通过博弈选择的系统成
员模型，N表示系统成员模型的集合，表示上生成的对抗样本攻击的成功率，DL值越大，移动目标防御的效果越好。
[0011]与现有技术相比，本专利技术的优点和积极效果在于：1、本专利技术提供的一种增强训练人工智能模型的优化方法，通过采用三级的梯度优化方法并结合变换算法函数可以生成攻击能力较强的两个对抗样本组，其中一组作为参照而另一组作为可进化的增强组，再加上预训练模型与对抗样本的关联度增强，大大提高对抗样本的攻击能力，有利于在差异性训练中获得防御性能较高的防御模型，最终达到人工智能模型增强训练的目的，设计合理，效率较高，有利于获得防御等级较高的模型，适合大规模推广。
具体实施方式
[0012]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用不同于在此描述的其他方式来实施，因此，本专利技术并不限于下面公开说明书的具体实施例的限制。
[0013]实施例，本专利技术提供的一种增强训练人工智能模型的优化方法，包括步骤，S1、基于要训练的神经网络模型，对获取的原始数据集合的样本进行特征提取后，作为原始数据组，训练一个未经过对抗性训练的识别模型，即预训练模型；S2、使用三级的梯度优化生成方法生成对抗样本组I；将预训练模型作为变换算法函数中计算变换概率的一个参数，对在梯度优化生成方法中采用迭代的对抗样本进行变换，用变换算法函数变换生成对抗样本组II；S3、将对抗样本组I和原始数据组混合生成混合攻击样本组I，并将对抗样本组I、对抗样本组II和原始数据组混合生成混合攻击样本组II，利用两个混合样本攻击组再次进行识别模型的攻击训练，得到两个攻击训练后模型；S4、对两个攻击训练后模型进行差异性训练，混合攻击样本组I进行预攻击，混合攻击样本组II进行二次攻击，若达到移动目标防御成功的差异性函数，则得到最终的防御模型，即训练好的识别模型，否则重新生成对抗样本组II，生成对抗样本组II的方法为：调整步骤S2中梯度优化生成算法的迭代步长以及变换算法中的变换概率，再次执行步骤S3
‑
S4，直到获得防御成功的模型。
[0014]通过采用三级的梯度优化方法并结合变换算法函数可以生成攻击能力较强的两个对抗样本组，其中一组作为参照而另一组作为可进化的增强组，再加上预训练模型与对抗样本的关联度增强，大大提高对抗样本的攻击能力，有利于在差异性训练中获得防御性能较高的防御模型，最终达到人工智能模型增强训练的目的，设计合理，有利于获得防御等级较高的模型。
[0015]更具体地，本专利技术步骤S2中的梯度优化生成方法包括以下步骤：S2中的梯度优化生成方法包括以下步骤：S2.1、通过最大损失函数获取对抗样本，在损失函数对于x的梯度变化最大的方向上寻找扰动r，即，其中，sign表示符号函数，
是损失函数对于输入x的梯度，；S2.2、采用迭代方式寻找扰动，即，其中t是当前迭代次数，迭代步长，T是整个迭代的总次数，Proj将每次更新的对抗样本投影到x的邻域内；S2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强训练人工智能模型的优化方法，包括步骤，S1、基于要训练的神经网络模型，对获取的原始数据集合的样本进行特征提取后，作为原始数据组，训练一个未经过对抗性训练的识别模型，即预训练模型；其特征在于，还包括以下步骤：S2、使用三级的梯度优化生成方法生成对抗样本组I；将预训练模型作为变换算法函数中计算变换概率的一个参数，对在梯度优化生成方法中采用迭代的对抗样本进行变换，用变换算法函数变换生成对抗样本组II；S3、将对抗样本组I和原始数据组混合生成混合攻击样本组I，并将对抗样本组I、对抗样本组II和原始数据组混合生成混合攻击样本组II，利用两个混合样本攻击组再次进行识别模型的攻击训练，得到两个攻击训练后模型；S4、对两个攻击训练后模型进行差异性训练，混合攻击样本组I进行预攻击并作为参照，混合攻击样本组II进行二次攻击，若二次攻击达到移动目标防御成功的差异性函数，则得到最终的防御模型，即训练好的识别模型，否则重新生成对抗样本组II，生成对抗样本组II的方法为：调整步骤S2中梯度优化生成算法的迭代步长以及变换算法中的变换概率，再次执行步骤S3
‑
S4。2.根据权利要求1所述的一种增强训练人工智能模型的优化方法，其特征在于，S2中的梯度优化生成方法包括以下步骤：S2.1、通过最大损失函数获取对抗样本，在损失函数对于x的梯度变化最大的方向上寻找扰动r，即，其中,表示符号函数，是损失函数对于输入x的梯度...

【专利技术属性】
技术研发人员：周晓辉，袁博，
申请(专利权)人：算筹深圳信息科技有限公司，
类型：发明
国别省市：