【技术实现步骤摘要】
本专利技术涉及智能系统安全领域，具体涉及一种基于知识蒸馏的代码预训练模型对抗样本生成方法及系统。
技术介绍
1、知识蒸馏(knowledge distillation，简记为kd)是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型模仿性能更好、结构更复杂的教师模型(或多模型的ensemble)，在不改变学生模型结构的情况下提高其性能。训练学生模型模仿教师模型的行为，从而将教师模型中的知识转移到学生模型中。知识蒸馏方法包括但不限于，通过老师模型对训练样本的推理，产生每个样本在每个分类上的预测概率作为软标签，使用软标签对特定结构的学生模型进行训练。
2、预训练模型是指训练过程包括预训练和微调两个阶段的深度学习模型。预训练模型包括自编码语言模型和自回归语言模型。其中，自编码语言模型大多基于神经网络实现，也就是本专利技术中采用的模型。此前研究发现，神经网络容易受到对抗攻击，对输入数据进行很小的、不易被人注意的修改可能会使神经网络做出完全不同的预测，从而产生安全隐患。这不仅限制了神经网络在高安全性要求的环境中的应用，也降低了...
【技术保护点】
1.一种基于知识蒸馏的代码预训练模型对抗样本生成方法，其特征在于，所述的方法包括以下步骤：
2.根据权利要求1所述的基于知识蒸馏的代码预训练模型对抗样本生成方法，其特征在于，步骤S1中，所述开源数据集的获取包括以下步骤：
3.根据权利要求2所述的基于知识蒸馏的代码预训练模型对抗样本生成方法，其特征在于，从开源仓库和/或对抗攻击研究的专门平台和竞赛中收集所述初始数据集。
4.根据权利要求1所述的基于知识蒸馏的代码预训练模型对抗样本生成方法，其特征在于，所述预训练代码模型中有若干组参数组合，每一组参数组合对应一个学生模型，步骤S2中，获...
【技术特征摘要】
1.一种基于知识蒸馏的代码预训练模型对抗样本生成方法，其特征在于，所述的方法包括以下步骤：
2.根据权利要求1所述的基于知识蒸馏的代码预训练模型对抗样本生成方法，其特征在于，步骤s1中，所述开源数据集的获取包括以下步骤：
3.根据权利要求2所述的基于知识蒸馏的代码预训练模型对抗样本生成方法，其特征在于，从开源仓库和/或对抗攻击研究的专门平台和竞赛中收集所述初始数据集。
4.根据权利要求1所述的基于知识蒸馏的代码预训练模型对抗样本生成方法，其特征在于，所述预训练代码模型中有若干组参数组合，每一组参数组合对应一个学生模型，步骤s2中，获取所述最优学生模型包括以下步骤：
5.根据权利要求4所述的基于知识蒸馏的代码预训练模型对抗样本生成方法，其特征在于，步骤s22具体包括以下步骤：
【专利技术属性】
技术研发人员：孙小兵，刘欣炜，薄莉莉，刘湘月，李斌，
申请(专利权)人：扬州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。