【技术实现步骤摘要】
一种具有凭证识别功能的归一化方法
本专利技术涉及深度学习模型产权保护
,具体涉及一种具有凭证识别功能的归一化方法。
技术介绍
深度学习已经在各个领域取得了巨大的成功,诸如图像识别、目标检测、自然语言处理等。为了获得高性能的深度模型,往往需要设计一个好的网络架构,收集海量的高质量的训练数据,消耗昂贵的计算资源。因此,这些模型具有巨大的商业价值,甚至可能是一些公司的核心技术。然而,最近的研究表明,深度模型知识产权容易受到侵害。例如,攻击者可以利用迁移学习通过微调使目标模型适应新的任务,甚至可以通过模型压缩技术获得新的高效模型。所有这些攻击方法会严重侵犯原模型所有者的利益。近几年来,深度模型知识产权的保护受到了学术界和工业界的广泛关注,涌现了许多不错的工作和技术。这些工作的主要思想是对深度模型的权重或其输出添加一些特殊的水印,同时尽量保持模型原有任务的性能。具体来说,在目标损失中加入了一个权重正则化函数,使得学习的权重可以遵循某种特殊的分布,以此作为水印信息;或者加入特殊的图像触发集,约束模型将这些触发图像分类成一些预先定义 ...
【技术保护点】
1.一种具有凭证识别功能的归一化方法、其特征在于,包括如下步骤:/n步骤1、建立模型性能与正确凭证之间的关系,利用仿射变换的分布调制,将仿射变换参数γ、β改变为凭证的函数;如果向目标模型输入不正确的凭证,生成的仿射变换参数也会不正确,使模型工作异常;学习另一组仿射变换参数γ
【技术特征摘要】
1.一种具有凭证识别功能的归一化方法、其特征在于,包括如下步骤:
步骤1、建立模型性能与正确凭证之间的关系,利用仿射变换的分布调制,将仿射变换参数γ、β改变为凭证的函数;如果向目标模型输入不正确的凭证,生成的仿射变换参数也会不正确,使模型工作异常;学习另一组仿射变换参数γ0、β0,用于模型的原始任务;
步骤2、在模型训练中引入凭证时,相应的统计量进行独立计算,其公式如下:
该公式包括两个分支,其中第二个分支作为凭证识别分支,对于全连接层后的归一化,第二个分支将计算自己的归一化统计量μ1,σ1,并分别学习基于凭证pγ、pβ的仿射变换参数γ、β。
2.根据权利要求1所述的一种具有凭证识别功能的归一化方法,其特征在于,所述步骤2中,包括如下步骤:
...
【专利技术属性】
技术研发人员:张卫明,俞能海,张杰,陈冬冬,廖菁,华刚,
申请(专利权)人:中国科学技术大学,
类型:发明
国别省市:安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。