当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于授权机制的本地化大模型保护方法及其系统技术方案

技术编号:40802698 阅读:90 留言:0更新日期:2024-03-28 19:27
本发明专利技术公开了一种基于授权机制的本地化大模型保护方法及其系统,属于深度学习模型知识产权保护领域。本发明专利技术对待保护大模型的真实模型参数进行混淆,只有正确的授权才可以让混淆后的参数正常的运行,即使攻击者拿到混淆后的模型架构和参数也无法正常使用模型,做到了对于模型的主动保护。并且授权所需参数将随着模型参数的更新而调整,利用可信执行环境实现了反向传播过程中授权参数梯度的隐藏,确保了微调过程的有效保护。本发明专利技术对于微调过程中模型的保护不涉及参数通信或加密,并且产生的额外开销和模型的参数更新规模以及微调方式无关,这确保了本发明专利技术能过够支持全参微调,最终能够实现有效且轻量的本地化大模型全生命周期保护。

【技术实现步骤摘要】

本专利技术涉及深度学习模型知识产权保护领域,尤其涉及一种基于授权机制的本地化大模型保护方法及其系统


技术介绍

1、大语言模型(以下简称大模型)如chatgpt在各类任务上表现卓越,特别受到中小企业青睐,它们通过预训练学习广泛知识,允许企业在不大量投资的情况下,通过定制化改进来满足特定业务需求。然而,微调这些模型以适应特定领域时,存在隐私挑战:现有方案要求上传私有数据至供应商,无法完全保护数据隐私。此外,基于参数通信的方案虽可部分解决隐私问题,但因大模型的巨大参数量,无法支持全参微调,限制了其在垂直领域的应用,并且训练完成的模型留在供应商处,仍然存在使用过程中的隐私风险。

2、对企业而言,数据隐私至关重要,是企业的核心数字资产。为了充分保证在模型微调和后续使用过程中数据的隐私,企业需要在私域数据不出域的情况下进行模型微调和后续使用。这带来了大模型的本地化部署的需求。然而,从模型提供商的视角来看,大模型的训练成本高昂(gpt-3的训练成本约1200万美元),其价值不言而喻。确保基座模型的安全对他们至关重要,但是下游企业进行的必要微调和部署可能会带本文档来自技高网...

【技术保护点】

1.一种基于授权机制的本地化大模型保护方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于授权机制的本地化大模型保护方法,其特征在于,所述步骤(2)具体为:

3.根据权利要求2所述的基于授权机制的本地化大模型保护方法,其特征在于,所述授权模块表示为:

4.根据权利要求3所述的基于授权机制的本地化大模型保护方法,其特征在于,对本地化保护模型进行训练的过程中,在可信执行环境中同步更新所述授权模块中的授权参数[w],更新方法为:

5.根据权利要求3所述的基于授权机制的本地化大模型保护方法,其特征在于,所述授权模块、混淆因子部署在可信执行...

【技术特征摘要】

1.一种基于授权机制的本地化大模型保护方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于授权机制的本地化大模型保护方法,其特征在于,所述步骤(2)具体为:

3.根据权利要求2所述的基于授权机制的本地化大模型保护方法,其特征在于,所述授权模块表示为:

4.根据权利要求3所述的基于授权机制的本地化大模型保护方法,其特征在于,对本地化保护模型进行训练的过程中,在可信执行环境中同步更新所述授权模块中的授权参数[w],更新方法为:

5.根据权利要求3所述的基于授权机制的本地化大模型保护方法,其特征在于,所述授权模块、混淆因子部署在可信执行环境中。

6.根据权利要求3所述的基于授权机制的本地化大模型保护方法,...

【专利技术属性】
技术研发人员:张旭鸿李秦峰沈志强杜天宇尹建伟
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1