【技术实现步骤摘要】
本专利技术涉及深度学习模型知识产权保护领域,尤其涉及一种基于授权机制的本地化大模型保护方法及其系统。
技术介绍
1、大语言模型(以下简称大模型)如chatgpt在各类任务上表现卓越,特别受到中小企业青睐,它们通过预训练学习广泛知识,允许企业在不大量投资的情况下,通过定制化改进来满足特定业务需求。然而,微调这些模型以适应特定领域时,存在隐私挑战:现有方案要求上传私有数据至供应商,无法完全保护数据隐私。此外,基于参数通信的方案虽可部分解决隐私问题,但因大模型的巨大参数量,无法支持全参微调,限制了其在垂直领域的应用,并且训练完成的模型留在供应商处,仍然存在使用过程中的隐私风险。
2、对企业而言,数据隐私至关重要,是企业的核心数字资产。为了充分保证在模型微调和后续使用过程中数据的隐私,企业需要在私域数据不出域的情况下进行模型微调和后续使用。这带来了大模型的本地化部署的需求。然而,从模型提供商的视角来看,大模型的训练成本高昂(gpt-3的训练成本约1200万美元),其价值不言而喻。确保基座模型的安全对他们至关重要,但是下游企业进行的必
...【技术保护点】
1.一种基于授权机制的本地化大模型保护方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于授权机制的本地化大模型保护方法,其特征在于,所述步骤(2)具体为:
3.根据权利要求2所述的基于授权机制的本地化大模型保护方法,其特征在于,所述授权模块表示为:
4.根据权利要求3所述的基于授权机制的本地化大模型保护方法,其特征在于,对本地化保护模型进行训练的过程中,在可信执行环境中同步更新所述授权模块中的授权参数[w],更新方法为:
5.根据权利要求3所述的基于授权机制的本地化大模型保护方法,其特征在于,所述授权模块、混
...【技术特征摘要】
1.一种基于授权机制的本地化大模型保护方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于授权机制的本地化大模型保护方法,其特征在于,所述步骤(2)具体为:
3.根据权利要求2所述的基于授权机制的本地化大模型保护方法,其特征在于,所述授权模块表示为:
4.根据权利要求3所述的基于授权机制的本地化大模型保护方法,其特征在于,对本地化保护模型进行训练的过程中,在可信执行环境中同步更新所述授权模块中的授权参数[w],更新方法为:
5.根据权利要求3所述的基于授权机制的本地化大模型保护方法,其特征在于,所述授权模块、混淆因子部署在可信执行环境中。
6.根据权利要求3所述的基于授权机制的本地化大模型保护方法,...
【专利技术属性】
技术研发人员:张旭鸿,李秦峰,沈志强,杜天宇,尹建伟,
申请(专利权)人:浙江大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。