【技术实现步骤摘要】
本专利技术涉及一种基于同态加密的大模型联邦拆分隐私保护方法，属于大语言模型和隐私保护。
技术介绍
1、在人工智能蓬勃发展的当下，数据和模型已成为推动技术进步的关键要素。海量数据蕴含着丰富的信息和知识，使得大语言模型((large language models，llms)在自然语言理解、多模态推理、复杂决策等关键领域取得了令人瞩目的成果，其性能增益依赖多模态跨域异构数据资源的供给质量，预计可用公有数据源将在2026年左右耗尽。为突破通用模型在垂直领域的性能瓶颈，业界转向探索私有数据协同训练，但这种模式下存在敏感信息泄露的风险。联邦学习允许在数据不离开本地的情况下进行跨部门模型训练，可以利用分布式数据源为大模型提供大量数据，缓解大模型数据源枯竭的问题。
2、然而，由于llms庞大的参数尺寸，在联邦学习范式中直接训练或微调llms，会产生较高的通信开销，并对边缘设备的存储和计算资源提出了巨大挑战。同时，在基于联邦学习(federated learning,fl)的大模型分布式训练与微调过程中，虽然服务器不能直接访问训练样本，但对...
【技术保护点】
1.一种基于同态加密的大模型联邦拆分隐私保护方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于同态加密的大模型联邦拆分隐私保护方法，其特征在于，所述客户端子模型包含大语言模型的前N层Transformer，所述服务器端子模型包含大语言模型的后M层Transformer。
3.根据权利要求1所述的一种基于同态加密的大模型联邦拆分隐私保护方法，其特征在于，所述步骤2具体包括以下步骤：
4.根据权利要求1所述的一种基于同态加密的大模型联邦拆分隐私保护方法，其特征在于，所述步骤3具体包括以下步骤：
【技术特征摘要】
1.一种基于同态加密的大模型联邦拆分隐私保护方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于同态加密的大模型联邦拆分隐私保护方法，其特征在于，所述客户端子模型包含大语言模型的前n层transformer，所述服务器端子模型包含大语言模型的后m层...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。