【技术实现步骤摘要】
本专利技术涉及生成式人工智能，尤其涉及一种面向数据权限管理的大语言模型训练方法及装置。
技术介绍
1、通过对海量数据的学习，大语言模型在多个应用场景下都取得了较好效果，但是考虑到大语言模型中存在数据泄漏风险，以及领域数据不可共享的现实问题，尤其是在某些企业管理系统中，需要严格控制不同权限用户对数据的有限访问和应用能力，大语言模型在训练过程中对数据和硬件的要求过高也是造成大语言模型难以推广的一个因素。因此大语言模型在数据权限管理场景下的训练和应用是相关领域内技术人员急需解决的难题。
2、联邦学习可以通过分布式的训练和参数聚合来获得对于不同权限数据的可应用不可访问能力，可应用不可访问是指获得该领域的数据应用能力，但是无法直接获取数据。在数据权限保护的场景下，则需要严格确保不同权限数据用户之间数据的不可应用和不可访问。除了数据访问权限的差别，数据权限管理与联邦学习的区别还包括：权限管理场景下权限数据的种类要远多于联邦学习，以企业管理系统为例，具备不同数据访问权限的用户类型可能多达数十个；在内存管理方面，每个领域的数据都对应一个私有...
【技术保护点】
1.一种面向数据权限管理的大语言模型训练方法，其特征在于，包括：
2.根据权利要求1所述的面向数据权限管理的大语言模型训练方法，其特征在于，所述将各目标领域的微调模块参数与所述预训练大语言模型的模型参数合并，得到所述目标用户对应领域的目标模型，包括：
3.根据权利要求2所述的面向数据权限管理的大语言模型训练方法，其特征在于，所述加权求和应用的权重值基于如下步骤确定：
4.根据权利要求3所述的面向数据权限管理的大语言模型训练方法，其特征在于，所述训练集是分别从各目标领域数据采集预设数量的数据构建得到的。
5.根据权利要求1...
【技术特征摘要】
1.一种面向数据权限管理的大语言模型训练方法，其特征在于，包括：
2.根据权利要求1所述的面向数据权限管理的大语言模型训练方法，其特征在于，所述将各目标领域的微调模块参数与所述预训练大语言模型的模型参数合并，得到所述目标用户对应领域的目标模型，包括：
3.根据权利要求2所述的面向数据权限管理的大语言模型训练方法，其特征在于，所述加权求和应用的权重值基于如下步骤确定：
4.根据权利要求3所述的面向数据权限管理的大语言模型训练方法，其特征在于，所述训练集是分别从各目标领域数据采集预设数量的数据构建得到的。
5.根据权利要求1至4任一项所述的面向数据权限管理的大语言模型训练方法，其特征在于，所述基于各领域数据，分别对预训练大语言模型进行训练，得到各领域的微调模块参数，包括：
6.根据权利要求1至4任一项所述的面向数据权限...
【专利技术属性】
技术研发人员：刘康，赵军，何世柱，叶锦宇，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。