模型生成方法、推理方法、相关装置、设备、介质及产品制造方法及图纸

技术编号:44836715 阅读:23 留言:0更新日期:2025-04-01 19:36
本公开涉及一种模型生成方法、推理方法、相关装置、设备、介质及产品。模型生成方法包括:按照预设的第一模型划分条件,将初始模型至少划分为第一子模型和第二子模型,第一子模型包括的网络层参数保持不变;将第一子模型部署在第一客户端,以及,将第二子模型部署在与第一客户端不同的第二客户端;将第一客户端中的样本输入数据输入第一子模型,得到第一子模型输出的第一中间数据;根据第一中间数据和第一客户端中的样本标注数据,对第二子模型进行参数调整;在第二子模型满足参数调整终止条件时,根据第一子模型和所述第二子模型生成目标模型。有效地减少了数据流通的次数,进而避免了过多时延、算力消耗和隐私泄露风险。

【技术实现步骤摘要】

本公开涉及数据安全和大模型,具体地,涉及一种模型生成方法、推理方法、相关装置、设备、介质及产品


技术介绍

1、当前大模型对数据的需求越来越明显,特别是通过垂直领域高质量数据对基础大模型进行微调的需求比较普遍。但这些高质量数据往往比较敏感,涉及持有方利益,比如这些数据是企业重要资产,或者涉及个人信息保护法约束等,导致数据流通面临安全合规的顾虑。为了确保数据安全合规,目前业界的做法通常是对数据进行脱敏或者采用“原始数据不出域”的方式(比如隐私计算技术)。

2、其中,将数据持有方的数据进行脱敏后交给数据使用方,数据使用方拿到数据后进行本地训练,这样能够保证模型开发(包括预训练、增强训练、调优等)时长不会有大的变化,从而保证时间成本和算力成本。脱敏的方式包括但不限于:将敏感个人信息进行截断,或者对关键字段添加噪音等。这种方式实际上仍然是将数据交付出去,数据持有方未来对于这些数据的使用价值仍然是不可控的;另外,脱敏的方式使得数据的使用价值降低(比如噪音导致计算结果不准确),进而导致模型在推理环节错误率较高。

3、此外,隐私计算技术以在保证数本文档来自技高网...

【技术保护点】

1.一种模型生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的模型生成方法,其特征在于,所述第一模型划分条件包括以下条件中的至少一者:

3.根据权利要求2所述的模型生成方法,其特征在于,所述第一模型划分条件包括所述第一条件、所述第二条件和所述第三条件;所述按照预设的第一模型划分条件,将初始模型至少划分为第一子模型和第二子模型,包括:

4.根据权利要求3所述的模型生成方法,其特征在于,所述根据所述第一中间数据和所述第一客户端中的样本标注数据,对所述第二子模型进行参数调整,包括:

5.根据权利要求2所述的模型生成方法,其特征在于,所...

【技术特征摘要】

1.一种模型生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的模型生成方法,其特征在于,所述第一模型划分条件包括以下条件中的至少一者:

3.根据权利要求2所述的模型生成方法,其特征在于,所述第一模型划分条件包括所述第一条件、所述第二条件和所述第三条件;所述按照预设的第一模型划分条件,将初始模型至少划分为第一子模型和第二子模型,包括:

4.根据权利要求3所述的模型生成方法,其特征在于,所述根据所述第一中间数据和所述第一客户端中的样本标注数据,对所述第二子模型进行参数调整,包括:

5.根据权利要求2所述的模型生成方法,其特征在于,所述按照预设的第一模型划分条件,将初始模型至少划分为第一子模型和第二子模型,还包括:

6.根据权利要求5所述的模型生成方法,其特征在于,所述根据所述第一中间数据和所述第一客户端中的样本标注数据,对所述第二子模型进行参数调整,包括:

7.根据权利要求5所述的模型生成方法,其特征在于,所述根据所述第一目标网络层范围确定第一子模型和第三子模型之间的第二分界层,包括:

8.根据权利要求5所述的模型生成方法,其特征在于,所述根据所述第二目标网络层范围和所述第三网络层范围确定所述第三子模型和第二子模型之间的第三分界层,包括:

9.根据权利要求5所述的模型生成方法,其特征在于,所述根据所述第二目标网络层范围和所述第三网络层范围确定所述第三子模型和第二子模型之间的第三分界层,还包括:

10.根据权利要求5-9中任一项所述的模型生成方法,其特征在于,所述方法还包括:

...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名
申请(专利权)人:北京电子数智科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1