【技术实现步骤摘要】
评估模型训练方法、装置及电子设备
[0001]本申请涉及计算机及通信
,具体而言,涉及一种评估模型训练方法
、
装置及电子设备
。
技术介绍
[0002]联邦学习
(federated learning)
是指通过联合不同的参与者进行机器学习的方法
。
在联邦学习中,参与者并不需要向其它参与者和协调者,或者聚合服务器暴露自己拥有的数据,因而联邦学习可以很好地保护用户隐私和保障数据安全
。
[0003]大模型时代,模型具有强大且多样性的功能,一方面,大模型具有自然语言理解和生成的基本能力
(
多模态
)
,具有各个领域的基本知识和通识;另一方面,通过对大模型微调,可以使其具备特定领域的特定能力
。
因此,如何对大模型的能力进行评估成为一个重要问题
。
特定的大模型
(
以
GPT
‑
3/4
为例
)
,常被用于对大模型的开放式问题进行评估,并且已被证明具有一定的有效性
。
但是,普通的大模型在对开放式问题评估方面效果较差
。
在大模型联邦场景下,不论是联邦评估还是联邦训练场景,由于大模型使用场景及目标任务通常是开放式问题,如何对单个模型或者训练后的全局模型的通用能力或特定场景能力进行评估是一个棘手问题
。
技术实现思路
[0004]本申请的实施例提供了一种评估 ...
【技术保护点】
【技术特征摘要】
1.
一种评估模型训练方法,应用于服务器,其特征在于,所述方法包括:获取基于横向联邦学习训练得到的多个参与方本地模型;从所述多个参与方本地模型中选取两个模型作为比赛模型,并从剩下的参与方本地模型中选择部分或全部模型作为裁判模型;基于所述比赛模型和所述裁判模型对目标问题进行评估,得到与所述目标问题对应的评估结果,所述评估结果用于评估所述比赛模型针对目标问题对应答案的准确性;基于所述评估结果,选择相应的目标问题以及与所述目标问题对应的答案加入评估数据训练集,并根据所述评估数据训练集训练得到评估模型
。2.
根据权利要求1所述的评估模型训练方法,其特征在于,所述获取基于横向联邦学习训练得到的多个参与方本地模型,包括:接收来自不同参与方在本地模型更新后的模型参数;将不同参与方更新后的模型参数进行融合,得到全局模型参数;将所述全局模型参数分发给各个参与方,以使所述各个参与方根据所述全局模型参数作为本地模型的最新模型参数进行训练,得到多个参与方本地模型
。3.
根据权利要求1所述的评估模型训练方法,其特征在于,所述比赛模型包括第一比赛模型和第二比赛模型;基于所述比赛模型和所述裁判模型对目标问题进行评估,得到与所述目标问题对应的评估结果,包括:将所述目标问题分别输入至所述第一比赛模型和所述第二比赛模型,通过所述第一比赛模型得到与所述目标问题对应的第一答案,通过所述第二比赛模型得到与所述目标问题对应的第二答案;将所述目标问题
、
与所述目标问题对应的第一答案以及与所述目标问题对应的第二答案发送至所述裁判模型,以使所述裁判模型对所述第一答案和所述第二答案进行评估,得到与所述目标问题对应的评估结果
。4.
根据权利要求3所述的评估模型训练方法,其特征在于,所述裁判模型的数量有多个;所述将所述目标问题
、
与所述目标问题对应的第一答案以及与所述目标问题对应的第二答案发送至所述裁判模型,以使所述裁判模型对所述第一答案和所述第二答案进行评估,得到与所述目标问题对应的评估结果,包括:将所述目标问题
、
与所述目标问题对应的第一答案以及与所述目标问题对应的第二答案均发送至多个所述裁判模型,得到各个裁判模型对应的评估结果;从所述各个裁判模型对应的评估结果中根据筛选指标对评估结果进行筛选,得到与所述目标问题对应的评估结果
。5.
根据权利要求4所述的评估模型训练方法,其特征在于,从所述各个裁判模型对应的评估结果中根据筛选指标对评估结果进行筛选,得到与所述目标问题对应的评估结果,包括:从所述各个裁判模型对应的评估结果中根据各个裁判模型的预设权重值对评估结果进行筛选,得到第一评估结果;从所述各个裁判模型对应的评估结果...
【专利技术属性】
技术研发人员:何元钦,范力欣,
申请(专利权)人:深圳前海微众银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。