当前位置: 首页 > 专利查询>之江实验室专利>正文

一种基于特征分布的模型训练方法和任务执行方法技术

技术编号:42862903 阅读:35 留言:0更新日期:2024-09-27 17:26
本说明书公开了一种基于特征分布的模型训练方法和任务执行方法。所述模型训练方法包括:客户端获取本地的各样本图像,并确定每个样本图像对应的标签信息;针对每个样本图像,将该样本图像输入待训练的本地分类模型,确定该样本图像对应的数据特征并确定分类结果;根据每个样本图像的标签信息,确定每个样本图像对应数据特征的数据分布,并根据数据分布确定个体数据特征,将个体数据特征发送给服务器,服务器根据接收到的各客户端发送的个体数据特征,确定全局数据特征,并将全局数据特征返回给各客户端;根据分类结果和标签信息的之间偏差,以及个体数据特征和全局数据特征之间的偏差,确定损失值;根据损失值对本地分类模型的模型参数进行更新。

【技术实现步骤摘要】

本说明书涉及计算机,尤其涉及一种基于特征分布的模型训练方法和任务执行方法


技术介绍

1、随着现代芯片制造业的快速发展,计算机的算力得到了极大的提升,从而为大型神经网络模型的训练提供了基础。但是一个复杂神经网络模型的训练通常需要大量的数据。而由于数据隐私保护等原因,很多数据只允许在不同企业或机构侧的客户端本地进行存储和使用。为了能够利用这些数据共同对模型进行训练,同时又不将数据传送到一个服务器端,联邦学习应运而生。

2、然而,在现有的联邦学习方法中,客户端会将本地训练的训练数据上传给服务器,再由服务器对全部客户端发送过来的训练数据进行统一的处理,得到统一的模型数据后发送给每个客户端。但是在实际应用场景中,不同客户端下的数据所对应的数据类型的分布情况往往是不同的,如果所有客户端中的模型均采用相同的模型数据,则会导致不同客户端中的模型无法适用于本地数据的分布情况,难以对数据进行精准的识别。

3、因此,如何在联邦学习的过程中,提高不同客户端下的模型的准确性,是一个亟待解决的问题。


技术实现思

<本文档来自技高网...

【技术保护点】

1.一种基于特征分布的模型训练方法,其特征在于,所述方法应用于客户端,包括:

2.如权利要求1所述的方法,其特征在于,根据所述分类结果和所述标签信息的之间偏差,以及所述个体数据特征和全局数据特征之间的偏差,确定所述分类模型的损失值,具体包括:

3.如权利要求1所述的方法,其特征在于,所述本地分类模型的模型参数包括:特征提取层参数;

4.如权利要求2所述的方法,其特征在于,所述本地分类模型的模型参数包括:分类层参数;

5.如权利要求4所述的方法,其特征在于,根据所述损失值以及所述变化值,对所述分类层参数进行更新,具体包括:

6.如...

【技术特征摘要】

1.一种基于特征分布的模型训练方法,其特征在于,所述方法应用于客户端,包括:

2.如权利要求1所述的方法,其特征在于,根据所述分类结果和所述标签信息的之间偏差,以及所述个体数据特征和全局数据特征之间的偏差,确定所述分类模型的损失值,具体包括:

3.如权利要求1所述的方法,其特征在于,所述本地分类模型的模型参数包括:特征提取层参数;

4.如权利要求2所述的方法,其特征在于,所述本地分类模型的模型参数包括:分类层参数;

5.如权利要求4所述的方法,其特征在于,根据所述损失值以及所述变化值,对所述分类层参数进行更新,具体包括:

【专利技术属性】
技术研发人员:黄章敏孙辰晨张煜晴梅飞曾令仿
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1