【技术实现步骤摘要】
本专利技术涉及联邦学习，特别是涉及基于测试集结果的相似度计算和模型权重分配方法。
技术介绍
1、随着算力的增强、算法的更新、数据量的累积，人工智能技术在提高效率、优化决策、发现隐藏模式和规律等方面所具有的优势愈发突出，已经在自动驾驶、智能助手、金融风控、医疗诊断等与人们生活密切相关的多个领域获得广泛应用。人工智能技术使得人们的生活体验得以不断提升的同时，也带来了新的挑战，其中之一便是用户数据的集中式汇聚及使用所带来的隐私和安全风险。为解决这一问题，联邦学习这一新型机器学习范式被提出。
2、联邦学习允许参与方在不共享原始数据的情况下，通过共享模型、参数或增量的方法协同进行模型训练，实现“数据不动模型动，数据可用不可见”的效果。可见，联邦学习在避免数据集中式收集及存储带来的隐私和安全风险的同时，通过充分利用不同参与方所提供的数据(以局部模型、参数或增量的形式体现)，保证了训练数据集规模、训练数据的多样性及训练结果的通用性。此外，联邦学习可以充分利用各客户端的算力，具备协同分布式计算的优势。
3、个性化联邦学习是在传统联邦学习的基础上进行的拓展，其核心思想是在基于联邦学习进行协同模型训练的基础上，进一步聚焦参与方的差异性和个性化需求，并实现更加精确和贴合需求的模型训练。相较于传统联邦学习，个性化联邦学习有以下优点：
4、(1)个性化联邦学习允许参与方定制自己的模型，以满足特定需求。传统联邦学习通常仅能够获得统一的全局模型，难以满足参与方对个性化模型的需求。
5、(2)个性化联邦学习可以通
6、(3)个性化联邦学习可以根据具体需求为参与方选择不同的聚合算法，以满足其个性化模型需求。传统联邦学习通常采用简单的加权平均法进行模型聚合，灵活性不够理想。
7、因此，本专利提出基于测试集结果的相似度计算和模型权重分配方法。
技术实现思路
1、本专利技术的目的是提供基于测试集结果的相似度计算和模型权重分配方法，通过计算客户端模型相似度，并对相似度高的客户端模型进行聚合，提高客户端模型性能及其个性化表现，并对客户端模型聚合进行约束和控制，在客户端模型聚合中保持其个性化特征的同时，减少过拟合现象的发生，提升客户端模型的泛化能力。
2、为实现上述目的，本专利技术提供了如下方案：
3、基于测试集结果的相似度计算和模型权重分配方法，包括：
4、s1、分别构建客户端数据集和全局测试集；
5、s2、中央服务器初始化初始模型并分发给客户端，生成客户端模型；
6、s3、所述客户端基于所述客户端数据集训练所述客户端模型，并将训练后的客户端模型发送至所述中央服务器；
7、s4、所述中央服务器基于所述全局测试集对所述训练后的客户端模型进行测试，获取软分类结果，并基于所述软分类结果计算所述训练后的客户端模型之间的相似度，构建相关性矩阵；
8、s5、所述中央服务器基于所述相关性矩阵，为每个客户端选择拟聚合模型，并计算所述拟聚合模型的聚合权重，构建每个客户端的个性化模型；
9、s6、所述中央服务器将所述个性化模型发送至对应客户端，所述对应客户端对所述个性化模型进行检验，若所述个性化模型收敛，或达到预设训练轮次，则停止训练；否则返回s3，继续训练，直到达到预设训练截止条件。
10、进一步地，分别构建所述客户端数据集和全局测试集包括：
11、所述客户端收集本地数据，对所述本地数据进行缺失值处理、数据格式转换后构建所述客户端数据集；
12、将所述客户端数据集划分为客户端训练集和客户端测试集，并将所述客户端测试集上传至所述中央服务器，构建所述全局测试集。
13、进一步地，所述客户端基于所述客户端数据集训练所述客户端模型，并将训练后的客户端模型发送至所述中央服务器包括：
14、所述客户端基于所述客户端训练集，采用随机梯度下降法不断对所述客户端模型进行训练，当迭代次数达到预设值后，停止训练，获取所述训练后的客户端模型，并将所述训练后的客户端模型发送至所述中央服务器。
15、进一步地，所述中央服务器基于所述全局测试集对所述训练后的客户端模型进行测试，获取软分类结果包括：
16、所述中央服务器基于所述全局测试集对所述训练后的客户端模型进行测试，并采用softmax返回所述全局测试集中的所有样本对应各个分类的预测概率，获取所述软分类结果。
17、进一步地，基于所述软分类结果计算所述训练后的客户端模型之间的相似度的方法包括：杰卡德相似度、欧几里得度量、曼哈顿距离。
18、进一步地，基于所述相关性矩阵，为每个客户端选择拟聚合模型包括：
19、基于所述相关性矩阵，以所述训练后的客户端模型为中心，选取相似度大于阈值θ的训练后的客户端模型，构成拟聚合模型集合其中，ωx为训练后的客户端模型，为与ωx相似度大于阈值θ的训练后的客户端模型。
20、进一步地，计算所述拟聚合模型的聚合权重，构建每个客户端的个性化模型包括：
21、计算所述拟聚合模型集合中各训练后的客户端模型的权重，并依据所述权重进行聚合，获取聚合后的模型；
22、对所述训练后的客户端模型和聚合后的模型进行正则化处理，获取所述客户端的个性化模型。
23、进一步地，计算所述拟聚合模型集合中各训练后的客户端模型的权重的方法为：
24、
25、其中，表示拟聚合模型集合mx中的第r个训练后的客户端模型的权重，similar表示相似度，表示拟聚合模型集合mx中的第r个训练后的客户端模型，表示拟聚合模型集合mx中的第l个训练后的客户端模型，1≤l≤|mx|。
26、进一步地，所述聚合后的模型为：
27、
28、其中，表示拟聚合模型集合mx中的第l个训练后的客户端模型的权重。
29、进一步地，所述客户端的个性化模型为：
30、
31、其中，为个性化模型，α为正则化参数。
32、本专利技术的有益效果为：
33、本专利技术基于全局测试集对各个客户端的客户端模型进行测试，得到客户端模型间的对比结果，即其相似度，进一步可得到相关性矩阵。由于以上方法能够选择相似度高的客户端模型进行聚合，因此有助于提高客户端模型的个性化表现及其性能。此外，正则化能够对客户端模型聚合进行约束，保持客户端模型个性化特征的同时，减少过拟合现象的发生，提升客户端模型的泛化能力。
本文档来自技高网...【技术保护点】
1.基于测试集结果的相似度计算和模型权重分配方法，其特征在于，包括：
2.根据权利要求1所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，分别构建所述客户端数据集和全局测试集包括：
3.根据权利要求2所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，所述客户端基于所述客户端数据集训练所述客户端模型，并将训练后的客户端模型发送至所述中央服务器包括：
4.根据权利要求2所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，所述中央服务器基于所述全局测试集对所述训练后的客户端模型进行测试，获取软分类结果包括：
5.根据权利要求1所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，基于所述软分类结果计算所述训练后的客户端模型之间的相似度的方法包括：杰卡德相似度、欧几里得度量、曼哈顿距离。
6.根据权利要求1所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，基于所述相关性矩阵，为每个客户端选择拟聚合模型包括：
7.根据权利要求6所述的基于测试集结果的相似度
8.根据权利要求7所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，计算所述拟聚合模型集合中各训练后的客户端模型的权重的方法为：
9.根据权利要求8所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，所述聚合后的模型为：
10.根据权利要求9所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，所述客户端的个性化模型为：
...【技术特征摘要】
1.基于测试集结果的相似度计算和模型权重分配方法，其特征在于，包括：
2.根据权利要求1所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，分别构建所述客户端数据集和全局测试集包括：
3.根据权利要求2所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，所述客户端基于所述客户端数据集训练所述客户端模型，并将训练后的客户端模型发送至所述中央服务器包括：
4.根据权利要求2所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，所述中央服务器基于所述全局测试集对所述训练后的客户端模型进行测试，获取软分类结果包括：
5.根据权利要求1所述的基于测试集结果的相似度计算和模型权重分配方法，其特征在于，基于所述软分类结果计算所述训练后的客户端模型之间的相似度的方法包括...
【专利技术属性】
技术研发人员：李龙，赵雨轩，李晶晶，何松兴，孙希延，蓝如师，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。