【技术实现步骤摘要】
多聚合节点联邦知识蒸馏学习方法、系统、设备及介质
[0001]本申请涉及机器学习
，尤其涉及多聚合节点联邦知识蒸馏学习方法、系统、设备及介质。
技术介绍
[0002]联邦知识蒸馏学习的模型准确度依赖于中心节点的公共数据集。相关技术中，没有考虑到公共数据集对中心节点通信及存储的压力，因此，中心节点的通信能力的存储能力限制了公共数据集的大小，并限制了模型收敛速度，影响模型准确度。
技术实现思路
[0003]有鉴于此，本申请的目的在于提出多聚合节点联邦知识蒸馏学习方法、系统、设备及介质。
[0004]基于上述目的，本申请提供了一种多聚合节点联邦知识蒸馏学习方法，包括：
[0005]获取聚合节点的模型参数和该聚合节点的相邻聚合节点的模型参数；
[0006]根据聚合节点的模型参数和该聚合节点的相邻聚合节点的模型参数，得到聚合节点的更新模型参数和聚合节点更新模型；
[0007]基于知识蒸馏，根据聚合节点更新模型，训练与聚合节点连接的客户端的个性化模型。
[0008]本申请还提...
【技术保护点】
【技术特征摘要】
1.一种多聚合节点联邦知识蒸馏学习方法，其特征在于，包括：获取聚合节点的模型参数和该聚合节点的相邻聚合节点的模型参数；根据所述聚合节点的模型参数和该聚合节点的相邻聚合节点的模型参数，得到所述聚合节点的更新模型参数和聚合节点更新模型；基于知识蒸馏，根据所述聚合节点更新模型，训练与所述聚合节点连接的客户端的个性化模型。2.根据权利要求1所述的多聚合节点联邦知识蒸馏学习方法，其特征在于，所述方法还包括通过如下方法得到所述聚合节点的模型参数：将所述客户端的数据划分为公共数据和私有数据；根据与所述聚合节点连接的所有客户端的公共数据，得到所述公共数据集；将所述私有数据作为训练集训练所述客户端的初始模型，得到第一客户端模型；使用所述第一客户端模型对所述公共数据集进行预测，得到所述公共数据集中的每个数据对应的第一预测概率分布；将每个数据对应的第一预测概率分布表示为行向量，再将所有数据对应的行向量作为列向量中的元素，得到第一预测概率；对所述第一预测概率进行修正计算，得到第一修正概率；对与所述聚合节点连接的所有客户端的第一修正概率进行聚合计算，得到聚合概率；根据所述聚合概率设置损失函数，将所述公共数据集作为训练集训练所述聚合节点的初始模型，得到聚合节点模型及所述聚合节点的模型参数。3.根据权利要求1所述的多聚合节点联邦知识蒸馏学习方法，其特征在于，所述根据所述聚合节点的模型参数和该聚合节点的相邻聚合节点的模型参数，得到所述聚合节点的更新模型参数，包括：计算所述聚合节点的模型参数和该聚合节点的相邻聚合节点的模型参数的加权平均数，得到所述聚合节点的更新模型参数，计算公式如下：其中，w
i
′
为第i个聚合节点的所述更新模型参数，M为聚合节点的总数，N
m
为第m个聚合节点的公共数据集数据量，t
im
为聚合节点连接关系矩阵中第i行第m列的元素，代表第i个聚合节点与第m个聚合节点的连接关系，w
m
为第m个聚合节点的模型参数。4.根据权利要求2所述的多聚合节点联邦知识蒸馏学习方法，其特征在于，所述基于知识蒸馏，根据所述聚合节点更新模型，训练与所述聚合节点连接的客户端的个性化模型，包括：使用所述聚合节点更新模型对所述公共数据集进行预测，得到所述公共数据集中的每个数据对应的第二预测概率分布；将每个数据对应的第二预测概率分布表示为行向量，再将所有数据对应的行向量作为列向量中的元素，得到第二预测概率；对所述第二预测概率进行修正计算，得到第二修正概率；根据所述第二修正概率设置损失函数，将所述公共数据集作为训练集训练所述第一客户端模型，得到第二客户端模型；
将所述私有数据作为训练集训练所述第二客户端模型，得到所述客户端的个性化模型。5.根据权利要求2所述的多聚合节点联邦知识蒸馏学习方法，其特征在于，所述使用所述第一客户端模型对所述公共数据集进行预测，得到第一预测概率；对所述第一预测概率进行修正计算，得到第一修正概率，包括：使用所述第一客户端模型对所述公共数据集进行预测，得到第一模型输出和第一预测概率；比较所述第一模型输出与所述公共数据集；响应于确定所述公共数据集中的第k个数据标签与该数据在所述第一模型输出中的标签不匹配，使用所述数据的独热编码修正所述第一预测概率中的对应行向量，得到所述第一修正概率，公式统一表示如下：其中，为所述第一修正概率，，为数据在所述第一修正概率中标签label
v
对应的修正概率值，为所述第一预测概率，为所述第一预测概率，，为数据在第一预测概率中标签label
v
对应的概率值，i为聚合节点的序...
【专利技术属性】
技术研发人员：李丹丹，黄小红，谢坤，刘汉林，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。