基于聚类和知识蒸馏的可信个性化联邦学习方法和装置制造方法及图纸

本发明专利技术属于联邦学习技术领域，公开一种基于聚类和知识蒸馏的可信个性化联邦学习方法和装置。首先，在云端协同下聚类将用户终端划分为多个聚簇，然后将各个聚簇进行局部聚合得到局部模型。其次，设计基于循环知识蒸馏的方法，以循环的方式对局部模型进行顺序训练，通过知识蒸馏提取公共知识。然后在用户终端对全局模型执行重学习的操作，有效恢复本地知识。进一步地，对于参数上传过程中可能存在的隐私泄露问题，发明专利技术设计一个基于洗牌算法的分布式差分隐私机制，通过在客户端与服务器端额外增加一次混合编码的步骤，允许用户只添加少量噪声就实现较高级别的隐私保护。本发明专利技术引入知识蒸馏和洗牌算法，在实现个性化训练的同时也提高了框架的安全性。高了框架的安全性。高了框架的安全性。

【技术实现步骤摘要】
基于聚类和知识蒸馏的可信个性化联邦学习方法和装置


[0001]本专利技术涉及联邦学习
，特别涉及一种基于聚类和知识蒸馏的可信个性化联邦学习方法和装置。

技术介绍

[0002]传统的集中式人工智能技术需要对大量数据进行分析，从而做出推断与反馈。然而智能终端中往往仅存储了用户单人数据，机器学习训练所需的数据源从大型的数据中心分散到众多终端设备。并且，终端设备中含有大量的用户私人数据，若将这些信息上传至数据中心，意味着会出现隐私问题。联邦学习是一种分布式机器学习框架，允许多数据源协同训练一个模型，且不需要参与者上传训练数据。作为一种新兴的机器学习模式，联邦学习在打破数据孤岛的同时保证用户数据存储在本地，这一特性令训练数据隐私性得到保障。
[0003]由于在实际应用中，跨不同用户终端的训练数据往往是非独立同分布的。当用户终端之间数据分布有很大不同时，若用户终端直接获取从其他用户终端中学习到的知识，则会大大降低用户终端模型的性能。因此，相关研究者提出了一系列解决方案，用于解决数据异构所带来的问题。
[0004]2022年，Long等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于聚类和知识蒸馏的可信个性化联邦学习方法，其特征在于，建立一种基于聚类和知识蒸馏的可信个性化联邦学习场景模型，所述联邦学习场景模型包括云层和用户层；云层为1个云服务器，用户层主要由M个用户终端组成；每个用户终端存有私有本地数据，所有的用户终端通过联邦学习算法联合训练个性化模型；训练过程以时隙方式运行；训练过程所用时间为T，T被分割成W个持续时间相同的连续时隙；每个时隙中迭代一次联邦学习算法，每轮迭代中，用户终端从云服务器下载初始模型进行本地训练，将用户终端间的相似度上传到云服务器后，云服务器对用户终端训练得到的本地模型进行聚类划分，得到N个聚簇；每个聚簇中的本地模型在云层聚合，得到N个局部模型；云服务器对局部模型进行知识蒸馏后得到全局模型，各用户终端下载全局模型至本地进行重学习，训练更新得到个性化模型。2.根据权利要求1所述的基于聚类和知识蒸馏的可信个性化联邦学习方法，其特征在于，所述本地模型进行聚类划分，得到N个聚簇，基于Canopy的k均值聚类算法对本地模型进行聚类划分，步骤如下：(2.1)Canopy聚类算法进行“粗聚类”；定义本地模型集合为L＝{m1,m2,
…
,m
M
}，给定两个先验值T1和T2，且T1＞T2；从集合L中获取一个节点m
r
，计算该节点到所有当前聚簇中心的距离D(m
r
,a
s
)，a
s
为当前聚类中心，当不存在聚簇中心，以m
r
为中心点形成一个新的聚簇，并选择出最小距离D
min
；所述距离的计算采用欧氏距离：当距离D
min
小于T1，表示该节点属于该聚簇，添加到该聚簇中；当距离D
min
小于T2，将该节点添加到该聚簇中，并将其从集合L中删除；当距离D
min
大于T1，以该节点形成一个新的聚簇；直到集合L不再有变化或者元素数量为0的时候，结束循环操作；(2.2)通过k均值聚类算法进行“细聚类”；将步骤(2.1)得到的K个聚簇中心点作为初始中心点进行“细聚类”；针对步骤(2.1)得到的聚簇中心，计算所有节点到每个聚簇中心的距离，将每个节点聚集到与其最近的聚簇中心的簇中，得到聚簇；计算每个聚簇中所有节点的坐标均值，作为新的聚簇中心点；重复执行上述过程，直到聚类结果不再发生改变；M个本地模型划分为N个聚簇。3.根据权利要求2所述的基于聚类和知识蒸馏的可信个性化联邦学习方法，其特征在于，所述云服务器对局部模型进行知识蒸馏采用循环知识蒸馏方式；聚簇中的本地模型上传至云层，云服务器对每个聚簇中本地模型进行聚合得到N个局部模型，表示为{F1,F2,
…
,F
N
}；局部模型的数据集表示为{H1,H2,
…
,H
N
}，每个数据集包括训练集预测集和测试集
其中整个知识蒸馏的过程定义为解决损失函数最小化的问题：其中，f
i
为训练得到的具有公共知识的局部模型，作为全局模型，l是损失函数；以循环的方式对局部模型进行顺序训练，由前一个局部模型指导下一个局部模型，在没有数据交换的情况下，将所有局部模型的信息组合在一起，直到收敛；所述收敛定义为所有的公共知识都被提取出来：其中，g
tea
是前一个局部模型的特征提取器，g
stu
是当前局部模型的特征提取器，x是来自当前局部模型的数据样本；通过知识蒸馏，保留与当前局部模型相关的知识，丢弃无关的知识，经过多轮循环训练，保留获得对所有局部模型均相关的知识，得到全局模型；训练局部模型的总损失为：其中，λ是知识转移和聚焦当前数据的权重，cls是交叉熵损失，其中c
i
为局部模型中的全连接层，g
i
为特征提取器。4.根据权利要求3所述的基于...

【专利技术属性】
技术研发人员：覃振权，刘瑞欣，卢炳先，王雷，朱明，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：