一种改进的联邦加权聚合方法及系统技术方案

本发明专利技术公开一种改进的联邦加权聚合方法及系统，该方法包括：客户端发送训练后的人类活动识别模型到服务器端，服务器端对客户端上传的模型进行minhash聚类；服务器端基于聚类后的模型进行等量抽样；结合服务器端的人类活动无标签数据，利用选举机制获取抽样的每个客户端人类活动识别模型的准确率，并对模型准确率进行评估，从而获取参与服务器端全局模型聚合的模型，进而得到服务器端模型聚合时的准确率；把得到的参与全局模型聚合的模型和服务器端模型聚合时的准确率一起加权到模型聚合更新中，得到联邦加权聚合后的人类活动识别模型以进行人类活动识别。本发明专利技术提升了人类活动识别模型聚合速度，提高了人类活动识别模型聚合的准确率。的准确率。的准确率。

【技术实现步骤摘要】
一种改进的联邦加权聚合方法及系统


[0001]本专利技术涉及HAR人类活动识别
，尤其涉及一种改进的联邦加权聚合方法及系统。

技术介绍

[0002]随着智能传感器设备的快速发展，越来越多的传感器设备被用在人类活动识别(HAR)中，HAR人类活动识别技术通过采集人体运动产生的各种物理信息来识别姿态动作，包括身体姿态、手指运动、面部运动等，用于医疗康复、日常行为检测、安全驾驶等方面。传统的HAR识别都是集中式的，需要用户把数据上传服务器，这样会导致用户体征数据的泄露。联邦学习(Federated Learning)是一种分布式机器学习方法，它实现了模型向数据移动，客户端数据不出本地，降低隐私数据泄露的风险，联邦学习的快速发展为人们的生活提供了很大便捷。
[0003]现有联邦学习方法简单介绍如下：
[0004]1、FedAVG：首先随机选择m个客户端采样，对这m个客户端的梯度更新进行平均以形成全局更新，同时用当前的全局模型替换未采样的客户端。但是该方法虽然对FedSGD在相同效果情况下，通讯成本大大降低，但是最终的模型是有偏倚的，不同于预期的每个客户端确定性聚合后的模型。仅仅使用简单的加权平均，不足以表达复杂的模型。
[0005]2、FedFast：该方法基于用户端的embedding进行聚类，把用户端模型分为不同的cluster，每次在cluster内部抽取部分用户，减少通信成本，但是模型的准确率提升有限，也没有考虑用户端数据质量的问题，这样会带来联邦聚合数据漂移的问题。
[0006]现有联邦学习存在如下缺点：
[0007]1、缺少对客户端模型效果的度量
[0008]现有方法仅仅考虑了客户端数据量的大小，在server端聚合时每个模型的权重都是一致的，但实际不同用户端模型的准确率是不同，这样导致在server进行模型融合时会带来偏移，导致模型的准确率下降。每个模型由于本地数据的多样性，训练的模型准确率也有偏差，而在服务器端进行模型聚合时不考虑模型的准确率，往往导致聚合偏差，需要更多轮次的迭代才可以收敛。
[0009]2、对选择加入聚合的客户端缺少有效的抽样算法
[0010]现有联邦学习算法对加入聚合的客户端都是随机抽样，但是随机抽样会导致聚合的客户端有很多相似的情况，更多相同的客户端聚合会导致本轮模型偏离最终的收敛结果。

技术实现思路

[0011]本专利技术针对联邦学习在人类活动识别应用时存在的缺少对客户端模型效果的度量、对选择加入聚合的客户端缺少有效的抽样算法，导致人类活动识别模型聚合时间长、模型的准确率低的问题，提出一种改进的联邦加权聚合方法及系统，引入了对加入聚合客户
端的抽样机制，提升人类活动识别模型聚合速度，引入server端模型准确率评估机制，提高人类活动识别模型聚合的准确率。
[0012]为了实现上述目的，本专利技术采用以下技术方案：
[0013]本专利技术一方面提出一种改进的联邦加权聚合方法，包括：
[0014]客户端发送训练后的人类活动识别模型到服务器端，服务器端对客户端上传的人类活动识别模型进行minhash聚类；
[0015]服务器端基于聚类后的客户端上传的人类活动识别模型进行等量抽样；结合服务器端的人类活动无标签数据，利用选举机制获取抽样的每个客户端上传的人类活动识别模型的准确率，并对模型准确率进行评估，从而获取参与服务器端全局模型聚合的客户端上传的人类活动识别模型，进而得到服务器端模型聚合时的准确率；
[0016]把得到的参与全局模型聚合的客户端上传的人类活动识别模型和服务器端模型聚合时的准确率一起加权到服务器端全局模型的模型聚合更新中，得到联邦加权聚合后的人类活动识别模型，并基于得出的人类活动识别模型进行人类活动识别。
[0017]进一步地，在客户端发送人类活动识别模型到服务器端之前，还包括：
[0018]服务器端选择初始化的人类活动识别模型，并下发模型给各个客户端；
[0019]客户端接收初始化的人类活动识别模型，结合本地存储的人类活动数据和模型参数训练本地模型更新，得到训练后的人类活动识别模型。
[0020]进一步地，按照如下方式对模型准确率进行评估：
[0021]按照下式对每个模型的准确率进行评估，以判断模型的准确率是否符合条件，能否参与到服务器端模型的聚合中：
[0022][0023]其中f(x)为代表模型准确率的复合函数，用于对模型的准确率进行激活；r为准确率阈值；α为超参数，用于保证函数的连续性以及可导性；
[0024]得出评估后的每个模型的准确率。
[0025]本专利技术另一方面提出一种改进的联邦加权聚合系统，包括：
[0026]聚类模块，用于客户端发送训练后的人类活动识别模型到服务器端，服务器端对客户端上传的人类活动识别模型进行minhash聚类；
[0027]模型准确率评估模块，用于服务器端基于聚类后的客户端上传的人类活动识别模型进行等量抽样；结合服务器端的人类活动无标签数据，利用选举机制获取抽样的每个客户端上传的人类活动识别模型的准确率，并对模型准确率进行评估，从而获取参与服务器端全局模型聚合的客户端上传的人类活动识别模型，进而得到服务器端模型聚合时的准确率；
[0028]联邦加权聚合模块，用于把得到的参与全局模型聚合的客户端上传的人类活动识别模型和服务器端模型聚合时的准确率一起加权到服务器端全局模型的模型聚合更新中，得到联邦加权聚合后的人类活动识别模型，并基于得出的人类活动识别模型进行人类活动识别。
[0029]进一步地，还包括：
[0030]模型下发模块，用于服务器端选择初始化的人类活动识别模型，并下发模型给各
个客户端；
[0031]模型训练模块，用于客户端接收初始化的人类活动识别模型，结合本地存储的人类活动数据和模型参数训练本地模型更新，得到训练后的人类活动识别模型。
[0032]进一步地，按照如下方式对模型准确率进行融合：
[0033]按照下式对每个模型的准确率进行评估，以判断模型的准确率是否符合条件，能否参与到服务器端模型的聚合中：
[0034][0035]其中f(x)为代表模型准确率的复合函数，用于对模型的准确率进行激活；r为准确率阈值；α为超参数，用于保证函数的连续性以及可导性；
[0036]得出评估后的每个模型的准确率。
[0037]与现有技术相比，本专利技术具有的有益效果：
[0038]1、引入了对加入聚合客户端的抽样机制，提升人类活动识别模型聚合速度。
[0039]传统FedAVG的方式是每轮次聚合时候随机进行抽样，这样存在一个非常重要的问题，就是抽样数据分布不均匀，在迭代过程中可导致模型更大震荡，收敛速度大大降低。因为随机抽样再聚合时候会出现更多相似的客户端，这样相似的客户端导致本轮训练数据和整体并不完全相符，因此选择更加合适的客户端参与人类活动识别联邦模型聚合可以提高服务器端模型聚合效率。所以本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种改进的联邦加权聚合方法，其特征在于，包括：客户端发送训练后的人类活动识别模型到服务器端，服务器端对客户端上传的人类活动识别模型进行minhash聚类；服务器端基于聚类后的客户端上传的人类活动识别模型进行等量抽样；结合服务器端的人类活动无标签数据，利用选举机制获取抽样的每个客户端上传的人类活动识别模型的准确率，并对模型准确率进行评估，从而获取参与服务器端全局模型聚合的客户端上传的人类活动识别模型，进而得到服务器端模型聚合时的准确率；把得到的参与全局模型聚合的客户端上传的人类活动识别模型和服务器端模型聚合时的准确率一起加权到服务器端全局模型的模型聚合更新中，得到联邦加权聚合后的人类活动识别模型，并基于得出的人类活动识别模型进行人类活动识别。2.根据权利要求1所述的一种改进的联邦加权聚合方法，其特征在于，在客户端发送人类活动识别模型到服务器端之前，还包括：服务器端选择初始化的人类活动识别模型，并下发模型给各个客户端；客户端接收初始化的人类活动识别模型，结合本地存储的人类活动数据和模型参数训练本地模型更新，得到训练后的人类活动识别模型。3.根据权利要求1所述的一种改进的联邦加权聚合方法，其特征在于，按照如下方式对模型准确率进行评估：按照下式对每个模型的准确率进行评估，以判断模型的准确率是否符合条件，能否参与到服务器端模型的聚合中：其中f(x)为代表模型准确率的复合函数，用于对模型的准确率进行激活；r为准确率阈值；α为超参数，用于保证函数的连续性以及可导性；得出评估后的每个模型的准确率。4.一种改进的联邦加权聚合系统，其特征在...

【专利技术属性】
技术研发人员：刘颜红，徐恕贞，何欣，
申请(专利权)人：河南大学，
类型：发明
国别省市：