一种健康群智感知系统及其成本优化的联邦学习方法技术方案

本发明专利技术公开一种健康群智感知系统及其成本优化的联邦学习方法，本发明专利技术提出了云边端的系统架构和成本优化的联邦学习模型，通过云边协同的方式部署联邦学习来训练全局模型；在成本优化的联邦学习模型中，边根据待训练全局模型的验证精度决定是否参与本轮次训练，使得通讯成本和局部训练成本得以优化，云对接收到的局部模型更新进行质量评估并选择高质量的局部模型更新参与全局模型的聚合，从而提升学习效率。基于公开数据集的大量实验证明了本发明专利技术所提方法在保证全局模型精度的前提下，有效降低了通讯成本和训练成本。低了通讯成本和训练成本。低了通讯成本和训练成本。

【技术实现步骤摘要】
一种健康群智感知系统及其成本优化的联邦学习方法


[0001]本专利技术属于健康医疗
，尤其涉及一种健康群智感知系统及其成本优化的联邦学习方法。

技术介绍

[0002]联邦学习是隐私保护下多方持有数据进行协同训练的机器学习范式，其目标是训练高质量的全局模型。它通过迭代局部模型更新和聚合全局模型参数来获取机器学习模型，在此范式的每一轮学习算法中，每个持有数据的客户端根据其本地数据独立地训练模型，并将模型参数发送到中央协调方，由中央协调方汇总客户端的局部模型参数并计算新的全局模型。该学习算法重复进行，直到全局模型满足一定的收敛准则。联邦学习在一些应用中已经取得了成功，如谷歌Gboard的下一个单词预测，“Hey Siri”的声音分类器，移动增强现实。研究者也在积极探索其在医学健康诊疗场景下的应用。
[0003]在健康医疗领域，许多高度流行的疾病(如耳鸣、偏头痛、慢性疼痛)缺少普遍有效的治疗方法，需要进行长期的健康监控。自2010年以来，针对健康的群智感知技术的研究取得了一系列进展，其中包含被分别用来创建Apple和谷歌生态系统的健康群智感知服务的HealthKit和GoogleFit。由于医疗数据的强隐私特点，患者数据通常由医院或社区医疗中心各自独立存放，在建立健康监测和疾病预测模型时，单个医院或社区医疗中心的数据又不足以训练模型，需要多家协同配合来训练模型以提取群体智能。
[0004]尽管联邦学习为健康群智感知(HCS)的群体智能提取提供了有效的解决方案，但在模型协同训练过程中仍然面临诸多挑战，如局部模型训练的计算成本和时间成本，以及模型参数的传输成本。当前模型的结构日趋复杂，动辄就有数百万参数，在参数传输时不可避免地需要耗费大量的流量，以VGG16模型为例，其参数的大小约为57MB，如果100家医院或社区医疗中心参与协同训练模型，执行10个训练轮次，模型参数将消耗57GB的传输成本。

技术实现思路

[0005]本专利技术针对现有健康群智感知场景中联邦学习过程中的模型训练成本和参数传输成本高的问题，提出一种健康群智感知系统及其成本优化的联邦学习方法。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]本专利技术一方面提出一种健康群智感知系统，包括：中央协调方，边缘节点及端用户；所述中央协调方为卫生健康部门或医院联合体；所述边缘节点为医院或社区医疗中心；所述端用户为患者携带的智能终端，用于采集患者数据并将患者数据上传至边缘节点；
[0008]中央协调方和边缘节点协同部署联邦学习，联邦学习实现隐私保护的智能提取，边缘节点和端用户协同进行数据采集和管理。
[0009]进一步地，所述健康群智感知系统的服务流程为：
[0010]任一边缘节点作为模型训练的发起方，根据需要选择训练模型，利用本地数据进行模型的初始化，将模型训练需求和初始化后的模型提交给中央协调方；
[0011]中央协调方将需训练的全局模型分发给参与训练的边缘节点，获取边缘节点训练后的局部模型参数，对模型参数进行质量评估，根据质量评估结果选择参与全局模型聚合的局部模型参数并生成新全局模型；
[0012]边缘节点存储智能终端上传的数据，接收并验证中央协调方下发的全局模型，作为数据持有方用本地数据训练全局模型生成新的局部模型、将模型参数上传至中央协调方；
[0013]患者通过携带的智能终端感知并生成个体纵深数据，将数据上传至边缘节点，接受个性化诊疗服务。
[0014]本专利技术另一方面提出一种健康群智感知系统中成本优化的联邦学习方法，该方法基于所述的一种健康群智感知系统，包括：
[0015]根据联邦学习的目标建立成本优化的联邦学习模型；
[0016]边缘节点在每次局部训练之前，用实时数据中的验证数据集对收到的全局模型进行验证，若其验证精度高于上一轮次的验证精度，则参与本次训练，否则拒绝参与本次训练；
[0017]边缘节点在每通讯轮次执行局部训练时，进行多个epoch的训练，选择其中验证精度最高的模型参数上传至中央协调方进行模型聚合；
[0018]中央协调方在收到边缘节点的局部模型参数后，用真值发现的方式对局部模型参数进行质量评估，选择满足质量评估要求的局部模型参数参与全局模型的聚合。
[0019]进一步地，所述根据联邦学习的目标建立成本优化的联邦学习模型包括：
[0020]根据联邦学习的目标，
[0021][0022]其中f:R
d
→
R为全局损失函数，f
k
:R
d
→
R为边缘节点k的局部损失函数，θ∈R
d
为可优化的模型参数，θ
*
为优化的模型参数，p
k
为边缘节点k的训练数据量与参与全局模型聚合的总训练数据量之比，l(θ,x)为数据样本x在模型为θ时的损失函数，{1,2,...,K}为联邦学习模型训练的边缘节点集，k为任一边缘节点，D
k
和|D
k
|分别为第k个边缘节点的训练数据集和训练数据量；
[0023]建立成本优化的联邦学习模型：
[0024][0025][0026][0027]s.t.(μ
‑
3σ)<a
k
<(μ+3σ)
[0028][0029][0030][0031][0032]其中d为当前训练轮次中、参与全局模型聚合的局部模型参数所在的边缘节点的训练数据量之和，d
K
为参与训练的边缘节点的训练数据量之和，p
k
和分别是第k个边缘节点训练数据量与参与全局模型聚合的训练数据总量的比值和与总体训练数据总量的比值，θ
t
表示第t个轮次的全局模型，表示第t个轮次第k个边缘节点的局部模型，a
k
为第k个边缘节点的模型精度，μ和σ分别为参与训练的所有局部模型精度的均值和标准差。
[0033]与现有技术相比，本专利技术具有的有益效果：
[0034]本专利技术从健康群智感知的特有属性出发，首次引入云边端架构的服务范式，针对健康领域的强隐私特点，部署联邦学习进行群体智能的提取；创新性的对联邦学习过程进行改进，以降低联邦学习过程中的模型训练成本和参数传输成本，有效提升全局模型的聚合效率。将本专利技术所提方法的性能与FedAvg算法进行比较分析，证明了本专利技术方法在减少通讯成本的同时降低训练成本。通过大量的基于开放数据集的实验表明本专利技术方法的通讯成本、局部模型训练的时间和计算成本上均优于FedAvg算法，验证了所提出方法的有效性。
附图说明
[0035]图1为本专利技术实施例一种健康群智感知系统的架构示意图；
[0036]图2为本专利技术实施例一种健康群智感知系统的服务流程图；
[0037]图3为本专利技术实施例每轮次的局部模型训练时长比较图；
[0038]图4为本专利技术实施例随机选取4次的节点参与局部模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种健康群智感知系统，其特征在于，包括：中央协调方，边缘节点及端用户；所述中央协调方为卫生健康部门或医院联合体；所述边缘节点为医院或社区医疗中心；所述端用户为患者携带的智能终端，用于采集患者数据并将患者数据上传至边缘节点；中央协调方和边缘节点协同部署联邦学习，联邦学习实现隐私保护的智能提取，边缘节点和端用户协同进行数据采集和管理。2.根据权利要求1所述的一种健康群智感知系统，其特征在于，所述健康群智感知系统的服务流程为：任一边缘节点作为模型训练的发起方，根据需要选择训练模型，利用本地数据进行模型的初始化，将模型训练需求和初始化后的模型提交给中央协调方；中央协调方将需训练的全局模型分发给参与训练的边缘节点，获取边缘节点训练后的局部模型参数，对模型参数进行质量评估，根据质量评估结果选择参与全局模型聚合的局部模型参数并生成新全局模型；边缘节点存储智能终端上传的数据，接收并验证中央协调方下发的全局模型，作为数据持有方用本地数据训练全局模型生成新的局部模型、将模型参数上传至中央协调方；患者通过携带的智能终端感知并生成个体纵深数据，将数据上传至边缘节点，接受个性化诊疗服务。3.一种健康群智感知系统中成本优化的联邦学习方法，其特征在于，该方法基于权利要求1或2任一所述的一种健康群智感知系统，包括：根据联邦学习的目标建立成本优化的联邦学习模型；边缘节点在每次局部训练之前，用实时数据中的验证数据集对收到的全局模型进行验证，若其验证精度高于上一轮次的验证精度，则参与本次训练，否则拒绝参与本次训练；边缘节点在每通讯轮次执行局部训练时，进行多个epoch的训练，选择其中验证精度最高的模型参数上传至中央协调方进行模型聚合；中央协调方在收到边缘节点的局部模型参数后，用真值发现的方式对局部模型参数进行质量评估，选择满足质量评估要求的局部模型参数参与全局...

【专利技术属性】
技术研发人员：何欣，李利，余曦，于俊洋，
申请(专利权)人：河南大学，
类型：发明
国别省市：