一种基于医疗联邦方的训练系统及训练方法技术方案

一种基于医疗联邦方的训练系统及训练方法，它属于机器学习模型训练领域。本发明专利技术解决了采用现有方法训练出的机器学习模型的精度低的问题。本发明专利技术以高效和隐私保护的方式提供了公平、准确的联邦学习参与方贡献评估，同时基于贡献评估结果设计了模型聚合方法，指导在线的联邦学习服务器选择性能最好的中间聚合模型分发给各医疗联邦方进行本地训练，就可以训练出满足精度要求的机器学习模型，提高了所获得的机器学习模型的精度。本发明专利技术方法可以应用于机器学习模型训练领域。用于机器学习模型训练领域。用于机器学习模型训练领域。

【技术实现步骤摘要】
一种基于医疗联邦方的训练系统及训练方法


[0001]本专利技术属于机器学习模型训练领域，具体涉及一种基于医疗联邦方的训练系统及训练方法。

技术介绍

[0002]人工智能技术日益与我们日常生活的许多方面交织在一起。对于大多数机器学习方法来说，数据是推动其性能的核心要素。对于涉及人工智能的医疗健康领域来说尤其如此。在这种应用程序中，通常需要更多高质量数据，以提高性能。然而，单一组织机构收集的医疗数据往往不足以达到这一目的。因此，协作训练是该领域受益于人工智能技术的必要条件。
[0003]医学数据通常是高度敏感的。因此，医疗机构之间的数据共享一直是一个挑战。最近世界各地的数据隐私保护法加剧了这种情况。另一方面，这一发展也加快了联邦学习领域的进步(一种新兴的机器学习范式，支持分布式协作模型训练，同时保护数据隐私)。联邦学习允许多个客户端通过迭代聚合模型更新来协作训练共享模型，而不暴露其原始数据。除了数据问题外，医疗生态系统中涉及的不同利益相关者对模型有额外的需求。例如，制药公司可能希望通过建立一个模型，利用来自多家医院的数据来促进药物研究。为了补偿参与的医院，制药公司需要提供奖励。然而，如果不能直接评估每家医院当地数据的质量，就很难对其进行公平补偿。在联邦学习中，如何量化每个参与方的训练数据的价值是一个挑战，但是现有方法很难对联邦学习中每个参与方的效用函数进行建模，这使得现有的激励机制设计工作无法直接应用。同时，由于联邦学习算法的复杂性，对联邦学习系统的最终学习性能进行建模具有挑战性，因此，采用现有的方法难以训练出精度较高的机器学习模型，获得的机器学习模型的精度较低。

技术实现思路

[0004]本专利技术的目的是为解决采用现有方法训练出的机器学习模型的精度低的问题，而提出的一种基于医疗联邦方的训练系统及训练方法。
[0005]本专利技术为解决上述技术问题所采取的技术方案是：
[0006]一种基于医疗联邦方的训练系统，所述系统包括机器学习模型、贡献评估模块、模型聚合模块、声誉管理模块和用户交互模块，其中：
[0007]所述声誉管理模块用于根据各医院的历史贡献评估记录计算各医院在各情境中的声誉平均值；
[0008]联邦学习的发起者根据声誉管理模块的计算结果选择参与联邦学习的医疗联邦方，选择的医疗联邦方用于根据各自的本地医学数据集训练机器学习模型；
[0009]贡献评估模块用于对各医疗联邦方的训练结果进行贡献评估，并将贡献评估结果反馈给声誉管理模块，声誉管理模块对各医疗联邦方的历史贡献评估记录进行更新；
[0010]模型聚合模块用于根据对各医疗联邦方的贡献评估结果进行模型聚合，获得聚合
后的模型；并将聚合成的模型发送回参与下一轮训练的各个医疗联邦方；
[0011]用户交互模块用于提供给授权人员访问和管理的功能。
[0012]进一步地，所述联邦学习的发起者根据声誉管理模块的计算结果选择参与联邦学习的医疗联邦方，其具体为：将各家医院的声誉平均值按照降序排列后，从各家医院中选择出声誉平均值排在前面的医院作为联邦学习的参与方。
[0013]进一步地，所述机器学习模型的初始化参数的获得方式为：
[0014]根据训练任务随机初始化机器学习模型的参数或者通过在公共医学数据集上预训练机器学习模型来初始化机器学习模型的参数。
[0015]进一步地，所述贡献评估模块对各医疗联邦方的训练结果进行贡献评估是基于Shapley值和引导截断梯度进行的，计算Shapley值所采用的效用评价函数V(S)为：
[0016][0017]其中，M是上一轮训练聚合成的机器学习模型，S是本轮训练过程中参与训练的医疗联邦方的个数，|D
j
|为第j个医疗联邦方的本地医学数据集D
j
的大小，|D
S
|表示S个医疗联邦方的本地医学数据集D
S
的大小之和，Δ
j
是第j个医疗联邦方的梯度更新。
[0018]更进一步地，所述模型聚合模块根据对各医疗联邦方的贡献评估结果进行模型聚合，其具体过程为：
[0019][0020]其中，M
(t+1)
为第t次迭代聚合成的新的机器学习模型，M
(t)
为第t
‑
1次迭代聚合成的新的机器学习模型，新的机器学习模型，为第t次迭代时第k个医疗联邦方的训练结果，为第t次迭代参与聚合的第k个医疗联邦方的梯度更新，D
k
为第t次迭代参与聚合的第k个医疗联邦方的本地医学数据集，|D
k
|为第t次迭代参与聚合的第k个医疗联邦方的本地医学数据集的大小，表示第t次迭代参与聚合的S
p
个医疗联邦方的本地医学数据集的大小之和，k＝1,2,
…
,S
p
。
[0021]一种基于医疗联邦方的训练方法，所述方法具体为：
[0022]步骤1、联邦学习的发起者从候选池的N家医院中选择出参与联邦学习的医疗联邦方；
[0023]步骤2、每个医疗联邦方均利用各自的本地医学数据集来训练初始化的机器学习模型；
[0024]步骤3、根据每个医疗联邦方的训练结果进行医疗联邦方的贡献评估，根据贡献评估结果将医疗联邦方训练得到的模型进行聚合，获得聚合成的新的机器学习模型，并根据贡献评估结果确定下一轮参与训练的医疗联邦方；
[0025]步骤4、将聚合成的新的机器学习模型发送回确定出的下一轮参与训练的各个医疗联邦方；
[0026]步骤5、重复步骤2至步骤4的过程，直至获得的机器学习模型达到精度要求时停
止，获得训练好的机器学习模型。
[0027]进一步地，所述步骤1的具体过程为：
[0028]根据历史贡献评估记录分别得到每家医院在每个情境下的声誉值，再计算出第i家医院在各个情境下声誉的平均值，i＝1,2,
…
,N；
[0029]将N家医院的声誉平均值按照降序排列后，从N家医院中选择出声誉平均值排在前N
′
位的医院作为联邦学习的医疗联邦方。
[0030]进一步地，所述初始化的机器学习模型的初始化参数的获得方式为：
[0031]根据训练任务随机初始化机器学习模型的参数或者通过在公共医学数据集上预训练机器学习模型来初始化机器学习模型的参数。
[0032]进一步地，所述根据每个医疗联邦方的训练结果进行医疗联邦方的贡献评估是基于Shapley值和引导截断梯度进行的，计算Shapley值所采用的效用评价函数V(S)为：
[0033][0034]其中，M是上一轮训练聚合成的机器学习模型，S是本轮训练过程中参与训练的医疗联邦方的个数，|D
j
|为第j个医疗联邦方的本地医学数据集D
j
的大小，|D
S
|表示S个医疗联邦方的本地医学数据集D
S
的大小之和，Δ
j
是第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于医疗联邦方的训练系统，其特征在于，所述系统包括机器学习模型、贡献评估模块、模型聚合模块、声誉管理模块和用户交互模块，其中：所述声誉管理模块用于根据各医院的历史贡献评估记录计算各医院在各情境中的声誉平均值；联邦学习的发起者根据声誉管理模块的计算结果选择参与联邦学习的医疗联邦方，选择的医疗联邦方用于根据各自的本地医学数据集训练机器学习模型；贡献评估模块用于对各医疗联邦方的训练结果进行贡献评估，并将贡献评估结果反馈给声誉管理模块，声誉管理模块对各医疗联邦方的历史贡献评估记录进行更新；模型聚合模块用于根据对各医疗联邦方的贡献评估结果进行模型聚合，获得聚合后的模型；并将聚合成的模型发送回参与下一轮训练的各个医疗联邦方；用户交互模块用于提供给授权人员访问和管理的功能。2.根据权利要求1所述的一种基于医疗联邦方的训练系统，其特征在于，所述联邦学习的发起者根据声誉管理模块的计算结果选择参与联邦学习的医疗联邦方，其具体为：将各家医院的声誉平均值按照降序排列后，从各家医院中选择出声誉平均值排在前面的医院作为联邦学习的参与方。3.根据权利要求1所述的一种基于医疗联邦方的训练系统，其特征在于，所述机器学习模型的初始化参数的获得方式为：根据训练任务随机初始化机器学习模型的参数或者通过在公共医学数据集上预训练机器学习模型来初始化机器学习模型的参数。4.根据权利要求1所述的一种基于医疗联邦方的训练系统，其特征在于，所述贡献评估模块对各医疗联邦方的训练结果进行贡献评估是基于Shapley值和引导截断梯度进行的，计算Shapley值所采用的效用评价函数V(S)为：其中，M是上一轮训练聚合成的机器学习模型，S是本轮训练过程中参与训练的医疗联邦方的个数，|D
j
|为第j个医疗联邦方的本地医学数据集D
j
的大小，|D
S
|表示S个医疗联邦方的本地医学数据集D
S
的大小之和，Δ
j
是第j个医疗联邦方的梯度更新。5.根据权利要求1所述的一种基于医疗联邦方的训练系统，其特征在于，所述模型聚合模块根据对各医疗联邦方的贡献评估结果进行模型聚合，其具体过程为：其中，M
(t+1)
为第t次迭代聚合成的新的机器学习模型，M
(t)
为第t
‑
1次迭代聚合成的新的机器学习模型，机器学习模型，为第t次迭代时第k个医疗联邦方的训练结果，为第t次迭代参与聚合的第k个医疗联邦方的梯度更新，D
k
为第t次迭代参与聚合的第k个医疗联邦方的本地医学数据集，|D
k
|为第t次迭代参与聚合的第k个医疗联邦方的本地医学数据集的大小，表示第t次迭代参与聚合的S
p
个医疗联邦方的本地医学
数据集的大小之和，k＝1,2,
…
,S
p
。6.一种基于医疗联邦方的训练方...

【专利技术属性】
技术研发人员：刘宇鹏，林明豪，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：