【技术实现步骤摘要】
本专利技术涉及医疗健康领域，具体来说，涉及医疗领域中基于机器学习进行疾病预测的技术，更具体来说，涉及一种疾病预测模型的联邦训练方法及系统、疾病预测方法。
技术介绍
1、随着机器学习的发展，尤其是深度学习等人工智能技术的广泛应用，尤其是近年来预训练大模型的快速发展，对数据的需求与日俱增。然而，随着有价值的公共数据不断被消耗，训练大模型时会面临数据枯竭问题。引起该问题的原因包括：由于隐私保护条款，以及企业利益等等原因，高质量的私有数据并未得到充分的利用，这种数据孤岛现象阻碍了信息的整合与共享，从而在训练模型时会面临数据枯竭问题。为确保隐私数据被有效利用来训练模型，联邦学习被引入作为解决方案。联邦学习利用聚合模型来代替直接聚合数据，从而保证不泄露数据隐私的情况下，促进多个客户端(即参与方)之间的合作与共享，充分利用高质量私有数据解决数据枯竭等问题。
2、在医疗领域中，深度学习人工智能建模等技术起着至关重要的作用。首先，在辅助诊断方面，人工智能等技术辅助医生进行更准确的诊断。通过分析患者的医疗数据，如影像学、实验室结果和病历，人工智能能够快速识别潜在的疾病迹象和模式，提供有关可能诊断的建议。这有助于医生更快地制定治疗计划和提高患者护理质量。其次，人工智能可以提高医疗效率，自动化流程和数据分析可以减少繁琐的任务，协助制定个性化治疗计划，提高药物管理的精度，减少医疗错误等等。不同的医疗机构之间的医疗数据天然具有隐私敏感性，以及国家政策的相关要求，使得这些医疗数据未能得到充分的利用。比如，三甲医院丰富的医疗数据可以帮助一些小医院进
3、传统的联邦学习方法是使用一个中央服务器协调多个客户端进行多轮训练的联邦学习过程。在每一轮训练开始时，中央服务器会将初始化的全局模型发送给每个客户端。然后，每个客户端在其本地数据上训练模型，并只将模型更新传回中央服务器。最后，中央服务器从所有客户端收集这些更新，并更新全局模型以结束这一轮的联邦训练。但这类联邦学习存在实用性问题，因为要求客户端的数据独立同分布。如果数据非独立同分布，会导致模型性能低、模型精度低、模型通信速度慢、模型收敛速度等问题。
4、然而现实场景的应用中，不同客户端的数据通常都是非独立同分布的，尤其是在医疗领域，不同地区的医院往往具有不同的人口统计数据、生活方式以及其他与健康相关的特征，这些特征不同表明每个客户端的本地医疗数据之间是非独立同分布的，这种非独立同分布性质造成数据异质性，这种数据异质性会导致训练过程中的问题。因为全局模型需要在各个客户端的本地医疗数据集上进行训练，但是由于数据的差异和不一致性，疾病预测模型(也称为全局模型)可能难以得到有效的训练。具体来说，疾病预测模型可能会在某些分布上的性能较差，因为某些客户端的本地医疗数据可能与疾病预测模型的训练目标存在偏差。这种偏差可能源于不同医院、不同地区的数据收集方式、诊断标准、患者人群等方面的差异。从而导致训练得到的疾病预测模型的性能不好。
5、为此，现有技术从数据共享，数据增强，数据选择来解决联邦学习中数据异质性问题，但这些基于数据的方法可能泄露隐私，数据处理不当也会加剧模型学习偏移的问题和联邦学习的不公平性问题。现有技术从模型的角度来解决联邦学习中数据异质性问题，即主要采用了改进模型更新方法、聚合策略、自适应最优化以及模型正则化等一系列方法，但这些基于模型的方法在一定程度上增加了计算开销和通信开销，会过于依赖中央服务器的性能。现有技术从模型框架的角度来解决联邦学习中数据异质性问题，即主要包括相似度聚类、知识蒸馏和基础附加个性化层等等。但这些基于改变模型框架(即在联邦学习训练中添加一些集群步骤)的方法可能会增加通信成本，特别是当涉及到数百个客户时，同时还可能会产生收敛不稳定等问题。
6、需要说明的是：本
技术介绍
仅用于介绍本专利技术的相关信息，以便于帮助理解本专利技术的技术方案，但并不意味着相关信息必然是现有技术。在没有证据表明相关信息已在本专利技术的申请日以前公开的情况下，相关信息不应被视为现有技术。
技术实现思路
1、因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种疾病预测模型的联邦训练方法及系统、疾病预测方法。
2、本专利技术的目的是通过以下技术方案实现的：
3、根据本专利技术的第一方面，提供一种疾病预测模型的训练方法，所述疾病预测模型用于根据医疗数据进行疾病预测，其特征在于，所述方法包括：
4、s1、将已有的多个客户端构建有向环形拓扑连接；
5、s2、给多个客户端配置相同结构的初始疾病预测模型，其中，每个客户端自有本地医疗数据集；
6、s3、基于构建的环形拓扑连接关系，每个客户端利用自有的本地医疗数据集以先传输联邦训练再基于广播的知识蒸馏联邦训练的方式对其对应的初始疾病预测模型进行多次迭代联邦训练，其中，传输联邦训练时相邻客户端之间进行全部参数传递，基于广播的知识蒸馏联邦训练时，每个客户端将其训练好的疾病预测模型参数广播给其他所有客户端。
7、在本专利技术的一些实施例中，在所述步骤s3中，
8、每个客户端利用自有的本地医疗数据集进行至少一次的传输联邦训练后再进行至少一次的知识蒸馏联邦训练。
9、在本专利技术的一些实施例中，在所述步骤s3中，每次传输联邦训练包括：
10、基于构建的有向环形拓扑连接关系，所有客户端基于自有的本地医疗数据集对其对应的初始疾病预测模型按方向进行顺序训练，并在训练时基于每个客户端本地医疗数据集对应的预设第一损失更新其对应的疾病预测模型参数；其中，在构建的有向环形拓扑连接中，下一个客户端的初始疾病预测模型采用上一个客户端训练好的疾病预测模型参数进行初始化。
11、在本专利技术的一些实施例中，所述预设第一损失为第一均值交叉熵损失，每个客户端本地医疗数据集的第一均值交叉熵损失为：
12、
13、k∈(1，n)
14、其中，表示第k个客户端本地医疗数据集的第一均值交叉熵损失，dk表示第k个客户端的本地医疗数据集，|dk|表示第k个客户端的医疗数据样本量，表示第k个客户端的本地数据集中第i个医疗数据样本，表示第k个客户端的本地数据集中第i个医疗数据样本对应的标签，表示第k个客户端的本地医疗数据集中第i个医疗数据样本的交叉熵损失，表示将第k个客户端的本地医疗数据集dk中第i个医疗数据样本输入参数为的疾病预测模型的输出，n为客户端的个数。
15、在本专利技术的一些实施例中，在所述步骤s3中，每次知识蒸馏联邦训练包括：
16、在传输联邦训练完成后，每个客户端将其经传输联邦训练后得到的疾病预测模型参数广播给其他所有客户端以作为其他客户端的教师疾病预测模型；
17、分别以每个客户端作为目标客户端，使目标客户本文档来自技高网...
【技术保护点】
1.一种疾病预测模型的联邦训练方法，所述疾病预测模型用于根据医疗数据进行疾病预测，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述步骤S3中，
3.根据权利要求2所述的方法，其特征在于，在所述步骤S3中，每次传输联邦训练包括：
4.根据权利要求3所述的方法，其特征在于，所述预设第一损失为第一均值交叉熵损失，每个客户端本地医疗数据集的第一均值交叉熵损失为：
5.根据权利要求3所述的方法，其特征在于，在所述步骤S3中，每次知识蒸馏联邦训练包括：
6.根据权利要求5所述的方法，其特征在于，所述预设第二损失包括对比损失和第二均值交叉熵损失：
7.根据权利要求6所述的方法，其特征在于，所述目标客户端本地医疗数据集的对比损失为：
8.根据权利要求7所述的方法，其特征在于，采用如下方式得到目标客户端本地医疗数据集的目标教师特征表示：
9.一种疾病预测模型的联邦训练系统，其特征在于，所述系统包括多个客户端，所述多个客户端被配置为采用如权利要求1-8任一所述的方法训练其对应的
10.一种疾病预测方法，其特征在于，所述方法包括：
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1-8、10任一所述方法的步骤。
12.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种疾病预测模型的联邦训练方法，所述疾病预测模型用于根据医疗数据进行疾病预测，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述步骤s3中，
3.根据权利要求2所述的方法，其特征在于，在所述步骤s3中，每次传输联邦训练包括：
4.根据权利要求3所述的方法，其特征在于，所述预设第一损失为第一均值交叉熵损失，每个客户端本地医疗数据集的第一均值交叉熵损失为：
5.根据权利要求3所述的方法，其特征在于，在所述步骤s3中，每次知识蒸馏联邦训练包括：
6.根据权利要求5所述的方法，其特征在于，所述预设第二损失包括对比损失和第二均值交叉熵损失：
【专利技术属性】
技术研发人员：蒋鑫龙，牟婷婷，高晨龙，闫冰洁，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。