一种针对多站点多模态影像的脑疾病筛查联邦学习方法技术

本发明专利技术公开了一种针对多站点多模态影像的脑疾病筛查联邦学习方法，包括步骤一：经多个客户端中选择目标客户端；步骤二：基于目标客户端的原始数据D

【技术实现步骤摘要】
一种针对多站点多模态影像的脑疾病筛查联邦学习方法


[0001]本专利技术涉及深度学习
，具体涉及一种针对多站点多模态影像的脑疾病筛查联邦学习方法。

技术介绍

[0002]在临床实践中，脑部MRI图像的识别诊断由放射科医生和神经科医生完成，该过程非常耗时，且容易受到读片者个人因素的因素。由于医疗资源不均衡、医师读片负担过重、相似症状鉴别诊断困难、早期病变不易察觉等问题，脑疾病影像诊断在效率和准确性方面仍存在许多痛点。同时，神经系统退行性疾病和脑肿瘤等疾病的黄金治疗窗口期往往在无症状以及轻微症状阶段，及时筛查和干预能够很大程度上延缓疾病的发展，减少患者、患者家属和社会的负担。
[0003]随着人工智能的发展，使用深度学习方法对人脑疾病和脑损伤进行筛查成为了可能，并取得了可观的成果。但是，标记的样本不足以及人工标记数据的成本之高已成领域内公认的事实，加之保护个人隐私等诸多因素，想要获得大量公开已标记的脑疾病数据并非易事。
[0004]联邦学习机制使多客户端(包括医院、数据中心、研究机构等)在无需上传原始数据的情况下协作训练深度学习模型，缓解了由于医疗数据的隐私性和稀缺性对深度学习模型训练带来的困难。
[0005]然而，多客户端数据的分布差异以及恶意攻击场景对联邦学习的性能和安全性带来了挑战，本专利技术应对这两大挑战，提出了针对多客户端多模态脑疾病影像诊断的联邦学习框架。

技术实现思路

[0006]本专利技术的目的在于提供一种针对多站点多模态影像的脑疾病筛查联邦学习方法，利用生成对抗网络对各客户端的数据复杂度进行评估，确定目标图像空间，并通过图像生成将原始图像空间映射到目标图像空间，完成异质医疗影像的领域自适应，各客户端完成该过程后，即可加入联邦学习。
[0007]本专利技术的目的可以通过以下技术方案实现：
[0008]一种针对多站点多模态影像的脑疾病筛查联邦学习方法，包括以下步骤:
[0009]步骤一：经多个客户端中选择目标客户端；
[0010]步骤二：基于目标客户端的原始数据D
k
合成模板图像；
[0011]步骤三：经步骤二合成模板图像中选取部分图像共享至其他客户端；
[0012]步骤四：对于其余的客户端，基于原始数据D
i
以及得到的模板图像D
shared
，通过循环生成对抗网络习得原始图像空间D
i
到模板图像空间的映射；
[0013]步骤五：客户端向中心服务器上传模型参数的梯度信息，梯度信息基于差分隐私和安全聚合算法进行联邦学习。
[0014]作为本专利技术进一步的方案：步骤一中，目标客户端的选择是通过构建复杂度度量函数评估各客户端的数据复杂度；
[0015]将数据复杂度最小的客户端作为目标客户端，通过目标客户端合成的图像构成目标图像空间。
[0016]作为本专利技术进一步的方案：基于每个客户端i，标记原始数据D
i
，通过固定轮数训练得到一个带有梯度惩罚的Wasserstein生成对抗网络；
[0017]对抗网络基于D
i
生成与D
i
大小一致的合成图像损失函数定义如下：
[0018][0019][0020]其中，α～(U)(0,1)，λ＝10
[0021]利用主成分分析(PCA)和t分布
‑
随机近邻嵌入(t
‑
SNE)提取D
i
和的特征，分别记为f
i
和D
i
的数据复杂度C
i
定义为f
i
和的L2距离。
[0022]作为本专利技术进一步的方案：步骤三中，选取的部分图像Ｄ
ｓｈａｒｅｄ
和D
k
的分布相似，D
shared
应当能反映D
k
的特征，D
k
应与D
shared
有充分的差异；
[0023]具体的：寻找满足
[0024][0025]其中，是对抗生成网络合成的图像，是的特征向量，x是在特征空间中的1
‑
近邻，∈是特征图像中L2距离的阈值，δ是特征空间中L2距离的阈值；
[0026]原始图像和合成图像的特征空间均通过主成分分析(PCA)和t分布
‑
随机近邻嵌入(t
‑
SNE)得到；
[0027]为了确保可行解的存在性，∈并不是一个固定值，动态设定为x与其特征空间中的k近邻在图像空间中的最大L2距离；
[0028]不断采集可行解放入D
shared
，直到D
shared
的数据量与D
k
相等，把D
shared
广播给其他客户端。
[0029]作为本专利技术进一步的方案：步骤四中，在循环生成对抗网络中，编码器E
i
将D
i
变换到D
′
i
，其中，D
′
i
与D
shared
相似；判别网络Dis
shared
与E
i
对抗，要求Dis
shared
能分辨出经编码器变换后的图像D
′
i
与模板图像D
shared
；
[0030]损失函数如下：
[0031][0032]为了刻画模型捕捉原始数据D
i
的能力，另定义图像重建损失如下：
[0033][0034]图像重建损失平等看待x
i
中的每一个像素，另定义疾病分类损失：
[0035][0036]此外，本征损失(identity loss)是循环生成网络中很重要的一个损失函数，用来保留输入和输出颜色组成的一致性，否则生成器可能会自主地修改图像的色调，使得图像整体的颜色发生改变；
[0037]本征损失定义如下：
[0038][0039]编码器整体的损失函数定义如下：
[0040][0041]完成训练后，循环生成对抗网络的权重保持固定，每个客户端的数据经E
i
变换后加入联邦学习进程。
[0042]作为本专利技术进一步的方案：步骤五中，基于差分隐私和安全聚合算法进行联邦学习，具体为：
[0043]对于联邦学习的每一个全局训练轮次t，每个客户端i从其数据中采样出部分数据参与训练，
[0044]假设每个本地样本被采样的概率均为q且彼此独立，则包含的数据量满足二项式分布B(|D
k
|，q)，设定对于单个本地样本的梯度最大值为C，单样本的梯度范数超过C，则会被修正为C，可证明，对每个客户端i的(修正后的)平均梯度加入高斯噪声n
i
，n
i
的分布函数如下：
[0045][0046]则全局模型在全局训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对多站点多模态影像的脑疾病筛查联邦学习方法，其特征在于，包括以下步骤：步骤一：经多个客户端中选择目标客户端；步骤二：基于目标客户端的原始数据D
k
合成模板图像；步骤三：经步骤二合成模板图像中选取部分图像共享至其他客户端；步骤四：对于其余的客户端，基于原始数据D
i
以及得到的模板图像D
shared
，通过循环生成对抗网络习得原始图像空间D
i
到模板图像空间的映射；步骤五：客户端向中心服务器上传模型参数的梯度信息，梯度信息基于差分隐私和安全聚合算法进行联邦学习。2.根据权利要求1所述的一种针对多站点多模态影像的脑疾病筛查联邦学习方法，其特征在于，步骤一中，目标客户端的选择是通过构建复杂度度量函数评估各客户端的数据复杂度；将数据复杂度最小的客户端作为目标客户端，通过目标客户端合成的图像构成目标图像空间。3.根据权利要求2所述的一种针对多站点多模态影像的脑疾病筛查联邦学习方法，其特征在于，基于每个客户端i，标记原始数据D
i
，通过固定轮数训练得到一个带有梯度惩罚的Wasserstein生成对抗网络；对抗网络基于D
i
生成与D
i
大小一致的合成图像损失函数定义如下：损失函数定义如下：其中，α～(U)(0，1)，λ＝10利用主成分分析(PCA)和t分布
‑
随机近邻嵌入(t
‑
SNE)提取D
i
和的特征，分别记为f
i
和D
i
的数据复杂度C
i
定义为f
i
和的L2距离。4.根据权利要求1所述的一种针对多站点多模态影像的脑疾病筛查联邦学习方法，其特征在于，步骤三中，选取的部分图像D
shared
和D
k
的分布相似，D
shared
应当能反映D
k
的特征，D
k
应与D
shared
有充分的差异；具体的：寻找满足满足其中，是对抗生成网络合成的图像，是的特征向量，x是在特征空间中的1
‑
近邻，∈是特征图像中L2距离的阈值，δ是特征空间中L2距离的阈值；原始图像和合成图像的特征空间均通过主成分分析PCA和t分布
‑
随机近邻嵌入t
‑
SNE得到；为了确保可行解的存在性，∈并不是一个固定值，动态设定为x与其特征空间中的k近邻在图像空间中的最大L2距离；不...

【专利技术属性】
技术研发人员：赵兴明，费彦琳，张子超，王贞茹，
申请(专利权)人：复旦大学，
类型：发明
国别省市：