【技术实现步骤摘要】
一种面向医疗图像的联邦学习公平性提升方法和系统
[0001]本专利技术属于计算机科学和分布式学习领域，更具体地，涉及一种基于神经图像肿瘤分割任务下提升联邦学习公平性的方法和系统
。
技术介绍
[0002]在医学领域，由于医疗数据的隐私敏感性和多中心数据分布的差异，传统的集中式数据训练方法存在着一些困难和挑战
。
有介于此，联邦学习
(Federated learning
，简称
FL)
技术应运而生，其提供了一种新的训练范例，可以在不牺牲用户隐私的情况下在医院之间共享模型
。
[0003]然而，由于不同模态的医学数据具有不同的特征和分布，因此会存在数据稀疏性和分布差异的问题，这会导致在联邦学习过程中出现模型性能的不公平性和差异，使得一些模态的数据无法得到充分的利用，从而影响了模型的准确性和稳定性；此外，由于不可靠的协作性和公平性，公平性权衡的困难也是一个挑战；再次，在联邦学习中，各个参与方可能具有不同的数据特性和质量，导致数据的可用性和可靠性方面存在差异...
【技术保护点】
【技术特征摘要】
1.
一种面向医疗图像的联邦学习公平性提升方法，其特征在于，包括以下步骤：
(1)K
个客户端中的第
k
个客户端获取正电子发射型计算机断层显像
PET
图像及其对应的计算机断层扫描
CT
图像所组成的
PET
‑
CT
图像对，对该
PET
‑
CT
图像对进行预处理，以得到预处理后的
PET
‑
CT
图像对，其中
K
为任意自然数，且有
k∈[1
，
K]
；
(2)K
个客户端中的第
k
个客户端将步骤
(1)
预处理后的
PET
‑
CT
图像对输入到多模态神经图像肿瘤分割模型
W
k
中进行训练，通过计算损失函数获取多模态神经图像肿瘤分割模型
W
k
的梯度
g
k
，使用梯度
g
k
对多模态神经图像肿瘤分割模型
W
k
进行参数更新，以得到第
k
个客户端初步训练好的多模态神经图像肿瘤分割模型
W
k
，并将初步训练好的多模态神经图像肿瘤分割模型
W
k
的梯度
g
k
上传至服务器
。(3)
服务器对来自第
k
个客户端的梯度
g
k
进行对抗噪声扰动，以得到优化后的第
k
个客户端的梯度
g
′
k
；
(4)
服务器对步骤
(3)
优化后的第
k
个客户端的梯度
g
′
k
进行公平聚合，以得到聚合后的全局模型梯度
g
global
，并将聚合后的全局模型梯度
g
global
下发给第
k
个客户端
。(5)
第
k
个客户端使用步骤
(4)
得到的全局模型梯度
g
global
替换步骤
(2)
中初步训练好的多模态神经图像肿瘤分割模型
W
k
的梯度
g
k
；
(6)
第
k
个客户端重复上述步骤
(3)
至
(5)
达到
m
次，过程结束
。2.
根据权利要求1所述的面向医疗图像的联邦学习公平性提升方法，其特征在于，步骤
(1)
中获取的
PET
图像和
CT
图像都是医学数字成像和通信
DICOM
格式的；步骤
(1)
首先是获取
DICOM
格式的
PET
图像及其对应的
CT
图像所组成的
PET
‑
CT
图像对，然后使用
SimpleITK
库把
DICOM
格式的
PET
‑
CT
图像对转化为神经图像信息技术倡议
NIfTI
格式的
PET
‑
CT
图像对，其后，将
NIfTI
格式的
PET
‑
CT
图像对中仅仅含有
PET
图像的数据
、
以及仅仅含有
CT
图像的数据去除
。
然后，在
PET
‑
CT
图像对中提取所有的
PET
‑
CT
切片，即删除不含病灶标签的
PET
‑
CT
切片，并保留含有病灶标签的
PET
‑
CT
切片，最后，将提取的
PET
‑
CT
切片转换为
512*512
的
png
格式
PET
‑
CT
图像对，作为预处理后
PET
‑
CT
图像对
。3.
根据权利要求1或2所述的面向医疗图像的联邦学习公平性提升方法，其特征在于，多模态神经图像肿瘤分割模型是带有本地自注意力机制的
U
‑
Net
网络模型，其包括两个并联的第一编码器和第二编码器组成的编码器模块，以及和编码器模块顺次相连的注意力组件部分和解码器；第一编码器的输入为预处理后的
PET
‑
CT
图像对中的
PET
图像，首先将其输入第一个双卷积模块，得到
32
通道的特征图，然后，将经过第一个双卷积模块所得到的
32
通道的特征图输入最大池化层，将特征图的高度和宽度减半，通道数不变，实现空间下采样，进而得到下采样后的
32
通道特征图；随后，将下采样后的
32
通道特征图输入至第二个双卷积模块，得到输出通道数为
64
的特征图，再将该特征图输入至最大池化层，进一步减小特征图的尺寸，进而得到下采样后的
64
通道特征图；然后，将下采样后的
64
通道特征图输入第三个双卷积模块，以得到输出通道数为
128
的特征图；随后，再将该特征图输入最大池化层，将特征图的尺寸减半，得到下采样后的
128
通道特征图；随后，将该
128
通道特征图输入第四个双卷积模块，以得到
256
通道的特征图；最后，将该特征图输入最大池化层，将特征图的尺寸减半，进而获得最终的中间特征图其中
H、W、C
分别表示表示
PET
图像的中间特征
图
F
pet
的高度
、
宽度和维度
。
第二编码器的结构与第一编码器的结构完全相同，这里不再赘述，其输入为与第一编码器所输入的
PET
图像所对应的
CT
图像，输出为
CT
图像的中间特征图其中
H、W、C
分别表示表示
CT
图像的中间特征图
F
ct
的高度
、
宽度和维度
。
注意力组件部分的输入为第一编码器输出的
PET
图像的中间特征图
F
pet
和第二编码器输出的
CT
图像的中间特征图
F
ct
，其首先对输入的两个中间特征图进行通道维度上的拼接，得到
512
通道的特征图，然后将该特征图输入输入通道和输出通道均为
512
的双卷积模块，以得到
512
通道的
PET
‑
CT
融合中间特征图
F
pet―ct
，之后对
PET
‑
CT
融合中间特征图
F
pet―ct
进行通道域的融合，即分别对其进行平均池化和最大值池化，以获得两个通道信息，然后，将两个通道信息输入双卷积模块中，以得到两个
1x1xC
的通道注意力图，其后，将两个通道注意力图进行叠加，并输入
Sigmoid
激活函数，以得到最终的通道注意力图
Mc
，之后，根据该通道注意力图
Mc
计算得到经过通道域融合的特征图：其中表示矩阵元素对应乘积操作；随后，对得到的特征图
F
′
在通道维度上分别进行最大值池化和平均池化操作，以得到两个的最大池化特征图和平均池化特征图之后，将得到的最大池化特征图和平均池化特征图进行通道维度上的拼接，然后，利用大小为
7x7、
输出通道数为1的新卷积层对拼接后的二维特征图进行提取，以生成一个尺寸与拼接后的二维特征图相同
、
通道数为1的空间注意力图；随后，对该空间注意力图应用
Sigmoid
激活函数，将空间注意力图的值映射到0到1之间，以得到最终的空间注意力图
Ms
，然后，根据以下公式计算输出经过空间域融合和时空域融合的特征图
F
″
：解码器的输入为注意力组件部分输出的经过空间域融合和时空域融合的特征图
F”，首先将该特征图
F”输入第五个双卷积模块，得到输出通道数为
512
的特征图，然后将该
512
通道的特征图输入大小为
2*2、
步幅为2的转置卷积模块，将该特征图的空间尺寸恢复到特征图
F”的两倍，并将通道数从
512
减少到
256
，从而得到一个更高分辨率
、
通道数为
256
的特征图；随后，将这个特征图与第一编码器的第四个双卷积模块输出的
256
通道的特征图在通道维度上进行拼接，以得到一个
512
通道的新特征图
F
′5′
12
，随后，将新特征图
F
′5′
12
输入第六个双卷积模块，一得到输出通道数为
256
的特征图，然后将该特征图输入转置卷积模块，以将特征图的空间尺寸恢复到
F
‘5’
12
的两倍，将特征图通道数从
256
减少到
128
，将
128
通道的特征图与第一编码器中第三个双卷积模块输出的
128
通道的特征图在通道维度上进行拼接，以得到一个通道数为
256
的新特征图
F
′2′
56
，然后将新特征图
F
′2′
56
输入第七个双卷积模块，以得到输出通道数为
128
的特征图，将该特征图输入转置卷积模块，以将该特征图的空间尺寸恢复到
F
′2′
56
的两倍，并将特征图通道数从
128
减少到
64
，随后，将
64
通道的特征图与第一编码器的第二个双卷积模块输出的
64
通道的特征图在通道维度上进行拼接，以得到一个通道数为
128
的新特征图
F
′1′
28
；随后，将新特征图
F
′1′
28
输入第八个双卷积模块，以得到输出通道数为
64
的特征图，将该特征图输入转置卷积模块，以将特征图的空间尺寸恢复到
F
′1′
28
的两倍，将特征图通道数从
64
减少到
32
，随后，将
32
通道的特征图与第一编码器的第一个双卷积模块输出的
32
通道的特征图在通道维度上进行拼接，以得到一个通道数
64
的新
特征图
F
′6′4；随后，将新特征图
F
′6′4输入第九个双卷积模块，以得到输出通道数为
32
的特征图
F
′3′2，将特征图
F
′3′2输入到输出卷积层，以通过一个
1x1
卷积层将特征图的通道数减少到单通道，进而得到肿瘤位置的概率分布矩阵；随后，通过
softmax
函数将概率分布矩阵映射到
[0,1]
区间，将概率矩阵中概率值大于
0.5
的元素值设为1，将概率矩阵中概率值小于
0.5
的元素值设为
0(
即认为该位置是背景，即无病灶
)
，从而得到只含有0和1的二值化矩阵；最后，将该二值化矩阵保存为二值化图片，即为最终的病灶分割预测结果
。4.
根据权利要求1至3中任意一项所述的面向医疗图像的联邦学习公平性提升方法，其特征在于，步骤
(2)
包括以下子步骤：
(2
‑
1)K
个客户端中的第
k
个客户端将步骤
(1)
得到的预处理后的
PET
‑
CT
图像对按照
8:2
的比例划分训练集和测试集，其中
K
为大于或等于2的自然数，且有
k∈[1
，
K]。(2
‑
2)K
个客户端中的第
k
个客户端初始化训练过程的迭代总次数
、
以及多模态神经图像肿瘤分割模型的学习率
η
；
(2
‑
3)K
个客户端中的第
k
个客户端将步骤
(2
‑
1)
得到的训练集中的每个
PET
‑
CT
图像对中的
PET
图像输入第一编码器，以获取该
PET
图像的中间特征图同时将步骤
(2
‑
1)
得到的训练集中的每个
PET
‑
CT
图像对中的
CT
图像输入第二编码器，以获取该
CT
图像的中间特征图像的中间特征图其中
H、W、C
分别表示表示
PET
图像的中间特征图
F
pet
的高度
、
宽度和维度；
(2
‑
4)K
个客户端中的第
k
个客户端将步骤
(2
‑
3)
得到的
PET
图像的中间特征图
F
pet
和
CT
图像的中间特征图
F
ct
输入注意力组件部分，以得到经过空间域融合和时空域融合的特征图
F
″
；
(2
‑
5)K
个客户端中的第
k
个客户端将步骤
(2
‑
4)
得到的经过通道域和空间域融合的特征图
F
″
输入至解码器，以获取最终的病灶分割预测结果
F
pred
；
(2
‑
6)K
个客户端中的第
k
个客户端根据步骤
(2
‑
5)
得到的病灶分割预测结果
F
pred
计算损失函数，利用该损失函数计算得到梯度
g
k
，使用计算得到的梯度
g
k
对多模态神经图像肿瘤分割模型
W
k
进行参数更新，从而得到该第
k
个客户端初步训练好的多模态神经图像肿瘤分割模型
W
k
，其中，本步骤中的损失函数为
Dice Loss
函数，其计算公式为：其中，
∈
为
1*10
‑8，用于防止分母为0的情况
。F
gt
和
F
pred
分别表示真实结果和预测结果，
|F
gt
|+|F
pred
|
表示在真实结果和预测结果的体素总和
。5.
根据权利要求1所述的面向医疗图像的联邦学习公平性提升方法，其特征在于，步骤
(3)
包括以下子步骤：
(3
‑
1)K
个客户端中的...
【专利技术属性】
技术研发人员：胡胜山，李明慧，张泷玲，余磊，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。