一种基于联邦学习的分布式小尺度肺结节检测方法技术

本发明专利技术公开了一种基于联邦学习的分布式小尺度肺结节检测方法，包括：获取病人真实肺部

【技术实现步骤摘要】
一种基于联邦学习的分布式小尺度肺结节检测方法


[0001]本专利技术涉及目标检测
，具体涉及一种基于联邦学习的分布式小尺度肺结节检测方法
。

技术介绍

[0002]近年来，在深度学习
(Deep Learning
，
DL)
的快速驱动下，目标检测算法已应用于多个领域，智慧医疗方向深度学习在图像识别中，通过卷积神经网络实现的视觉算法在识别错误率和效率上
2015
年已经超越了人类
。
小尺度肺结节目标检测的目的是精确地检测出医疗图像中可视化特征较少的小尺度病灶
。
在这个问题上，深度学习仍然面临着巨大的挑战
。
与普通尺寸的目标相比，小尺度病灶所包含的外观信息非常有限，因此很难将它们从复杂的背景或相近的目标中分离出来
。
[0003]深度学习的成功都是建立在对大量数据训练的基础之上，而想要获取足量的优质医疗数据是一件及其困难的事情
。
随着越来越完善的法律法规，监管机构对于数据的使用审批愈加严格，往日轻松获取大量数据的时代已然过去
。
数据是人工智能时代的燃料，随着优质训练数据获取难度的不断提高，传统的集中数据式训练模型方法正面临着极大挑战
。
[0004]联邦学习
(Federated Learning
，
FL)
是
2016
年由谷歌公司的
H.Brendan McMahan
等人提出的，作为一种面向隐私安全的分布式机器学习技术，其可以在各客户端部署深度学习算法同时利用本地数据训练模型，本地训练结束后由中心服务器聚合模型后再次分发给各客户端进行训练，这样就确保数据在不出本地的前提下，各参与方之间协同训练模型，突破了数据隐私保护的制约，同时联邦学习是分布式计算框架，可以在有限算力的边缘设备上进行分布式计算
。
比如
Google Gboard
，在多部安装虚拟键盘
Gboard
的手机上部署联邦学习模型，通过分布式联邦学习框架来训练模型，实现了在不传递用户数据的前提下协同优化整体模型，进一步提升用户体验
。
通过引入联邦学习，可以有效的解决数据“孤岛”问题，同时联邦学习在分布式训练过程中达到收敛所需要的时间相比深度学习集中式所花费的更短，联邦训练中每一轮参与的训练客户端随机选取，训练数据均有所不同，比较深度学习集中式训练可以进一步学习到数据的全局分布特性，模型的泛化能力较好
。
因此，在分布式联邦学习框架下研究小尺度目标检测具有重大意义
。

技术实现思路

[0005]本专利技术的目的在于，提出一种基于联邦学习的分布式小尺度肺结节检测方法，这种方法不仅可以更准确地检测到小尺度病灶，还提供了更多关于病变特征的信息，为医生提供更全面
、
准确的诊断依据
。
[0006]为实现上述目的，本申请提出的一种基于联邦学习的分布式小尺度肺结节检测方法，包括：
[0007]获取病人真实肺部
CT
图像并进行预处理；
[0008]将预处理后的
CT
图像输入至肺结节小尺度病灶检测模型进行训练，训练时通过多
个本地客户端的模型平均训练时间；
[0009]采用
AdaGrad
优化器，在离散的本地客户端下利用稀疏梯度的信息，实现肺结节小尺度病灶检测模型收敛；
[0010]将收敛得到的结果输入至
CBAM
模块，得到含有空间与通道注意力特征的特征图；
[0011]将含有空间与通道注意力特征的特征图输入至
FPN
多尺度预测网络中获得多尺度特征图，根据多尺度特征图得到新的特征金字塔；
[0012]将新的特征金字塔输入到
RPN
网络中，
RPN
网络生成候选框，再分别送入
RoIPooling
层，得到四个相同大小的特征向量，最后将特征向量融合成指定维度上的新特征向量，并将其置于全连接层中完成识别任务
。
[0013]进一步地，训练时通过多个本地客户端的模型平均训练时间，具体为：
[0014][0015]其中，
Tavg
为前
s
轮模型训练时间的平均值
。
[0016]进一步地，
AdaGrad
优化器实现方式为：
[0017][0018][0019]式中
J
为损失函数；
g
t,i
表示
t
时刻的
θ
i
梯度；
G
t,ii
表示
t
时刻参数
θ
i
的梯度平方和
。
[0020]进一步地，
CBAM
模块包括通道注意力模块和空间注意力模块；所述通道注意力模块对输入特征图
F(H
×
W
×
C)
分别做基于
width
和
height
的全局最大池化
、
全局平均池化，得到不同空间语义描述算子，然后分别进入共享两层神经网络
(MLP)
，其激活函数为
Relu
函数；然后，将共享两层神经网络输出特征图加和，再经
sigmoid
激活，产生
channel attention feature
，即
Mc(F)
，最后将
Mc(F)
与输入特征图
F
做乘法操作，得到含通道注意力的特征图
F
’
，公式如下：
[0021][0022]注：式中
σ
为
sigmoid
函数，
[0023][0024]空间注意力模块以输出特征图
F
’
作为输入，同时沿着通道维度进行全局最大池化
、
全局平均池化操作，分别得到两个
H
×
W
×1的特征图，然后基于通道进行
concat
操作
(
通道拼接
)
，再用一个7×7卷积核进行卷积操作，降维为一个通道
H
×
W
×1之后经过
sigmoid
产生空间注意特征，即
Ms(F)
，最后将
Ms(F)
与该模块输入特征图
F
’
相乘，得到含有通道注意力和空间注意力的特征图
F”，公式如下：
[0025][0026]注：式中
σ
表示
sigmoid
函数，
f7×7本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于联邦学习的分布式小尺度肺结节检测方法，其特征在于，包括：获取病人真实肺部
CT
图像并进行预处理；将预处理后的
CT
图像输入至肺结节小尺度病灶检测模型进行训练，训练时通过多个本地客户端的模型平均训练时间；采用
AdaGrad
优化器，在离散的本地客户端下利用稀疏梯度的信息，实现肺结节小尺度病灶检测模型收敛；将收敛得到的结果输入至
CBAM
模块，得到含有空间与通道注意力特征的特征图；将含有空间与通道注意力特征的特征图输入至
FPN
多尺度预测网络中获得多尺度特征图，根据多尺度特征图得到新的特征金字塔；将新的特征金字塔输入到
RPN
网络中，
RPN
网络生成候选框，再分别送入
RoI Pooling
层，得到四个相同大小的特征向量，最后将特征向量融合成指定维度上的新特征向量，并将其置于全连接层中完成识别任务
。2.
根据权利要求1所述一种基于联邦学习的分布式小尺度肺结节检测方法，其特征在于，训练时通过多个本地客户端的模型平均训练时间，具体为：其中，
Tavg
为前
s
轮模型训练时间的平均值
。3.
根据权利要求1所述一种基于联邦学习的分布式小尺度肺结节检测方法，其特征在于，
AdaGrad
优化器实现方式为：优化器实现方式为：式中
J
为损失函数；
g
t,i
表示
t
时刻的
θ
i
梯度；
G
t,ii
表示
t
时刻参数
θ
i
的梯度平方和
。4.
根据权利要求1所述一种基于联邦学习的分布式小尺度肺结节检测方法，其特征在于，
CBAM
模块包括通道注意力模块和空间注意力模块；所述通道注意力模块对输入特征图
F
分别做基于
width
和
height
的全局最大池化
、
全局平均池化，得到不同空间语义描述算子，然后分别进入共享两层神经网络，其激活函数为
Relu
函数；然后，将共享两层神经...

【专利技术属性】
技术研发人员：季长清，曹思雨，汪祖民，程保罗，秦静，
申请(专利权)人：大连大学，
类型：发明
国别省市：