基于注意力残差网络的血液白细胞分类方法技术

本发明专利技术涉及一种基于注意力残差网络的血液白细胞分类方法。设计由多个注意力残差块、一个自适应平均池化层和一个全连接层组成的分类网络ARNet对白细胞进行分类，每个注意力残差块中引入通道注意力机制，利用高层学到的白细胞特征图生成低层的注意力图，每个注意力残差块还引入深度可分离卷积来提取白细胞的特征并降低训练成本。此外，采用Wasserstein生成对抗网络创建合成对抗网络，生成图像，以增强训练数据集，提升网络性能。在两个公开图像数据集上的实验结果表明，本发明专利技术方法提高了白细胞分类的精度。细胞分类的精度。细胞分类的精度。

【技术实现步骤摘要】
classification based on regional convolutional neural networks.Medical hypotheses,135:109472(2020).
[0010][5]Goodfellow I,Pouget
‑
Abadie J,Mirza M,et al.Generative adversarial nets[J].Advances in neural informationprocessing systems,27(2014).
[0011][6]L Ma,R Shuai,X Ran,et al.Combining DC
‑
GAN with ResNet for blood cell image classification[C].Medical&biological engineering&computing,58(6):1251
‑
1264(2020).。

技术实现思路

[0012]本专利技术的目的在于提供一种基于注意力残差网络的血液白细胞分类方法，能够提高白细胞分类的精度。
[0013]为实现上述目的，本专利技术的技术方案是：一种基于注意力残差网络的血液白细胞分类方法，设计由多个注意力残差块、一个自适应平均池化层和一个全连接层组成的分类网络ARNet对白细胞进行分类，每个注意力残差块中引入通道注意力机制，利用高层学到的白细胞特征图生成低层的注意力图，每个注意力残差块还引入深度可分离卷积来提取白细胞的特征并降低训练成本。
[0014]在本专利技术一实施例中，还使用WGAN对白细胞图像进行增广，针对白细胞的形态信息，生成器使用5个上采样和卷积层，其内核大小分别为6，4，4，4，4；在判别器中，使用5个卷积层，卷积核大小为3
×
3，步长为1，padding为1；判别器和生成器的损失函数分别为：
[0015][0016][0017]其中，和表示真实数据和生成数据的概率，生成器和鉴别器之间相互对抗以生成高质量的白细胞图像。
[0018]在本专利技术一实施例中，每个注意力残差块包括一个1
×
1卷积、一个深度可分离卷积和一个通道注意力块；深度可分离卷积由3
×
3的深度卷积和1
×
1的逐点卷积组成；通道注意力块由一个自适应平均池化层、两个全连接层和一个sigmoid激活函数组成。
[0019]在本专利技术一实施例中，为使分类网络ARNet在白细胞数据有限的情况下也能获得更好的泛化能力，在训练中使用标签平滑交叉熵损失函数：
[0020]y
′
c
＝(1
‑
σ)y
c
+σu(c),
[0021][0022]其中，c表示第c个类别，y
c
表示第c个标签的真实值；σ为平滑因子，u(c)是均匀分布，y
′
c
是第c个标签平滑后的样本标签，表示预测类别的概率。
[0023]相较于现有技术，本专利技术具有以下有益效果：本专利技术将深度学习技术引入白细胞图像分类领域，提出一个基于注意力残差网络的白细胞分类方法。本专利技术方法在每个残差块中引入通道注意力机制，利用高层学到的白细胞的特征图生成低层的注意力图。每个注意力残差块还引入了深度可分离卷积来提取白细胞的特征并降低训练成本。此外，采用
Wasserstein生成对抗网络创建合成对抗网络，生成图像，以增强训练数据集，提升网络性能。在两个公开图像数据集上的实验结果表明，本专利技术方法提高了白细胞分类的精度。
附图说明
[0024]图1为本专利技术方法的流程图。
[0025]图2为本专利技术网络模型框架。
[0026]图3为本专利技术残差网络与ARBlock结构。
[0027]图4为本专利技术WGAN的网络参数。
[0028]图5为WGAN的训练过程(以Neutnophils为例)。
[0029]图6为原始图像(ORI)与生成图像(WGAN)之间的比较和各类细胞的FID值。(A)嗜碱性粒细胞(B)嗜酸性粒细胞(C)淋巴细胞(D)单核细胞(E)中性粒细胞。
[0030]图7为WGAN训练过程的损失结果(左边是生成器损失，右边是判别器损失)。
具体实施方式
[0031]下面结合附图，对本专利技术的技术方案进行具体说明。
[0032]如图1所示，本专利技术一种基于注意力残差网络的血液白细胞分类方法，设计由多个注意力残差块、一个自适应平均池化层和一个全连接层组成的分类网络ARNet对白细胞进行分类，每个注意力残差块中引入通道注意力机制，利用高层学到的白细胞特征图生成低层的注意力图，每个注意力残差块还引入深度可分离卷积来提取白细胞的特征并降低训练成本。此外，采用Wasserstein生成对抗网络创建合成对抗网络，生成图像，以增强训练数据集，提升网络性能。
[0033]以下为本专利技术具体实现过程。
[0034]在GAN和ResNet的启发下，本专利技术提出一种新的基于注意力残差网络的白细胞分类方法，模型框架如图2所示，其由多个注意力残差块、一个自适应平均池化层和一个全连接层组成。每个注意力残差块包含一个1
×
1卷积、一个深度可分离卷积和一个通道注意力块。训练数据包含原始图像和通过WGAN数据增强生成的图像。详细说明将在以下部分中进行。
[0035]1、注意力残差块
[0036]一般来说，当网络深度增加时，模型会获得更丰富的特征信息以获得更好的分类性能，但是网络深度的增加也可能导致梯度消失和网络性能下降的问题。如图3(a)所示，ResNet创新性地设计了残差学习单元来克服网络深度增加带来的退化问题。残差块可以表示为：
[0037]x
i+1
＝F(x
i
,W
i
)+I(x
i
),
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0038]其中x
i
为第i层的输入，x
i+1
为第i+1层的输出，W
i
为第i层的权重，F(
·
)为非线性变换，I(
·
)为特征映射。
[0039]为了缓解梯度消失和网络性能下降的问题并捕获更多语义信息，注意力残差块(ARBlock)在图3(b)中引入了深度可分离卷积和通道注意力块。深度可分离卷积由3
×
3的深度卷积和1
×
1的逐点卷积组成。通道注意力块由一个自适应平均池化、两个全连接层和一个sigmoid激活函数组成，可以增强白细胞图像的重要特征并减少细节信息的丢失。本发
明提出的网络包含一个卷积块和四个残差块，四个残差块的堆叠次数分别为2、3、4和2。在残差块中使用SELU激活函数可以防止梯度爆炸。
[0040]2、标签平滑交叉熵损失函数
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力残差网络的血液白细胞分类方法，其特征在于，设计由多个注意力残差块、一个自适应平均池化层和一个全连接层组成的分类网络ARNet对白细胞进行分类，每个注意力残差块中引入通道注意力机制，利用高层学到的白细胞特征图生成低层的注意力图，每个注意力残差块还引入深度可分离卷积来提取白细胞的特征并降低训练成本。2.根据权利要求1所述的一种基于注意力残差网络的血液白细胞分类方法，其特征在于，还使用WGAN对白细胞图像进行增广，针对白细胞的形态信息，生成器使用5个上采样和卷积层，其内核大小分别为6，4，4，4，4；在判别器中，使用5个卷积层，卷积核大小为3
×
3，步长为1，padding为1；判别器和生成器的损失函数分别为：长为1，padding为1；判别器和生成器的损失函数分别为：其中，和表示真实数据和生成数据的概率，生成器和鉴别器之间相互对抗以生成高质量的白细胞图像。3.根据权利要求1所述的一种基于注意力残差网络的血液白细胞...

【专利技术属性】
技术研发人员：李佐勇，滕升华，赵萌，曹新容，
申请(专利权)人：闽江学院，
类型：发明
国别省市：