基于注意力机制的白细胞细粒度分类方法技术

本发明专利技术公开了一种基于注意力机制的白细胞细粒度分类方法，本发明专利技术端到端的可训练的Transformer与卷积结合的模型，融合了Transformer的擅长捕捉长距离依赖关系，提取全局特征的优点和CNN在low

【技术实现步骤摘要】
基于注意力机制的白细胞细粒度分类方法


[0001]本专利技术属于医学影像识别和深度学习
，具体涉及一种基于Global
‑
Local注意力的白细胞细粒度分类方法。

技术介绍

[0002]急性白血病等重大危险疾病近年来在全球发病率越来越高，年轻化的趋势越来越明显。对这些重大疾病的诊断，依赖于血液化验，或者血液涂片显微影像的识别和分类，在此基础上进行计数，从而统计出各类白细胞的类别比例(white blood cell count,全血细胞计数)，从而对各种重大危险疾病做出诊断。现在在医院临床上，主要依赖于有经验的医师，人工地识别和计数。这样的话，耗时耗力且容易出错，因此会产生错误分类，会导致医生“误诊”或“漏诊”，从而威胁到病人的生命安全。
[0003]因此针对这种现象，学者们引入计算机视觉和机器学习技术，对血液图片的显微影像进行自动识别。传统的机器学习技术，例如边缘检测，阈值分割，支持向量机，灰度对比度，K
‑
Means分类等技术，但是受传统计算机视觉技术和机器学习技术的限制，其识别的准确率并不是很出色。
[0004]随着计算机算力的提升，深度学习迎来了极大的发展，在多个视觉领域都获得了成功应用。它们主要是利用卷积神经网络等深度神经网络来提取图像的局部特征，并且通过卷积，池化方法来逐步构建抽象特征图谱，从而通过全连接层进行物体识别的输出。其相比于传统的机器学习方法，极大的提升了分类的准确率。
[0005]但是，面向重大疾病如白血病辅助诊断的白细胞识别，面临如下问题：1)受不同医院，不同机器设备，不同成像环境的影响，生成的白细胞图像有着不同的色差，给机器自动识别造成困难。2)由于重大危险疾病医学领域的特点，很多医学数据集都存在长尾现象，罕见疾病类别的样本分布极少，常见疾病类别的样本分布特别多。因此类别分布极其不均衡。3)由于白细胞图像只存在白细胞图像，因此其特征十分单一，会对模型的图像识别造成困难。4)由于是白血病辅助诊断，因此需要进行骨髓涂片细胞学检测，即进行骨髓上的细胞抽取，白细胞可能某些细胞群，类别之间的差异没有特别明显，差异过小，例如红细胞中早幼红细胞，中幼红细胞与晚幼红细胞之间的差异过小。5)诊断白细胞，需要对高达40种类的白细胞，进行细粒度的精准识别。
[0006]基于现在的CNN卷积神经网络方法，并不能很好的解决上述问题。

技术实现思路

[0007]本专利技术针对现有的技术的不足，提出了一种基于Global
‑
Local注意力机制的白细胞分类方法。
[0008]本专利技术提出的基于Global
‑
Local注意力机制的白细胞分类方法，其是端到端的可训练的Transformer与卷积结合的模型，融合了Transformer的擅长捕捉长距离依赖关系，提取全局特征的优点和CNN在low
‑
level提取图像局部特征的优点，能够更好的构建白细胞
图像的特征图谱，丰富白细胞的特征信息，提高细胞图像的识别准确率。并且该模型具有一定的泛化性和稳定性，其使用SGD和AdamW俩个优化器均能得到最优解。
[0009]本专利技术方法具体包括以下三个步骤：数据集的收集，WBCLformer模型的搭建和训练，WBCLformer模型效果检验。
[0010]步骤1：获取白细胞图像作为基础数据集，并且分为训练集和测试集；
[0011]步骤2：WBCLformer模型的搭建和训练
[0012]WBCLformer模型的训练分为三个步骤：神经网络模型的搭建，预训练，在白细胞数据集训练。
[0013]步骤2.1：神经网络模型搭建
[0014]该神经网络由三个部分组成，分别为特征提取器，编码器，辨别区域筛选。
[0015]步骤2.1.1：特征提取器
[0016]由于白细胞图像的特征不丰富，这会导致模型难以提取到精确的白细胞图像信息。不同于先前的ViT及其改进模型中，将图像直接切割，不进行处理，这会导致切割后的token难以提取局部信息。因此该步骤先将图像数据转化为局部特征数据，采用卷积核为3*3的卷积操作获取图像的特征数据。
[0017]步骤2.1.2：编码器
[0018]在WBCLformer中有两种编码器，一种为Transformer中的编码器，另一种是通过改进的局部编码器。
[0019]步骤2.1.2.1：Transformer编码器
[0020]该编码器分成两个模块，一个为Multi
‑
head Self Attention layers，即MSA，另一个为Feed Forward Network，即FFN；
[0021]MSA：通过输入向量之间的彼此交互学习，通过计算不同对象的不同权重，从而找出更关注的区域信息。
[0022]FFN：获得加权的向量之后，需要将向量输入到FFN中进行进一步处理。
[0023]步骤2.1.2.2：局部编码器
[0024]局部编码器通过将自注意力机制中的全局注意力和CNN相结合，从而达到局部信息和全局信息之间的融合，能够提取到有效的白细胞特征信息。由于自注意力机制是通过学习不同patch之间的相关性，其更关注的是全局的特征信息，而对于白细胞图像来说，其局部性十分重要，因此并在编码器中加入卷积操作来实现局部信息的提取。
[0025]步骤2.1.3：辨别区域筛选
[0026]由于相似的图像之间存在的差别特别微小，因此为了能够使得网络能够聚焦于不同图像的差别之处，加入了辨别区域筛选模块，该模块作用是筛选具有相关性的token。
[0027]步骤2.2：白细胞数据集训练
[0028]由于WBCLformer在小数据集上会产生过拟合的现象，因此该步骤分为俩个过程，在ImageNet
‑
2012数据集的预训练和在白细胞数据集的训练；
[0029]步骤2.2.1：预训练
[0030]模型训练采用AdamW优化算法来调整参数，学习率为5e
‑
4，权重衰减为1e
‑
3，一阶指数衰减率为0.9，二阶指数衰减率为0.999，总共训练150
‑
250轮。
[0031]步骤2.2.2：白细胞数据集训练
[0032]将模型的最后一层进行替换，并且使用预训练的模型参数作为训练的初始值，随后进行模型的训练。
[0033]模型训练采用的是AdamW优化算法来调整参数，其训练参数与预训练相同。其学习率调整策略采用了warm
‑
up和余弦退火，目的是为了保证模型的训练稳定性。
[0034]步骤3：WBCLformer模型效果检验
[0035]为了能够定量的分析模型的泛化能力，需要将训练好的模型在测试集中进行测验，将预测的结果与实际值进行比较，并采用评价指标来进行分析。
[0036]作为优选，所述的获取白细本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力机制的白细胞细粒度分类方法，其特征在于，该方法具体包括以下步骤：数据集的收集，WBCLformer模型的搭建和训练，WBCLformer模型效果检验；步骤1：获取白细胞图像作为基础数据集，并且分为训练集和测试集；步骤2：WBCLformer模型的搭建和训练WBCLformer模型的训练分为三个步骤：神经网络模型的搭建，预训练，在白细胞数据集训练；步骤2.1：神经网络模型搭建该神经网络由三个部分组成，分别为特征提取器，编码器，辨别区域筛选；步骤2.1.1：特征提取器先将图像数据转化为局部特征数据，采用卷积核为3*3的卷积操作获取图像的特征数据；步骤2.1.2：编码器在WBCLformer中有两种编码器，一种为Transformer中的编码器，另一种是通过改进的局部编码器；步骤2.1.2.1：Transformer编码器该编码器分成两个模块，一个为Multi
‑
head Self Attention layers，即MSA，另一个为Feed Forward Network，即FFN；MSA：通过输入向量之间的彼此交互学习，通过计算不同对象的不同权重，从而找出更关注的区域信息；FFN：获得加权的向量之后，需要将向量输入到FFN中进行进一步处理；步骤2.1.2.2：局部编码器局部编码器通过将自注意力机制中的全局注意力和CNN相结合，从而达到局部信息和全局信息之间的融合，能够提取到有效的白细胞特征信息；由于自注意力机制是通过学习不同patch之间的相关性，其更关注的是全局的特征信息，并在编码器中加入卷积操作来实现局部信息的提取；步骤2.1.3：辨别区域筛选步骤2.2：白细胞数据集训练由于WBCLformer在小数据集上会产生过拟合的现象，因此该步骤分为俩个过程，在ImageNet
‑
2012数据集的预训练和在白细胞数据集的训练；；步骤2.2.1：预训练模型训练采用AdamW优化算法来调整参数，学习率为5e
‑
4，权重衰减为1e...

【专利技术属性】
技术研发人员：秦飞巍，陈奔，邵艳利，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：