基于UNet++和ResNet的血液白细胞图像分割方法技术

本发明专利技术涉及一种基于UNet++和ResNet的血液白细胞图像分割方法。该方法首先利用带卷积块和残差块的编码器提取多尺度图像浅层特征；然后利用带卷积和反卷积的解码器来提取图像的深层特征，使用混合的跳跃连接来融合浅层特征和深层特征，以减少它们之间的语义鸿沟；最后，设计了基于交叉熵和Tversky指数的损失函数，通过计算每层的损失函数值，指导模型学习有效的图像特征，并解决传统分割损失函数因样本类别不平衡而带来的训练低效的问题。

【技术实现步骤摘要】
基于UNet++和ResNet的血液白细胞图像分割方法
本专利技术属于图像处理
，具体涉及一种基于UNet++和ResNet的血液白细胞图像分割方法。
技术介绍
血液中白细胞WBC(WhiteBloodCell，旧称白血球Leukocyte)的总数、各类型白细胞的比例、形态等信息是诊断白血病等人体血液疾病的重要指标。医院血常规检查中一项重要的内容便是对白细胞进行分类计数与异常形态分析。目前，国内医院通常先用基于电阻抗法(物理方法)加流式分析法(物理-化学方法)的血细胞分析仪进行血细胞分类计数。当血细胞计数结果异常或者主诊医生怀疑患者有血液疾病时，再由检验科医生对血液进行推片、染色、镜检，对白细胞进行分类计数的确认与异常形态分析。人工镜检的准确率依赖于医生的专业技能，存在检测主观性强、个体差异性大、耗时费力的问题，还容易因为医生的视力疲劳影响检测精度。因此，有必要用摄像头代替人眼，用计算机代替人脑，实现白细胞分割与分类，辅助医生进行镜检。近年来，深度学习、图像处理、模式识别等技术的飞速发展为此提供了可能。白细胞图像可以通过数字成像设备对血涂片进行拍摄而获得。未染色的白细胞与背景之间颜色相近，对比度低，辨识起来困难。为此，制备血涂片时通常要用染色剂进行染色，以增强白细胞与背景之间的对比度，提高辨识度。标准的血涂片制备方式常用瑞氏染色法、姬姆萨染色法对细胞进行着色，着色效果好而稳定；但着色通常需要十分钟以上，着色速度慢，不能满足大范围临床应用的需要。华中科技大学刘建国和汪国有教授的研究团队提出一种血涂片快速制备方法，将细胞着色时间缩短为十秒左右，着色速度快；但着色效果不够稳定，容易产生深色杂质和被污染背景，会溶解掉对部分血液疾病有诊断作用的红细胞。白细胞分割的挑战在于：(1)染色制备过程、个体差异、疾病差异、类别差异可能使得白细胞颜色、形态存在较大差异；(2)细胞质与背景之间对比度低、细胞粘连与染色杂质干扰；(3)白细胞图像质量欠佳。白细胞分割旨在从染色后的人体外周血细胞图像中提取出单个白细胞所在区域，并进而分割出细胞核与细胞质。近年来，国内外学者对白细胞分割问题进行了一系列研究。根据现有白细胞分割方法采用的技术，我们将其归类为有监督的白细胞分割和无监督的白细胞分割。无监督的白细胞分割方法直接根据白细胞的颜色、亮度等特征实现分割。最常用的白细胞分割技术是阈值分割，其它依次为形态学变换、模糊理论、聚类、形变模型、分水岭分割、区域合并、视觉注意模型、边缘检测。有监督的白细胞分割把图像分割问题看待成图像分类问题，先提取训练样本的颜色、纹理等特征，然后利用训练样本特征对分类器进行训练，最后利用训练好的分类器对测试样本图像中的像素点进行分类，识别出白细胞所在区域。最常用的有监督白细胞分割技术是支持向量机，其它依次为神经网络、最近邻分类器、极限学习机、随机森林。近年来，随着深度学习技术在计算机视觉和医学图像分析领域的成功应用，其受到的关注越来越多。比如，MaskR-CNN在FasterR-CNN基础上把用于预测的分支并行地添加到用于识别边界框的原始分支，以同时实现目标检测和图像分割，但其在小规模图像数据集上难以获得令人满意的结果。全卷积网络(FCN)在图像分割方面获得了良好的性能，其删除了传统卷积神经网络的全连接层，并使用上采样操作来实现端到端(即像素到像素)的分割。但是，FCN的分割性能受到其结构简单的限制。U-Net是对FCN进行改进的具有编码-解码结构的深度神经网络，其中，编码器可实现特征提取，解码器可以恢复具有原始图像分辨率大小的特征图。U-Net适用于小规模图像数据集，其使用跳跃连接将编码器的浅层特征与解码器的深层特征结合起来，以恢复图像的细节。但是这些跳跃连接会融合语义不相似的特征，容易产生语义鸿沟。
技术实现思路
本专利技术的目的在于改善血液白细胞图像分割中白细胞分割精度问题，提供一种基于UNet++和ResNet的血液白细胞图像分割方法，不仅能够显著提高分割精度，而且针对不同采集环境和制备技术下的白细胞图像拥有良好的鲁棒性。为实现上述目的，本专利技术的技术方案是：一种基于UNet++和ResNet的血液白细胞图像分割方法，包括：特征编码阶段：采用带有卷积块和残差块的上下文感知特征编码器来提取多尺度特征图，即图像浅层特征；特征解码阶段：采用带卷积和反卷积的特征解码器来调整多尺度特征图的大小，即图像深层特征，以实现端到端的白细胞分割。在本专利技术一实施例中，所述特征解码阶段还通过采用经过稠密卷积块的混合跳跃连接的特征融合结构，来融合图像浅层特征和图像深层特征，减少图像浅层特征和图像深层特征之间的语义鸿沟。在本专利技术一实施例中，所述特征编码阶段通过将ResNet34嵌入到特征编码器的多个子网络中，使得卷积块与残差块组合在一起，其中，每个残差块包含两个3×3卷积块。在本专利技术一实施例中，所述特征解码阶段采用带卷积和反卷积组成的特征解码器来重构白细胞的分割掩码，通过像素级的分类实现白细胞的分割。在本专利技术一实施例中，该方法采用基于交叉熵和Tversky指数的混合损失函数来指导网络训练；所述混合损失函数由度量像素类别预测准确性的损失函数LBCE、解决样本不均衡的损失函数LTversky之和组成，具体定义为：L＝LBCE+LTverskyLBCE采用两类交叉熵损失函数，其定义为：其中，N代表一幅图像的像素点总数，c代表目标类别即白细胞区域类别，pic表示像素i被预测为目标类别c的概率值；gic表示手动理想分割结果中像素i属于目标类别c的标签值，即gic＝1和gic＝0分别表示像素点i属于目标和背景；LTversky的定义为：LTversky＝∑c(1-Tc)其中，pic和gic分别表示像素点i属于目标类别c的预测值和真实标签值，和分别表示像素点i属于背景类别的预测值和真实标签值；α和β是两个参数，用于平衡假阳性率和假阴性率；∈是为提供数值稳定性而设置的一个极小常数，以防止被零除；在计算混合损失函数的时候，将所有子网络输出的混合损失函数值平均后作为整个网络的最终输出。相较于现有技术，本专利技术具有以下有益效果：本专利技术采用带有残差块的上下文感知编码器来提取图像多尺度特征，并在稠密卷积块上执行跳跃连接来获得和融合多尺度图像特征。此外，其定义了基于交叉熵和Tversky指数的损失函数以指导网络训练。实验结果表明，本专利技术方法不仅能够显著提高分割精度，而且针对不同采集环境和制备技术下的白细胞图像拥有良好的鲁棒性。附图说明图1为本专利技术方法流程图。图2为本专利技术网络模型架构。图3为混合跳跃连接。图4为深度监督结构。图5为四种算法在四个数据集上最佳和最差的两个分割结果，其中，5(a)-5(d)分别是数据集Dataset1-4的结果，1-4行分别对应算法FCN、U-Net、U-ResNet34以及本专利技术算法(WBC-Net)的分割结果；1-2列为两个最佳分割结果，3-4列为两个最差本文档来自技高网...

【技术保护点】
1.一种基于UNet++和ResNet的血液白细胞图像分割方法，其特征在于，包括：/n特征编码阶段：采用带有卷积块和残差块的上下文感知特征编码器来提取多尺度特征图，即图像浅层特征；/n特征解码阶段：采用带卷积和反卷积的特征解码器来调整多尺度特征图的大小，即图像深层特征，以实现端到端的白细胞分割。/n

【技术特征摘要】
1.一种基于UNet++和ResNet的血液白细胞图像分割方法，其特征在于，包括：
特征编码阶段：采用带有卷积块和残差块的上下文感知特征编码器来提取多尺度特征图，即图像浅层特征；
特征解码阶段：采用带卷积和反卷积的特征解码器来调整多尺度特征图的大小，即图像深层特征，以实现端到端的白细胞分割。


2.根据权利要求1所述的一种基于UNet++和ResNet的血液白细胞图像分割方法，其特征在于，所述特征解码阶段还通过采用经过稠密卷积块的混合跳跃连接的特征融合结构，来融合图像浅层特征和图像深层特征，减少图像浅层特征和图像深层特征之间的语义鸿沟。


3.根据权利要求1所述的一种基于UNet++和ResNet的血液白细胞图像分割方法，其特征在于，所述特征编码阶段通过将ResNet34嵌入到特征编码器的多个子网络中，使得卷积块与残差块组合在一起，其中，每个残差块包含两个3×3卷积块。


4.根据权利要求1所述的一种基于UNet++和ResNet的血液白细胞图像分割方法，其特征在于，所述特征解码阶段采用带卷积和反卷积组成的特征解码器来重构白细胞的分割掩码，通过像素级的分类实现白细胞的分割。

【专利技术属性】
技术研发人员：李佐勇，卢妍，邵振华，钟智雄，樊好义，
申请(专利权)人：闽江学院，
类型：发明
国别省市：福建;35