一种基于卷积神经网络的血液细胞图像检测与计数方法技术

本发明专利技术涉及一种基于卷积神经网络的血液细胞图像检测与计数方法，属于医学图像处理领域，包括：将获取的血液细胞图像数据集分为训练集、验证集、测试集，采用Mosaic算法对血细胞图像数据集进行增强；将图像输入CSPDarkNet53网络得到多个特征图，传入Neck网络提取融合特征；使用改进的YOLOv4对象检测算法对血液细胞图像进行预测；对预测边框进行置信度得分排序，通过非极大值抑制算法得出最后显示的预测边框；然后通过使用细胞的预测标签来对血液细胞计数；采用KNN和DIOU对检测模型的预测结果进行再次验证，消除血小板重复检测的问题。本发明专利技术实现了对血细胞准确快速地检测与计数，具有重大的实际应用价值。

【技术实现步骤摘要】
一种基于卷积神经网络的血液细胞图像检测与计数方法
本专利技术属于医学图像处理领域，涉及一种基于卷积神经网络的血液细胞图像检测与计数方法。
技术介绍
血液细胞计数是检验科医生经常对患者进行健康状况评估的一项重要检查。血液细胞主要包含三种类型的细胞，分别为白细胞，红细胞和血小板。其中，血液中最常见的细胞是红细胞，占血液细胞总数的40％-45％；白细胞又称为白血球，仅占血液细胞总数的1％；血小板又称为血栓细胞，在血液中的数量占比也很大。红细胞主要的功能是为人体各组织输送氧气，因而红细胞数量会影响各组织接收的氧气的含量。血细胞是免疫细胞，对抗各种病理感染。血小板能帮助血液凝固。在人体血液中，这些血液细胞的数量是十分庞大，传统的人工血细胞计数是通过血细胞仪完成的，这种计数方式不仅非常耗时，而且误差也很大。在很多情况下，血细胞计数准确率很大程度上依赖于临床检验科医生的经验。因此，提出从血液涂片图像中自动计数不同血液细胞的方法可以大大提升整个计数过程的效率。随着科学技术的快速发展，深度学习在图像处理中应用越来越广泛，它能够显著地提升图像识别精度。因此，许多领域都开始引入基于深度学习的方法，特别是深度学习方法在医学图像处理中得到了广泛地应用，比如胸部X射线图像中异常检测和定位、心脏MRI中左心室的自动分割、视网膜眼底图像中糖尿病视网膜病变的检测以及心电信号图像中心率异常的检测。目前尚未有应用基于深度学习的方法对血液细胞图像中血液细胞的识别和计数的研究。
技术实现思路
有鉴于此，本专利技术的目的在于克服传统血细胞检测与计数方法不足，提供一种基于卷积神经网络的血液细胞图像检测与计数方法，通过基于改进YOLOv4的血液细胞检测与计数方法，提升对小目标区域检测的情况，获得较好的检测效果，提升血细胞计数准确率；在原有基础上融合Res2Net结构，提取更细粒度的特征，从而提升模型的识别准确度；采用KNN和DIOU消除血小板被重复检测的问题。为达到上述目的，本专利技术提供如下技术方案：一种基于卷积神经网络的血液细胞图像检测与计数方法，包括以下步骤：S1：将获取的血液细胞图像数据集分为训练集、验证集、测试集，同时采用Mosaic算法对血细胞图像数据集进行增强；S2：将输入图像输入CSPDarkNet53网络得到多个特征图，将所述特征图传入Neck网络；S3：通过Neck网络提取融合特征；S4：使用YOLOv4对象检测算法对血液细胞图像进行预测，同时采用适当的置信度阈值消除虚假预测；S5：取出步骤S4得到的每一类血液细胞置信度得分大于一定阈值的预测边框进行置信度得分排序，利用预测边框的位置和置信度得分进行非极大抑制，得出概率最大的预测边框，也就是最后显示的预测边框；将生成的矩形预测边框通过计算转换为圆形预测边框，即：将左上角和右下角的坐标转换为半径和圆心；然后通过使用细胞的标签来对血细计数；S6：采用K-最近邻(K-NearestNeighbor,KNN)算法和DIOU(DistanceIntersectionoverUnion)对检测模型的预测结果进行再次验证，消除血小板重复检测的问题。进一步，步骤S2中所述CSPDarkNet53网络包含72个卷积层、Mish激活函数以及降低过拟合的Dropblock模块。进一步，步骤S2中所述输入图像经过CSPDarkNet53网络后得到大小为76*76、38*38、19*19的特征图。进一步，步骤S2中所述CSPDarkNet53网络的卷积公式为：其中，Wi,j是n*n大小的卷积核位于i,j处的元素；Ii',j'是与卷积核元素对应位置的像素值；所述CSPDarkNet53网络的Mish激活函数为：f(x)Mish＝x*tanh(ln(1+ex))(2)。进一步，所述Neck网络包括空间金字塔池化模块(SpatialPyramidPooling,SPP)、特征金字塔网络(FeaturePyramidNetwork,FPN)以及金字塔注意力网络(PyramidAttentionNetwork,PAN)；在所述SPP模块中，使用K＝{1*1,5*5,9*9,13*13}的最大池化的方式，再将不同尺度的特征图进行堆叠操作；所述FPN层自顶向下传达强语义特征，所述PAN则自底向上传达强定位特征；所述Neck网络针对三种检测对象：白细胞、红细胞、血小板，输出的三个特征层的shape分别为(76,76,24)、(38,38,24)、(19,19,24)。进一步，步骤S4中，所述YOLOv4对象检测算法分别将整幅图分为19x19、38x38、76x76的网格，每个网络点负责一个区域的检测。进一步，步骤S5中，计算得出最后显示的预测边框坐标bx和by，以及宽高bw和bh，得到预测边框的位置，计算公式为：bx＝σ(tx)+cx(3)by＝σ(ty)+cy(4)σ(to)＝Pr(object)*IOU(b,object)(7)其中，(cx,cy)表示该点所在网格的左上角距离最左上角相差的格子数，(pw,ph)为先验框的宽和高，(tx,ty)基于矩形框中心点左上角格点坐标的偏移量，(tw,th)为预测边框的宽和高，to为置信度，σ(·)是激活函数，采用Sigmoid函数，概率在[0,1]之间，最终得到的预测边框坐标值是(bx,by,bw,bh)而网络学习目标是(tx,ty,tw,th)。进一步，步骤S6中，使用KNN查找最近的血小板，应用DIOU计算已检测的血小板和与它相邻最近的血小板之间的重叠区，如果重叠区大于10％，判为重复检测。本专利技术的有益效果在于：本专利技术为了解决待检测血细胞图像尺度变化较大的问题，降低漏检率，通过分析模型中间特征图的特点，提出了Res2Net融合策略，以提取更细粒度的特征，从而增强对各尺度血液细胞图像的检测能力。针对细胞位置预测问题，通过采用非极大抑制和改进血细胞位置回归算法，可以避免因误差过大而造成的震荡问题，同时可以加快目标函数在最优解附近快速收敛。为了解决深层网络造成的过拟合问题，本模型通过引入了Dropblock模块以及对网络的正则化过程进行全面的改进去避免过拟合。针对模型对血小板重复检测的问题，本专利技术通过采用KNN和DIOU对模型进一步改进，通过对测试图像进行实验对比，证明其有效性。本专利技术利用tensorflow框架搭建该识别模型，该模型由CSPDarkNet53网络，空间金字塔池化(SPP)，金字塔注意力网络(PANet)以及预测窗口与预测类别输出层组成。本专利技术在YOLO模型中融合了结构简单、性能优秀的Res2Net网络，进一步提升了网络在更细粒度级别的多尺度表示能力，因而可以显著提升网络的识别准确度。针对目标血细胞位置预测，本专利技术提出了对数抑制方法，改进了目标血液细胞位置回归算法。同时，对于检测模型同一血小板多次检测的问题，提出了基于K-最近邻算法(KNN)与DIOU的验证算本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的血液细胞图像检测与计数方法，其特征在于：包括以下步骤：/nS1：将获取的血液细胞图像数据集分为训练集、验证集、测试集，同时采用Mosaic算法对血细胞图像数据集进行增强；/nS2：将输入图像输入改进的CSPDarkNet53网络得到多个特征图，将所述特征图传入Neck网络；/nS3：通过Neck网络提取融合特征；/nS4：使用YOLOv4对象检测算法对血液细胞图像进行预测，同时采用适当的置信度阈值消除虚假预测；/nS5：取出步骤S4得到的每一类置信度得分大于一定阈值的预测边框进行置信度得分排序，利用预测边框的位置和置信度得分进行非极大抑制，得出概率最大的预测边框，也就是最后显示的预测边框；将生成的矩形预测边框通过计算转换为圆形预测边框，即：将左上角和右下角的坐标转换为半径和圆心；然后通过使用细胞的标签来对血液细胞计数；/nS6：采用K-最近邻算法和DIOU对检测模型的预测结果进行再次验证，消除血小板重复检测的问题。/n

【技术特征摘要】
1.一种基于卷积神经网络的血液细胞图像检测与计数方法，其特征在于：包括以下步骤：
S1：将获取的血液细胞图像数据集分为训练集、验证集、测试集，同时采用Mosaic算法对血细胞图像数据集进行增强；
S2：将输入图像输入改进的CSPDarkNet53网络得到多个特征图，将所述特征图传入Neck网络；
S3：通过Neck网络提取融合特征；
S4：使用YOLOv4对象检测算法对血液细胞图像进行预测，同时采用适当的置信度阈值消除虚假预测；
S5：取出步骤S4得到的每一类置信度得分大于一定阈值的预测边框进行置信度得分排序，利用预测边框的位置和置信度得分进行非极大抑制，得出概率最大的预测边框，也就是最后显示的预测边框；将生成的矩形预测边框通过计算转换为圆形预测边框，即：将左上角和右下角的坐标转换为半径和圆心；然后通过使用细胞的标签来对血液细胞计数；
S6：采用K-最近邻算法和DIOU对检测模型的预测结果进行再次验证，消除血小板重复检测的问题。


2.根据权利要求1所述的基于卷积神经网络的血液细胞图像检测与计数方法，其特征在于：步骤S2中所述CSPDarkNet53网络包含72个卷积层、Mish激活函数以及降低过拟合的Dropblock模块。


3.根据权利要求2所述的基于卷积神经网络的血液细胞图像检测与计数方法，其特征在于：步骤S2中所述输入图像经过CSPDarkNet53网络后得到大小为76*76、38*38、19*19的特征图。


4.根据权利要求2所述的基于卷积神经网络的血液细胞图像检测与计数方法，其特征在于：步骤S2中所述CSPDarkNet53网络的卷积公式为：



其中，Wi,j是n*n大小的卷积核位于i,j处的元素；Ii',j'是与卷积核元素对应位置的像素值；
所述CSPDarkNet53网络的Mish激活函数为：
f(x)Mish＝x*tanh(ln(1+ex))(2)。


5.根据权利要求1所述的基...

【专利技术属性】
技术研发人员：李国权，姚凯，林金朝，黄正文，庞宇，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50