基于多特征和多分类器的骨髓细胞分类识别方法及系统技术方案

本发明专利技术公开了一种基于多特征和多分类器的骨髓细胞分类识别方法及系统，基于3个迁移学习分类器对骨髓细胞进行训练测试；分别提取骨髓细胞图像数据集的纹理特征LBP，形状特征HOG和颜色特征HSV并进行融合得到特征融合图像，利用Keras模型融合算法对3个迁移分类器进行融合，得到融合分类器，并利用在单个分类器中取得最好测试准确率的特征融合图像对融合分类器进行训练，得到测试准确率最好的多特征多分类器融合模型；对骨髓细胞图像中的骨髓细胞进行定位分割，得到模型应用数据集；并利用测试效果最好的多特征多分类器融合模型对该数据集进行测试，得到最终的模型应用效果。本发明专利技术结合不同特征和不同分类器的优势，提高了骨髓细胞的测试分类准确率。

Bone marrow cell classification and recognition method and system based on multi feature and multi classifier

【技术实现步骤摘要】
基于多特征和多分类器的骨髓细胞分类识别方法及系统
本专利技术属于图像处理
，具体涉及一种基于多特征和多分类器的骨髓细胞分类识别方法及系统。
技术介绍
计算机辅助技术相比于人工识别来说，具有许多天然的优势。第一，它的识别速度快，效率高。一般而言，具有丰富经验的检验人员很少，而骨髓细胞图像却很多，人工识别的话必然导致效率极其低下。而好的算法和机器能够一分钟扫描识别出几十甚至上百张图像，大大提高了效率。第二，识别准确率高。有些检验人员的经验并不丰富，在识别过程中很可能会出现错误，这样对于诊断疾病不利。而计算机辅助识别系统只要设计好模型算法，那么就能达到一个不错的识别准确率。第三，细胞分割出色。人工往往在观察细胞时，由于细胞之间相互粘连，有时很难将它们分开，大大降低了识别的效率。而计算机辅助识别系统能够将细胞之间分割开，这样就能够方便地对单独细胞进行识别。多种特征以及多种分类器融合模型的构建能够更加全面和有效地识别骨髓细胞，进而能够有效地计算出细胞比例和数量，具有很高的应用实践价值。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于多特征和多分类器的骨髓细胞分类识别方法及系统，利用纹理特征，形状特征和颜色特征等多种融合特征，同时结合多种分类器融合模型来提高测试分类准确率，解决骨髓细胞的分类识别问题。本专利技术采用以下技术方案：基于多特征和多分类器的骨髓细胞分类识别方法，包括以下步骤：S1、根据骨髓细胞原始图像建立原始图像数据集；对原始图像数据集进行定位、分割和数据增强处理，得到骨髓细胞图像数据集；S2、构建VGG16，DenseNet121和ResNet50迁移分类器，并用步骤S1中的骨髓细胞图像数据集进行训练和测试，得到三种迁移分类器的测试准确率；S3、从步骤S1得到的骨髓细胞图像数据集中的图像提取纹理特征LBP，形状特征HOG和颜色特征HSV；利用加权图像融合算法对提取的纹理特征LBP，形状特征HOG和颜色特征HSV特征图像进行融合得到特征融合图像，构建特征融合图像数据集，利用步骤S2构建的VGG16，DenseNet121和ResNet50迁移分类器对特征融合图像数据集进行训练并测试，得到每个迁移分类器中测试准确率最高的特征融合图像；S4、利用Keras模型融合算法对步骤S2构建的VGG16，DenseNet121和ResNet50迁移分类器进行融合得到4个融合分类器，利用4个融合分类器对步骤S3得到的测试准确率最高的特征融合图像进行训练和测试，确定测试准确率最高的多特征多分类器融合模型；利用准确率最高的多特征多分类器融合模型对细胞图像进行分类识别。具体的，步骤S1具体为：S101、获取骨髓细胞数据集BCI和ASDML，建立骨髓细胞数据集；S102、从ASDML数据集和BCI数据集中选择嗜酸性粒细胞，淋巴细胞，单核细胞，原始粒细胞和嗜中性粒细胞作为原始骨髓细胞数据集；S103、骨髓细胞定位和分割；S104、对步骤S103分割后的骨髓细胞图像进行中值滤波处理；S105、对步骤S104滤波后的骨髓细胞图像进行去雾处理；S106、采用图像翻转，图像旋转和图像平移操作对步骤S105去雾处理后的骨髓细胞图像进行扩增，构建骨髓细胞图像数据集。具体的，步骤S103具体为：S1031、利用LabelImg标注软件步骤S102中50％的对骨髓细胞进行标注，得到标注文件XML；S1032、利用YOLOv3目标检测网络对步骤S1031得到的标注文件XML进行训练，得到YOLOv3训练模型；S1033、利用步骤S1032得到的YOLOv3训练模型对步骤S102中所有的骨髓细胞图像数据集进行目标检测和定位，得到目标定位的候选框及四个像素点如下：左上角像素点(x1,y1)，右上角像素点(x2,y1)，左下角像素点(x1,y2)，右下角像素点(x2,y2)；S1034、对步骤S1033得到的四个像素点进行计算x1-x2|*|y1-y2|并划分出候选框之间的区域，最终将细胞从整个图像中分割出来，得到分割骨髓细胞图像。具体的，步骤S2具体为：S201、构建VGG16，DenseNet121，ResNet50迁移分类器，并采用冻结和训练策略，分别冻结VGG16，DenseNet121，ResNet50迁移分类器网络的前面层数，并将公开自然图像数据集ImageNet训练的VGG16，DenseNet121，ResNet50迁移分类器网络参数和权重迁移到三个迁移分类器网络中，最后训练新设置的网络层数，得到训练好的三个单分类器模型；S202、利用步骤S201训练好的三个单分类器模型对步骤S1中骨髓细胞图像数据集中的测试集进行测试，采用准确率，精确率，召回率和F1分数分类指标对三个单分类器模型的测试结果进行评价。进一步的，步骤S201建立的三个迁移分类器中，优化器为SGD，激活函数为Softmax，学习率为0.001，迭代次数为100，输入尺寸为64*64，批尺寸为128，预训练权重为ImageNet，损失函数为交叉熵分类损失函数categorical_crossentropylossfunction。具体的，步骤S3具体为：S301、对步骤S1骨髓细胞图像数据集中的图像进行局部二值模式特征提取，采用LBP等价模型的特征提取方法，得到骨髓细胞的LBP特征图像；S302、对步骤S1骨髓细胞图像数据集中的图像进行方向梯度直方图特征提取，采用cell为1*1，block为2*2的特征提取方法，得到骨髓细胞的HOG特征图像；S303、对步骤S1骨髓细胞图像数据集中的图像进行色调-饱和度-明度(HSV)特征提取，得到骨髓细胞的HSV特征图像；S304、对步骤S301，步骤S302和步骤S303得到的骨髓细胞的LBP特征图像，骨髓细胞的HOG特征图像和骨髓细胞的HSV特征图像进行特征融合，采用加权图像融合算法对图像进行融合，得到8类特征融合图像；S305、利用步骤S304得到的8类特征融合图像对步骤S2中构建的三个迁移分类器进行训练，并对步骤S1构建的骨髓细胞图像数据集中的测试集进行测试，得到测试准确率结果，选择测试准确率最高的特征融合图像作为基准特征融合图像。进一步的，步骤S304中，融合后的特征融合图像I(x)具体为：I(x)＝ω1I1(x)+ω2I2(x)其中，I1(x)和I2(x)表示需要融合的图像，ω1和ω2表示融合图像的权重。具体的，步骤S4具体为：S401、利用Keras模型融合算法对VGG16，DenseNet121和ResNet50迁移分类器进行融合，加载分类模型1的训练权重，并加载分类模型2的训练权重，最后将模型1和模型2的网络进行融合，并加上新构建的全连接层和输出层，完成4个分类器融合；S402、利用步骤S3得到的基准特征融合图像对步骤S401融合后的4个融合本文档来自技高网...

【技术保护点】
1.基于多特征和多分类器的骨髓细胞分类识别方法，其特征在于，包括以下步骤：/nS1、根据骨髓细胞原始图像建立原始图像数据集；对原始图像数据集进行定位、分割和数据增强处理，得到骨髓细胞图像数据集；/nS2、构建VGG16，DenseNet121和ResNet50迁移分类器，并用步骤S1中的骨髓细胞图像数据集进行训练和测试，得到三种迁移分类器的测试准确率；/nS3、从步骤S1得到的骨髓细胞图像数据集中的图像提取纹理特征LBP，形状特征HOG和颜色特征HSV；利用加权图像融合算法对提取的纹理特征LBP，形状特征HOG和颜色特征HSV特征图像进行融合得到特征融合图像，构建特征融合图像数据集，利用步骤S2构建的VGG16，DenseNet121和ResNet50迁移分类器对特征融合图像数据集进行训练并测试，得到每个迁移分类器中测试准确率最高的特征融合图像；/nS4、利用Keras模型融合算法对步骤S2构建的VGG16，DenseNet121和ResNet50迁移分类器进行融合得到4个融合分类器，利用4个融合分类器对步骤S3得到的测试准确率最高的特征融合图像进行训练和测试，确定测试准确率最高的多特征多分类器融合模型；利用准确率最高的多特征多分类器融合模型对细胞图像进行分类识别。/n...

【技术特征摘要】
1.基于多特征和多分类器的骨髓细胞分类识别方法，其特征在于，包括以下步骤：
S1、根据骨髓细胞原始图像建立原始图像数据集；对原始图像数据集进行定位、分割和数据增强处理，得到骨髓细胞图像数据集；
S2、构建VGG16，DenseNet121和ResNet50迁移分类器，并用步骤S1中的骨髓细胞图像数据集进行训练和测试，得到三种迁移分类器的测试准确率；
S3、从步骤S1得到的骨髓细胞图像数据集中的图像提取纹理特征LBP，形状特征HOG和颜色特征HSV；利用加权图像融合算法对提取的纹理特征LBP，形状特征HOG和颜色特征HSV特征图像进行融合得到特征融合图像，构建特征融合图像数据集，利用步骤S2构建的VGG16，DenseNet121和ResNet50迁移分类器对特征融合图像数据集进行训练并测试，得到每个迁移分类器中测试准确率最高的特征融合图像；
S4、利用Keras模型融合算法对步骤S2构建的VGG16，DenseNet121和ResNet50迁移分类器进行融合得到4个融合分类器，利用4个融合分类器对步骤S3得到的测试准确率最高的特征融合图像进行训练和测试，确定测试准确率最高的多特征多分类器融合模型；利用准确率最高的多特征多分类器融合模型对细胞图像进行分类识别。


2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：
S101、获取骨髓细胞数据集BCI和ASDML，建立骨髓细胞数据集；
S102、从ASDML数据集和BCI数据集中选择嗜酸性粒细胞，淋巴细胞，单核细胞，原始粒细胞和嗜中性粒细胞作为原始骨髓细胞数据集；
S103、骨髓细胞定位和分割；
S104、对步骤S103分割后的骨髓细胞图像进行中值滤波处理；
S105、对步骤S104滤波后的骨髓细胞图像进行去雾处理；
S106、采用图像翻转，图像旋转和图像平移操作对步骤S105去雾处理后的骨髓细胞图像进行扩增，构建骨髓细胞图像数据集。


3.根据权利要求1所述的方法，其特征在于，步骤S103具体为：
S1031、利用LabelImg标注软件步骤S102中50％的对骨髓细胞进行标注，得到标注文件XML；
S1032、利用YOLOv3目标检测网络对步骤S1031得到的标注文件XML进行训练，得到YOLOv3训练模型；
S1033、利用步骤S1032得到的YOLOv3训练模型对步骤S102中所有的骨髓细胞图像数据集进行目标检测和定位，得到目标定位的候选框及四个像素点如下：左上角像素点(x1,y1)，右上角像素点(x2,y1)，左下角像素点(x1,y2)，右下角像素点(x2,y2)；
S1034、对步骤S1033得到的四个像素点进行计算x1-x2|*|y1-y2|并划分出候选框之间的区域，最终将细胞从整个图像中分割出来，得到分割骨髓细胞图像。


4.根据权利要求1所述的方法，其特征在于，步骤S2具体为：
S201、构建VGG16，DenseNet121，ResNet50迁移分类器，并采用冻结和训练策略，分别冻结VGG16，DenseNet121，ResNet50迁移分类器网络的前面层数，并将公开自然图像数据集ImageNet训练的VGG16，DenseNet121，ResNet50迁移分类器网络参数和权重迁移到三个迁移分类器网络中，最后训练新设置的网络层数，得到训练好的三个单分类器模型；
S202、利用步骤S201训练好的三个单分类器模型对步骤S1中骨髓细胞图像数据集中的测试集进行测试，采用准确率，精确率，召回率和F1分数分类指标对三个单分类器模型的测试结果进行评价。


5.根据权利要求4所述的方法，其特征在于，步骤S201建立的三个迁移分类器中，优化器为SGD，激活函数为Softmax，学习率为0.001，迭代次数为100，...

【专利技术属性】
技术研发人员：祖建，葛飞，王雯娟，吴晓明，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61