骨髓细胞图像分割方法、计算机设备以及可读存储介质技术

本发明专利技术公开了一种基于对抗训练的半监督双分支骨髓细胞图像分割方法、计算机设备以及可读存储介质。该方法首先设计包含浅层和深层双分支架构的分割网络，其中，深层分支采用简化的Efficientnetv2网络来提取全局特征，浅层分支采用宽通道的卷积块来提取细节特征；将高分辨率的细节特征和低分辨率的全局特征进行多尺度融合，实现细节特征和全局特征的互补；其次判别网络对分割预测结果和真实标签进行有效区分，通过对抗训练使分割预测结果更接近真实标签，还利用判别网络进行半监督学习，推测出无标签图像分割预测结果中的可靠区域，将其作为伪标签监督分割网络。本发明专利技术减少了训练过程中对有标签图像的依赖，仅利用少量有标签图像实现对骨髓细胞的精确分割。图像实现对骨髓细胞的精确分割。图像实现对骨髓细胞的精确分割。

【技术实现步骤摘要】
骨髓细胞图像分割方法、计算机设备以及可读存储介质


[0001]本专利技术属于医学图像分析
，特别涉及一种基于对抗训练的半监督双分支骨髓细胞图像分割方法、计算机设备以及可读存储介质。

技术介绍

[0002]白血病是一种高发病率和死亡率的恶性肿瘤疾病。白血病起源于骨髓，由于骨髓中未成熟的白细胞发生异常增殖，会抑制骨髓的造血功能，从而引发白血病。白血病可以分为非急性白血病和急性白血病。其中，非急性白血病会随着时间的推移不断恶化，急性白血病恶化速度快、死亡率高，如果不及时治疗，癌细胞会迅速扩散到血液中和人体器官中，几周的时间就可以严重威胁患者的生命。因此及时发现并诊断治疗对恢复急性白血病患者的健康尤为重要。传统诊断方式由病理学专家观察骨髓涂片进行筛查，通常会耗时、耗力，容易造成人工错误。因此研究骨髓细胞的自动化分割是很有必要的，以促进一些相关疾病的诊断。
[0003]研究人员开发了一些用于骨髓细胞分割的计算机辅助方法。例如，传统的图像处理方法和基于机器学习的处理方法。其中，传统的图像处理方法包括基于阈值的分割方法、基于分水岭的分割方法、基于数字形态学的分割方法以及基于活动轮廓模型的分割方法等等，这些传统的图像处理方法是基于灰度、颜色或纹理的特征对骨髓细胞进行分割。而机器学习方法则包括K
‑
means聚类、支持向量机(SVM)和神经网络等方式，由于机器学习的方法，对初始参数的设置要求高，受噪声影响严重，容易造成细胞图像分割精度不高。此外，由于细胞粘连、染色杂质干扰、以及不同染色条件下的图像外观差异等原因，利用传统的图像处理方法以及基于机器学习的处理方法，通常难以实现对骨髓细胞图像的自动和精确分割。
[0004]深度学习技术在计算机视觉领域中得到了广泛应用，在医学图像分割方面也相继出现了一些基于深度学习的方法，典型的例如U型卷积神经网络U
‑
Net。深度神经网络模型可以将图像的低层特征和高层特征进行融合，在一定程度上提高了图像分割的性能。然而，训练全监督的神经网络模型需要大量经过标注、有标签的样本，这对于骨髓细胞图像分割通常是难以满足的。骨髓细胞图像数量有限，进行像素级标注更是费时费力，因此，难以获得足够的有标签的样本来训练分割模型，从而造成神经网络分割模型过拟合、泛化能力下降。

技术实现思路

[0005]本专利技术的目在于提出一种基于对抗训练的半监督双分支骨髓细胞图像分割方法，以减少训练过程中对有标签图像的依赖，仅利用少量有标签图像实现对骨髓细胞的精确分割。
[0006]本专利技术为了实现上述目的，采用如下技术方案：
[0007]基于对抗训练的半监督双分支骨髓细胞图像分割方法，包括如下步骤：
[0008]步骤1.收集骨髓细胞图像，将骨髓细胞图像划分为训练集、验证集和测试集；在训
练过程中，将训练集数据随机分为有标签图像和无标签图像两部分；
[0009]步骤2.搭建基于对抗训练的半监督双分支骨髓细胞图像分割模型；
[0010]其中，搭建的半监督双分支骨髓细胞图像分割模型包括分割网络以及判别器网络；
[0011]分割网络包括双分支结构、特征聚合模块以及第一上采样模块；
[0012]双分支结构包括一个深层分支和一个浅层分支；
[0013]深层分支包括第一卷积模块、FMBConv模块、MBConv模块和自适应平均池化模块；第一卷积模块、FMBConv模块、MBConv模块以及自适应平均池化模块依次连接；
[0014]浅层分支由第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块组成；其中，第二卷积模块、第三卷积模块以及第四卷积模块依次连接；
[0015]FMBConv模块的输出与第四卷积模块的输出相加后与第五卷积模块的输入端相连；
[0016]自适应平均池化模块与第五卷积模块的输出端分别连接至特征聚合模块；
[0017]特征聚合模块、第一上采样模块以及判别器网络依次相连；判别网络采用全卷积神经网络，其输入为分割网络预测结果或经过one
‑
hot编码的真实标签，输出为置信度图；
[0018]步骤3.基于对抗训练的半监督双分支骨髓细胞图像分割模型训练；
[0019]首先使用有标签图像进行监督训练，基于对抗训练的半监督双分支骨髓细胞图像分割模型由交叉熵损失和对抗损失来训练，分割网络和判别网络参数联合更新；
[0020]然后使用无标签图像进行半监督训练，利用判别网络发现无标签分割预测结果的可靠区域，并将其作为伪标签来监督分割网络，完成半监督学习过程；
[0021]步骤4.利用训练好的模型对待分割的骨髓细胞图像进行图像分割，得到图像分割结果。
[0022]此外，本专利技术还提出了一种与上述基于对抗训练的半监督双分支骨髓细胞图像分割方法相对应的计算机设备，该计算机设备包括存储器和一个或多个处理器。
[0023]所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上面述及的基于对抗训练的半监督双分支骨髓细胞图像分割方法。
[0024]此外，本专利技术还提出了一种与上述基于对抗训练的半监督双分支骨髓细胞图像分割方法相对应的计算机可读存储介质，其上存储有程序。
[0025]该程序被处理器执行时，用于实现上面述及的半监督双分支骨髓细胞图像分割方法。
[0026]本专利技术具有如下优点：
[0027]如上所述，本专利技术述及了一种基于对抗训练的半监督双分支骨髓细胞图像分割方法，该方法基于生成对抗网络架构实现，其中，分割网络设计了一种同时包含浅层分支和深层分支的双分支架构，深层分支采用简化的Efficientnetv2网络来提取全局特征，而浅层分支采用宽通道的卷积块来提取细节特征；通过将高分辨率的细节特征和低分辨率的全局特征进行多尺度融合，从而实现细节特征和全局特征的互补，判别网络则采用一种全卷积神经网络，对分割网络预测结果和真实标签图像进行有效区分，此外，还通过判别网络进行半监督训练，利用判别网络发现无标签图像分割结果中的可靠信息，将其作为伪标签协助分割网络训练，从而提升骨髓细胞图像分割精度，通过将无标签图像应用到训练过程中，减
少了对像素级标签的依赖。此外，本专利技术还进行了实验，证实了本专利技术方法相对于现有方法的优越性。
附图说明
[0028]图1为本专利技术实施例中搭建的半监督双分支骨髓细胞图像分割模型架构图。
[0029]图2为本专利技术实施例中FMBConv模块的结构图。
[0030]图3为本专利技术实施例中MB Conv模块的结构图。
[0031]图4为本专利技术实施例中特征聚合模块的结构示意图。
[0032]图5为本专利技术具体实例中1/4有标签图像的累计分布曲线图。
[0033]图6为本专利技术具体实例中1/2有标签图像的累计分布曲线图。
[0034]图7为本专利技术具体实例中3/4有标签图像的累计分布曲线图。
[0035]图8为本专利技术具体实例中1/4有标签图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于对抗训练的半监督双分支骨髓细胞图像分割方法，其特征在于，包括如下步骤：步骤1.收集骨髓细胞图像，将骨髓细胞图像划分为训练集、验证集和测试集；在训练过程中，将训练集数据分为有标签图像和无标签图像两部分；步骤2.搭建基于对抗训练的半监督双分支骨髓细胞图像分割模型；其中，搭建的半监督双分支骨髓细胞图像分割模型包括分割网络以及判别器网络；分割网络包括双分支结构、特征聚合模块以及第一上采样模块；双分支结构包括一个深层分支和一个浅层分支；深层分支包括第一卷积模块、FMBConv模块、MBConv模块和自适应平均池化模块；第一卷积模块、FMBConv模块、MBConv模块以及自适应平均池化模块依次连接；浅层分支由第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块组成；其中，第二卷积模块、第三卷积模块以及第四卷积模块依次连接；FMBConv模块的输出与第四卷积模块的输出相加后与第五卷积模块的输入端相连；自适应平均池化模块与第五卷积模块的输出端分别连接至特征聚合模块；特征聚合模块、第一上采样模块以及判别器网络依次相连；判别网络采用全卷积神经网络，其输入为分割网络预测结果或经过one
‑
hot编码的真实标签，输出为置信度图；步骤3.基于对抗训练的半监督双分支骨髓细胞图像分割模型训练；首先使用有标签图像进行监督训练，基于对抗训练的半监督双分支骨髓细胞图像分割模型由交叉熵损失和对抗损失来训练，分割网络和判别网络参数联合更新；然后使用无标签图像进行半监督训练，利用判别网络发现无标签分割预测结果的可靠区域，并将其作为伪标签来监督分割网络，完成半监督学习过程；步骤4.利用训练好的模型对待分割的骨髓细胞图像进行图像分割，得到图像分割结果。2.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，所述步骤3中，输入图像在分割网络中的处理过程为：在深层分支，输入图像依次通过第一卷积模块、FMBConv模块、MBConv模块以及自适应平均池化模块，完成深层分支的全局上下文特征提取；在浅层分支，输入图像依次经过第二卷积模块、第三卷积模块和第四卷积模块进行三次下采样，第四卷积模块的输出与FMBConv模块的输出相加，实现低级特征互补；相加后的特征输入至第五卷积模块完成浅层分支的特征提取，通过特征聚合模块来融合深层分支和相加后的浅层分支的互补信息，捕获多尺度的特征信息；最后，通过第一上采样模块的上采样操作将特征图映射到原始图像尺寸。3.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，所述FMBConv模块包括第六卷积模块、第七卷积模块、第八卷积模块以及第一SE模块；其中，第六卷积模块、第一SE模块以及第七卷积模块依次连接；第六卷积模块和第八卷积模块的输入端与FMBConv模块的输入端相连；第七卷积模块的输出与第八卷积模块的输出相加后作为FMBConv模块的输出；第六卷积模块和第八卷积模块采用3
×
3的卷积核，第七卷积模块采用1
×
1的卷积核。4.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，
所述MBConv模块包括第九卷积模块、第十卷积模块、第一深度卷积模块以及第二SE模块；第九卷积模块、第一深度卷积模块、第二SE模块以及第十卷积模块依次连接；第九卷积模块的输入端与MBConv模块的输入端相连；第九卷积模块的输入与第十卷积模块的输出相加后作为MBConv模块的输出；第九卷积模块和第十卷积模块采用1
×
1的卷积核，第一深度卷积模块采用3
×
3的卷积核。5.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，所述特征聚合模块包括第一层结构、第二层结构、乘法模块以及SUM模块；第一层结构包括第二深度卷积模块、第十一卷积模块、第三深度卷积模块以及第十二卷积模块；该第一层结构上的各个卷积模块均采用3
×
3的卷积核；深层分支的输出端分别连接至第二深度卷积模块和第十一卷积模块的输入端，浅层分支的输出端分别连接至第三深度卷积模块和第十二卷积模块的输入端；第二层结构包括第十三卷积模块、平均池化模块、第二上采样模块以及第十四卷积模块；其中，第十三卷积模块以及第十四卷积模块均采用1
×
1的卷积核；第二深度卷积模块的输出端与第十三卷积模块的输入端相连，第十一卷积模块的输出端与平均池化模块的输入端相连，第十二卷积模块的输出端与第二上采样模块相连；第三深度卷积模块的输出端与第十四卷积模块的输入端相连；第二上采样模块为4倍上采样；乘法模块有两个，分别为第一乘法模块和第二乘法模块；第十三卷积模块的输出端与第二上采样模块的输出端连接至第一乘法模块的输入端，第十四卷积模块的输出端与平均池化模块的输出端连接至第二乘法模块的输入端；第一乘法模块和第二乘法模块的输出连接至SUM模块上。6.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，所述全卷积神经网络由5层卷积层组成；各层卷积核的大小为4
×
4，步长为2，其中，前四层卷积层后都有Leaky ReLU激活函数，在卷积层后不进行池化和批归一化操作，最后通过上采样操作恢复图像尺寸。7.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，所述步骤3中，判别网络的损失函数L
D
如公式(1)所示：L
D
＝
‑
(∑
h，w
(1
‑
y
n
)log(1
‑
D(...

【专利技术属性】
技术研发人员：滕升华，金玲敏，李佐勇，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：