基于循环生成对抗网络的血液白细胞染色风格转换方法技术

本发明专利技术涉及一种基于循环生成对抗网络的血液白细胞染色风格转换方法。通过引入无监督分割策略，本发明专利技术解决了获取白细胞图像的标签信息作为语义条件限制代价昂贵的难题，并充分利用已有的图像数据；通过改进得到的多尺度鉴别器（Multi

【技术实现步骤摘要】
基于循环生成对抗网络的血液白细胞染色风格转换方法


[0001]本专利技术属于图像处理
，具体涉及一种基于循环生成对抗网络的血液白细胞染色风格转换方法。

技术介绍

[0002]白细胞是血液中一种重要的血细胞，通常也被称为免疫细胞。它作为免疫系统的一部分，可帮助身体抵抗传染病以及外来的病原体。白细胞数量或形态异常对于诊断感染、自身免疫疾病、遗传病和影响到血细胞或骨髓的癌症等疾病至关重要。例如，当人体患有某些疾病时，不同类型白细胞的总数和百分比会发生显著变化。白细胞分类计数是血液常规检查的一个重要步骤，通过检测白细胞的数量，确定血液中每种类型白细胞的百分比进而诊断疾病。病理学家在病理分析中广泛使用图像分析和模式识别方法来研究显微图像中的不同细胞。因此，白细胞的自动显微图像分析对于临床治疗和研究至关重要。
[0003]现应用较多的白细胞染色技术主要是瑞氏染色法和吉萨姆染色法，这两种染色技术染色效果好且稳定，但染色速度慢，通常需要十分钟以上，不能满足大范围临床应用上的需要，并且血细胞往往会频繁重叠，对于后续的图像处理和分析造成不便。除了这两种染色技术外，另有一种快速染色法，可将细胞着色时间缩短为十秒左右，着色速度快，并会溶解掉大部分对诊断产生干扰的红细胞。该快速染色方法通过溶解红细胞，大大减轻其对白细胞定位的负面影响，其获取的图像更适合于白细胞的分类和分割等研究。因此，通过将染色稳定的白细胞图像高质量地转换为对应的快速染色图像，有利于快速染色下白细胞图像的研究。
[0004]但目前主要存在两个问题，首先是快速染色过程不稳定，可能导致染色杂质和背景污染，其次是快速染色技术尚未推广。因此，目前对快速染色下白细胞图像的研究不多，相关图像数据也较少。
[0005]在深度学习技术下，现有的可用于完成该染色风格转换的方法大多利用循环生成对抗网络 [1](CycleGAN)的思想。利用两套生成器和鉴别器网络，通过对抗学习的方式学习两种域之间的相互转换，但由于缺乏语义上的条件限制，容易产生无关的图像噪声并且无法维持白细胞图像转换前后的语义一致性。在医学图像上，获取额外的标签信息作为条件限制往往十分耗费人力以及物力。因此，如何在缺少额外标签信息的条件下完成白细胞图像染色风格的高质量转换是一个亟待解决的问题。

技术实现思路

[0006]本专利技术的目的在于为了高质量地将瑞氏染色法获取的白细胞图像转换为对应的快速染色图像，提供一种基于循环生成对抗网络的血液白细胞染色风格转换方法，融合了无监督分割技术以及多尺度鉴别器的优化方法(StainGAN)。
[0007]为实现上述目的，本专利技术的技术方案是：一种基于循环生成对抗网络的血液白细胞染色风格转换方法，包括：
[0008]引入无监督分割策略，获取语义指导信息，实现白细胞染色风格转换，从而克服获取白细胞图像的标签信息作为语义条件限制代价昂贵的难题，并充分利用已有的图像数据；
[0009]改进多尺度鉴别器，将多尺度下采样操作获取的深、浅层特征信息通过一个自校正模块进行特征融合矫正，保证转换后图像的清晰度以及语义上的准确度。
[0010]在本专利技术一实施例中，该方法具体实现如下：
[0011]将瑞氏染色下的白细胞图像定义为A域，快速染色下的白细胞图像定义为B域，定义两个语义生成器G
A2B
和G
B2A
分别用于从将A域的白细胞图像转换到B域和将B域的白细胞图像转换到A域，以及两个多尺度鉴别器D
A
和D
B
分别用于鉴别生成的A域和B域下的白细胞图像的真实性，并输出一个大小为N
×
N的概率矩阵M
prob
；将真实的白细胞瑞氏染色图像以及真实的白细胞快速染色图像分别表示为和将生成的白细胞瑞氏染色图像和白细胞快速染色图像分别表示为和其中和会被映射回原域上的图像，将它们分别表示为和
[0012]当训练语义生成器G
A2B
时，将作为输入，在由图像分割网络所生成的语义指导信息下学习A域到B域的映射，生成接着，G
B2A
在语义指导信息的条件限制下，会将生成的B域的图像映射回A域，即生成训练语义生成器G
B2A
的过程即将上述描述的转换方向进行倒转；训练G
A2B
与G
B2A
的过程可以表示为：
[0013][0014][0015]当训练多尺度鉴别器时，对于D
A
，和分别输入D
A
，对于每一张输入图像，多尺度鉴别器输出对应的N
×
N矩阵，矩阵的每一个元素表示对应图像块是真实图像还是虚假图像的概率，这里N的大小由多尺度鉴别器的结构决定；D
B
同理。
[0016]在本专利技术一实施例中，语义生成器的总体损失L
G
表示为：
[0017]L
G
＝α
·
L
adv
+β
·
L
cyc
+γ
·
L
idt
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0018]其中α、β和γ为权重参数，L
adv
、L
cyc
和L
idt
分别表示adversarial loss、cycle consistency loss 以及identity loss。
[0019]在本专利技术一实施例中，多尺度鉴别器的总体损失L
D
表示为：
[0020][0021]其中α、β为权重参数，和分别表示为：
[0022][0023][0024][0025]其中M
true
和M
false
表示布尔矩阵，其大小与多尺度鉴别器输出的预测矩阵的大小一致，Y
i
和分别表示真实标签与预测值，i为元素索引。
[0026]在本专利技术一实施例中，所述引入无监督分割策略，获取语义指导信息过程的实现方式为：首先，定义一个分割网络G，对于给定一张图像x，生成分割网络预测图的过程表示为：
[0027]Prediction＝argmax(BN(Conv(G(x))))
ꢀꢀꢀꢀꢀꢀꢀ
(8)
[0028]分割网络的预测图大小为1
×
H
×
W，分割网络的预测图上的每一个值表示预测类别；对属于同一语义类别的像素，可以定位到对应原图像的区域，之后计算对应区域的每一个通道上的均值，获取语义指导信息；而后对图像采用均值滤波，使得语义指导信息图像中的白细胞在形态上更加接近真实的白细胞。
[0029]在本专利技术一实施例中，所述语义生成器遵循编码器
‑
解码器架构，并由残差编码器和Spade 残差解码器组成；语义生成器利用生成的语义指导信息作为条件限制，进而生成高质量的白细胞快速染色图像。
[0030]在本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环生成对抗网络的血液白细胞染色风格转换方法，其特征在于，包括：引入无监督分割策略，获取语义指导信息，实现白细胞染色风格转换，从而克服获取白细胞图像的标签信息作为语义条件限制代价昂贵的难题，并充分利用已有的图像数据；改进多尺度鉴别器，将多尺度下采样操作获取的深、浅层特征信息通过一个自校正模块进行特征融合矫正，保证转换后图像的清晰度以及语义上的准确度。2.根据权利要求1所述的基于循环生成对抗网络的血液白细胞染色风格转换方法，其特征在于，该方法具体实现如下：将瑞氏染色下的白细胞图像定义为A域，快速染色下的白细胞图像定义为B域，定义两个语义生成器G
A2B
和G
B2A
分别用于从将A域的白细胞图像转换到B域和将B域的白细胞图像转换到A域，以及两个多尺度鉴别器D
A
和D
B
分别用于鉴别生成的A域和B域下的白细胞图像的真实性，并输出一个大小为N
×
N的概率矩阵M
prob
；将真实的白细胞瑞氏染色图像以及真实的白细胞快速染色图像分别表示为和将生成的白细胞瑞氏染色图像和白细胞快速染色图像分别表示为和其中和会被映射回原域上的图像，将它们分别表示为和当训练语义生成器G
A2B
时，将作为输入，在由图像分割网络所生成的语义指导信息下学习A域到B域的映射，生成接着，G
B2A
在语义指导信息的条件限制下，会将生成的B域的图像映射回A域，即生成训练语义生成器G
B2A
的过程即将上述描述的转换方向进行倒转；训练G
A2B
与G
B2A
的过程可以表示为：的过程可以表示为：当训练多尺度鉴别器时，对于D
A
，和分别输入D
A
，对于每一张输入图像，多尺度鉴别器输出对应的N
×
N矩阵，矩阵的每一个元素表示对应图像块是真实图像还是虚假图像的概率，这里N的大小由多尺度鉴别器的结构决定；D
B
同理。3.根据权利要求2所述的基于循环生成对抗网络的血液白细胞染色风格转换方法，其特征在于，语义生成器的总体损失L
G
表示为：L
...

【专利技术属性】
技术研发人员：李佐勇，黄茂叶，樊好义，陈春强，蔡远征，
申请(专利权)人：闽江学院，
类型：发明
国别省市：