一种基于生成对抗网络的IHC图像生成方法及系统技术方案

本发明专利技术涉及一种基于生成对抗网络的IHC图像生成方法及系统，涉及计算机图像处理技术领域，方法包括获取检测者目标部位切片的冰冻H&E图像；对冰冻H&E图像进行切分，得到若干个冰冻H&E子图像，将若干个冰冻H&E子图像分别输入至训练好的石蜡H&E图像生成器，得到每一冰冻H&E子图像对应的石蜡H&E子图像；将每一石蜡H&E子图像分别输入至训练好的IHC图像生成器，得到每一石蜡H&E子图像对应的IHC子图像；将所有IHC子图像进行拼接，得到IHC图像。本发明专利技术采用石蜡H&E图像生成器将冰冻H&E图像生成石蜡H&E图像，然后通过IHC图像生成器将石蜡H&E图像生成IHC图像，减少了生成IHC图像的时间。减少了生成IHC图像的时间。减少了生成IHC图像的时间。

【技术实现步骤摘要】
一种基于生成对抗网络的IHC图像生成方法及系统


[0001]本专利技术涉及计算机图像处理
，特别是涉及一种基于生成对抗网络的IHC图像生成方法及系统。

技术介绍

[0002]癌症是当今第二大死因，而病理学分析在癌症术中诊断中发挥着至关重要的作用。作为病理学分析的核心环节，组织化学染色通过促进不同组织成分之间的色差使组织的不同部分呈现不同的颜色。一些常见的染色剂，例如苏木精伊红染色(H&E染色)，能够将细胞核和细胞质分别染成紫色和粉色以方便病理医生观察细胞组织结构。但是，仅仅根据H&E图像，病理医生无法得知患者某种基因的阴阳性表达，进而在术中无法根据阴阳性表达指引手术的方向。而免疫组化染色(IHC染色)可以通过抗原
‑
抗体结合的方式，将阴性细胞和阳性细胞区分开，以便病理医生做出更准确的诊断。以甲状腺组织为例，在甲状腺癌组织分析的过程中，病理医生通常使用IHC染色来分析患者的Ki67、TTF
‑
1、TG等基因表达状况，进而确定患者基因突变的类型以对症下药。
[0003]然而，在临床中，相比于H&E染色，IHC染色的过程耗时较长，通常情况下，术中制作一张H&E切片需要15分钟左右，而制作一张IHC切片需要三至五天，这严重阻碍了IHC切片图像在术中的应用。

技术实现思路

[0004]本专利技术的目的是提供一种基于生成对抗网络的IHC图像生成方法及系统，减少了生成IHC图像的时间。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于生成对抗网络的IHC图像生成方法，包括：
[0007]获取检测者目标部位切片的冰冻H&E图像；
[0008]对所述冰冻H&E图像进行切分，得到若干个冰冻H&E子图像，并对所述冰冻H&E子图像的位置信息进行标注；
[0009]将若干个所述冰冻H&E子图像分别输入至训练好的石蜡H&E图像生成器，得到每一所述冰冻H&E子图像对应的石蜡H&E子图像；所述训练好的石蜡H&E图像生成器为以样本冰冻H&E子图像为输入，样本石蜡H&E子图像为标签训练得到的生成器；
[0010]将每一所述石蜡H&E子图像分别输入至训练好的IHC图像生成器，得到每一所述石蜡H&E子图像对应的IHC子图像；所述训练好的IHC图像生成器为以样本石蜡H&E子图像为输入，以样本IHC子图像为标签训练得到的生成器；
[0011]根据标注的位置信息将所有所述IHC子图像进行拼接，得到IHC图像。
[0012]可选的，在所述将若干个所述冰冻H&E子图像分别输入至训练好的石蜡H&E图像生成器之前，还包括：
[0013]构建第一生成对抗网络；所述第一生成对抗网络包括石蜡H&E图像生成器、高分辨
率判决器和低分辨率判决器；
[0014]对所述第一生成对抗网络进行训练，得到训练好的第一生成对抗网络；所述训练好的第一生成对抗网络的石蜡H&E图像生成器即为所述训练好的石蜡H&E图像生成器；
[0015]在对所述第一生成对抗网络进行训练时，所用的损失函数包括核约束损失函数、内容一致性约束损失函数和纹理一致性约束损失函数；
[0016]所述核约束损失函数的表达式为：
[0017]L
H
＝||f(x)
‑
f(x')||1[0018]其中，L
H
表示核约束损失函数值，x表示样本冰冻H&E子图像，x'表示样本虚拟石蜡H&E子图像，f()为细胞核分割算法，f(x)为样本冰冻H&E子图像的细胞核，f(x
′
)为样本虚拟石蜡H&E子图像的细胞核；
[0019]所述内容一致性约束损失函数的表达式为：
[0020][0021]其中，L
NCE
(E,T)表示样本扩充冰冻H&E子图像E和纹理特征图T的内容一致性约束损失函数值，g(T,m)表示纹理特征图T的第m层特征块中的一个向量，g(E,m)
+
则表示样本扩充冰冻H&E子图像的第m层特征块中与g(T,m)对应位置的向量，g(E,m)
n
‑
表示样本扩充冰冻H&E子图像的第m层特征块中与g(T,m)非对应位置的向量；τ表示温度系数，用于平衡分布；N表示非对应位置的向量的采样次数；S
L
表示纹理特征图的特征块中随机选取的向量个数；M表示特征层的总层数；
[0022]所述纹理一致性约束损失函数的表达式为：
[0023]L
Texture
＝||x'
sf
‑
T
cj
||1[0024]其中，L
Texture
表示纹理一致性约束损失函数值，x'
sf
表示样本虚拟石蜡H&E子图像以预设比例缩放后的图像，T
cj
表示纹理特征图以预设裁剪范围裁剪后的图像。
[0025]可选的，所述对所述第一生成对抗网络进行训练，具体包括：
[0026]获取第一样本集；所述第一样本集包括若干样本冰冻H&E子图像以及每一所述样本冰冻H&E子图像对应的样本石蜡H&E子图像、样本扩充冰冻H&E子图像以及样本扩充石蜡H&E子图像；
[0027]将所述样本冰冻H&E子图像输入至所述石蜡H&E图像生成器中，生成样本虚拟石蜡H&E子图像；根据所述样本冰冻H&E子图像和所述样本虚拟石蜡H&E子图像，采用所述核约束损失函数计算核约束损失函数值；
[0028]将所述样本扩充冰冻H&E子图像输入至所述石蜡H&E图像生成器中，生成纹理特征图；根据所述样本扩充冰冻H&E子图像和所述纹理特征图，采用所述内容一致性约束损失函数计算内容一致性约束损失函数值；
[0029]根据所述样本虚拟石蜡H&E子图像和所述纹理特征图，采用所述纹理一致性约束损失函数计算纹理一致性约束损失函数值；
[0030]采用所述高分辨率判决器对所述样本虚拟石蜡H&E子图像和所述样本石蜡H&E子图像的真假进行区分，得到所述样本虚拟石蜡H&E子图像的高分辨率得分损失值和第一石...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的IHC图像生成方法，其特征在于，包括：获取检测者目标部位切片的冰冻H&E图像；对所述冰冻H&E图像进行切分，得到若干个冰冻H&E子图像，并对所述冰冻H&E子图像的位置信息进行标注；将若干个所述冰冻H&E子图像分别输入至训练好的石蜡H&E图像生成器，得到每一所述冰冻H&E子图像对应的石蜡H&E子图像；所述训练好的石蜡H&E图像生成器为以样本冰冻H&E子图像为输入，样本石蜡H&E子图像为标签训练得到的生成器；将每一所述石蜡H&E子图像分别输入至训练好的IHC图像生成器，得到每一所述石蜡H&E子图像对应的IHC子图像；所述训练好的IHC图像生成器为以样本石蜡H&E子图像为输入，以样本IHC子图像为标签训练得到的生成器；根据标注的位置信息将所有所述IHC子图像进行拼接，得到IHC图像。2.根据权利要求1所述的基于生成对抗网络的IHC图像生成方法，其特征在于，在所述将若干个所述冰冻H&E子图像分别输入至训练好的石蜡H&E图像生成器之前，还包括：构建第一生成对抗网络；所述第一生成对抗网络包括石蜡H&E图像生成器、高分辨率判决器和低分辨率判决器；对所述第一生成对抗网络进行训练，得到训练好的第一生成对抗网络；所述训练好的第一生成对抗网络的石蜡H&E图像生成器即为所述训练好的石蜡H&E图像生成器；在对所述第一生成对抗网络进行训练时，所用的损失函数包括核约束损失函数、内容一致性约束损失函数和纹理一致性约束损失函数；所述核约束损失函数的表达式为：L
H
＝f(x)
‑
f(x')1其中，L
H
表示核约束损失函数值，x表示样本冰冻H&E子图像，x'表示样本虚拟石蜡H&E子图像，f()为细胞核分割算法，f(x)为样本冰冻H&E子图像的细胞核，f(x
′
)为样本虚拟石蜡H&E子图像的细胞核；所述内容一致性约束损失函数的表达式为：其中，L
NCE
(E,T)表示样本扩充冰冻H&E子图像E和纹理特征图T的内容一致性约束损失函数值，g(T,m)表示纹理特征图T的第m层特征块中的一个向量，g(E,m)
+
则表示样本扩充冰冻H&E子图像的第m层特征块中与g(T,m)对应位置的向量，g(E,m)
n
‑
表示样本扩充冰冻H&E子图像的第m层特征块中与g(T,m)非对应位置的向量；τ表示温度系数，用于平衡分布；N表示非对应位置的向量的采样次数；S
L
表示纹理特征图的特征块中随机选取的向量个数；M表示特征层的总层数；所述纹理一致性约束损失函数的表达式为：L
Texture
＝||x'
sf
‑
T
cj
||1其中，L
Texture
表示纹理一致性约束损失函数值，x'
sf
表示样本虚拟石蜡H&E子图像以预
设比例缩放后的图像，T
cj
表示纹理特征图以预设裁剪范围裁剪后的图像。3.根据权利要求2所述的基于生成对抗网络的IHC图像生成方法，其特征在于，所述对所述第一生成对抗网络进行训练，具体包括：获取第一样本集；所述第一样本集包括若干样本冰冻H&E子图像以及每一所述样本冰冻H&E子图像对应的样本石蜡H&E子图像、样本扩充冰冻H&E子图像以及样本扩充石蜡H&E子图像；将所述样本冰冻H&E子图像输入至所述石蜡H&E图像生成器中，生成样本虚拟石蜡H&E子图像；根据所述样本冰冻H&E子图像和所述样本虚拟石蜡H&E子图像，采用所述核约束损失函数计算核约束损失函数值；将所述样本扩充冰冻H&E子图像输入至所述石蜡H&E图像生成器中，生成纹理特征图；根据所述样本扩充冰冻H&E子图像和所述纹理特征图，采用所述内容一致性约束损失函数计算内容一致性约束损失函数值；根据所述样本虚拟石蜡H&E子图像和所述纹理特征图，采用所述纹理一致性约束损失函数计算纹理一致性约束损失函数值；采用所述高分辨率判决器对所述样本虚拟石蜡H&E子图像和所述样本石蜡H&E子图像的真假进行区分，得到所述样本虚拟石蜡H&E子图像的高分辨率得分损失值和第一石蜡H&E判决器损失函数值；采用所述低分辨率判决器对所述纹理特征图和所述样本扩充石蜡H&E子图像的真假进行区分，得到所述纹理特征图的低分辨率得分损失值和第二石蜡H&E判决器损失函数值；对所述核约束损失函数值、所述内容一致性约束损失函数值、所述纹理一致性约束损失函数值、所述高分辨率得分损失值以及所述低分辨率得分损失值进行加权求和，得到石蜡H&E生成器总损失函数值；根据所述石蜡H&E生成器总损失函数值对所述石蜡H&E图像生成器进行更新，得到更新后的石蜡H&E图像生成器；根据所述第一石蜡H&E判决器损失函数值和所述第二石蜡H&E判决器损失函数值计算得到判决器总损失函数值；根据所述判决器总损失函数值对所述高分辨率判决器和低分辨率判决器进行更新，得到更新后的高分辨率判决器和更新后的低分辨率判决器；判断是否达到预设迭代条件，若是，停止迭代，将更新后的石蜡H&E图像生成器、更新后的高分辨率判决器和更新后...

【专利技术属性】
技术研发人员：张永兵，王一峰，林熠阳，朱梓睿，管贤超，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：