基于特征解耦的病理图像特征提取器训练方法及装置制造方法及图纸

本发明专利技术公开了一种基于特征解耦的病理图像特征提取器训练方法及装置，该训练方法通过构建特征解耦网络，同时设置六个子损失函数对网络进行约束训练，其中特征解耦网络包含多个生成对抗网络，可以将病理图像解耦分解成颜色信息特征和组织结构信息特征，在保留纯净无杂质的组织结构信息的同时消除人为造成的染色差异对网络性能的负面影响。设置的损失函数最大程度的保证颜色编码器和组织结构编码器特征提取的针对性。训练获得的特征提取器可以覆盖不同病理图像的多个颜色域并引入不同域的颜色变化，适应来自不同中心的病理图像，具有更高的泛化性能。更高的泛化性能。更高的泛化性能。

【技术实现步骤摘要】
基于特征解耦的病理图像特征提取器训练方法及装置


[0001]本专利技术涉及医疗图像处理
以及人工智能领域，更具体的，涉及一种基于特征解耦的病理图像特征提取器训练方法及装置。

技术介绍

[0002]正常组织细胞在各种因素的刺激下发生基因结构改变，引起不可逆的细胞形态和功能异常，成为癌细胞。癌细胞具有无限增值、可转化和易转移三大特点，正常细胞成为癌细胞后开始不可控的无限分裂繁殖并入侵周围正常组织，甚至经由体内循环系统或淋巴系统扩散到身体其他部位。早期癌症可以通过抗癌药物或者外科手术切除肿瘤的方式治疗，此时治愈率较高，对身体的负担较轻。然而，若放任癌症发展到中晚期甚至转移之后才确诊，治疗手段就变得非常有限，只能通过放疗、化疗等对身体毒副作用极强的治疗方法。因此，癌症的早期诊断是人类应对癌症最有效的武器。
[0003]目前，医生通常采用计算机断层扫描（CT）和病理诊断的方法进行癌症诊断。但是计算机断层扫描只能提供初步的诊断，组织病理诊断才是临床诊断的金标准。病理专家将疑似肿瘤部位切下来的组织制成切片后通过数字显微镜和计算机技术制成全视野数字病理图像（WSI），然后在电脑上观察全视野数字病理图像的细胞和细胞间形态来寻找病灶区域并给出诊断意见。但是目前国内具有资质的病理医生仅一万多名，且分布不均，普遍集中于较为发达的省份，中西部等较为落后的地区和省份面临病理医生严重匮乏的现象，无法满足患者的实际需求，这直接或间接地影响着中国十几亿人口的健康。此外，病理医生对全视野数字病理图像的人工诊断极度依赖医生的专业知识积累和工作经验，且医生的诊断结果受主观性的影响，不仅耗时还会因疲劳影响诊断结论。国际最新的研究成果表明，人工对苏木精
‑
伊红（H＆E）染色的肿瘤细胞核统计分析容易产生误差，其中细胞核百分率统计超过评估高达45%。对同一肿瘤，不同的病理医生之间的诊断差异性在10%
‑
95%动态范围变化，造成假阴性的诊断结果或者癌症亚型的误判，这种误诊、漏诊会直接影响临床的治疗手段，威胁患者的生命安全。
[0004]在大数据时代，算力的不断增强、开源医疗数据库的建立为人工智能技术在医疗领域的应用扫清了障碍。通过深度学习可以建立计算机辅助诊断系统，端到端的实现全视野数字病理图像的诊断，辅助医生提高诊断的效率和准确率。训练完成的深度学习模型采用相同的标准来检测全视野数字病理图像，避免了主观性的影响，减少病理学家的诊断分歧。
[0005]在制造全视野数字病理图像时，需要使用苏木精
‑
伊红（H＆E）染色。然而，受到组织固定时间、染色剂配比、扫描仪等差异影响，不同的肿瘤中心的全视野数字病理图像之间存在较大的颜色差异，当数据量不充分时，网络在学习的过程中也会过度关注颜色的差异而忽略真正需要的组织纹理结构信息。目前，大多数学者采用颜色归一化的方法将所有图像的颜色分布与模板图像对齐。但是这种方法是双阶段的（two
‑
stage），实际应用的过程需要先经过颜色归一化算法生成新的图像后再送入网络学习，在颜色归一化的过程中会引入
额外的信息损失，不可避免的破坏原图像的组织结构信息，导致分类准确率的降低。此外，目前公开的医疗图像数据库并不包含病灶区域的标注，很难获得足够的带病灶标注的病理图像数据用于训练深度学习模型。因此，亟需一种无需额外的颜色归一化操作并可以在保留组织结构信息的同时避免颜色差异影响模型的病理图像特征提取器。

技术实现思路

[0006]本专利技术旨在解决现有基于深度学习的全视野数字病理图像分类方法都需要额外的颜色归一化流程导致的组织结构信息损失这一问题，提出了一种基于特征解耦的病理图像特征提取器训练方法及装置，训练获得的病理图像特征提取器无需额外的颜色归一化流程，在保留完善的组织结构信息的同时避免颜色差异对模型的影响。
[0007]为解决上述技术问题，本专利技术采用的技术方案如下：一种基于特征解耦的病理图像特征提取器训练方法，该方法具体包括以下步骤：构建训练数据集，所述训练数据集的每一样本包括两张基于病理图像分割获取的图像块；构建用于特征提取器训练的特征解耦网络，所述特征解耦网络包括：组织结构编码器E
s
，用于依据输入的图像块编码获得组织结构信息特征；颜色编码器E
c
，用于依据输入的图像块编码获得颜色信息特征；组织结构判别器D
s
，用于判别输入的组织结构信息特征是否处于同一个域；生成器G，用于将输入的组织结构信息特征和颜色信息特征重新生成图像块；域判别器D，用于区分真实图像和生成的图像是否处于同一个域；基于训练数据集，将每一样本作为特征解耦网络的输入，以最小化损失函数为目标进行训练优化特征解耦网络的参数，训练好的组织结构编码器即为病理图像特征提取器；所述损失函数L
total
表示如下：L
total
=
ꢀ‑
λ
adv,s
L
adv,s
‑
λ
adv, domain L
adv,domain
+λ
recon L
recon
+λ
latent,s L
latent,s
+λ
latent,c L
latent,c
+λ
cc
L
cc
其中，L
adv,s
表示组织结构对抗性损失，包括原始样本两张图像块x和y所属的域和组织结构判别器D
s
判别的域之间的损失；L
adv,domain
表示域对抗损失，包括原始样本两张图像块x和y对应的X域的域对抗损失和Y域的域对抗损失；L
recon
表示每一原始样本两张图像块的自重建损失；L
latent,s
表示变换图像块与对应的原始样本图像块的组织结构信息特征的组织结构信息一致性损失；L
latent,c
表示变换图像块与对应的原始样本图像块的颜色信息特征的颜色信息一致性损失；所述变换图像块是通过交换样本中两张图像块的颜色信息特征后基于生成器G重新生成的；L
cc
表示变换图像块经过组织结构编码器E
s
、颜色编码器E
c
编码和生成器G重新生成的图像块与原始样本的图像块的循环一致性损失；λ
adv,s
、λ
adv, domain
、λ
recon
、λ
latent,s
、λ
latent,c
和λ
cc
分别表示对应的损失的权重。
[0008]所述特征解耦网络的训练无需任何图像级、像素级或ROI级注释。所述小图像块的
特征提取器即为特征解耦网络中的组织结构编码器E
s
，可以在避免颜色信息的情况下提取小图像块中的组织结构信息。
[0009]进一步地，所述组织结构对抗性损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征解耦的病理图像特征提取器训练方法，其特征在于，该方法具体包括以下步骤：构建训练数据集，所述训练数据集的每一样本包括两张基于病理图像分割获取的图像块；构建用于特征提取器训练的特征解耦网络，所述特征解耦网络包括：组织结构编码器E
s
，用于依据输入的图像块编码获得组织结构信息特征；颜色编码器E
c
，用于依据输入的图像块编码获得颜色信息特征；组织结构判别器D
s
，用于判别输入的组织结构信息特征是否在同一个域中；生成器G，用于将输入的组织结构信息特征和颜色信息特征重新生成图像块；域判别器D，用于区分真实图像和生成的图像是否处于同一个域；基于训练数据集，将每一样本作为特征解耦网络的输入，以最小化损失函数为目标进行训练优化特征解耦网络的参数，训练好的组织结构编码器即为病理图像特征提取器；所述损失函数L
total
表示如下：L
total
=
ꢀ‑
λ
adv,sLadv,s
‑
λ
adv, domain L
adv,domain
+λ
recon L
recon
+λ
latent,s L
latent,s
+λ
latent,c L
latent,c
+λ
cc
L
cc
其中，L
adv,s
表示组织结构对抗性损失，包括组织结构编码器E
s
和组织结构判别器D
s
的对抗损失；L
adv,domain
表示域对抗损失，包括原始样本两张图像块x和y对应的X域的域对抗损失和Y域的域对抗损失；L
recon
表示每一原始样本两张图像块的自重建损失；L
latent,s
表示变换图像块与对应的原始样本图像块的组织结构信息特征的组织结构信息一致性损失；L
latent,c
表示变换图像块与对应的原始样本图像块的颜色信息特征的颜色信息一致性损失；所述变换图像块是通过交换样本中两张图像块的颜色信息特征后基于生成器G重新生成的；L
cc
表示变换图像块经过组织结构编码器E
s
、颜色编码器E
c
编码和生成器G重新生成的图像块与原始样本的图像块的循环一致性损失；λ
adv,s
、λ
adv, domain
、λ
recon
、λ
latent,s
、λ
latent,c
和λ
cc
分别表示对应的损失的权重。2.根据权利要求1所述的方法，其特征在于，所述组织结构对抗性损失表示如下：L
adv,s
(E
s
, D
s
) = 피
x
[1/2log D
s
(E
s
(x)) + 1/2log(1
‑
D
s
(E
s
(x)))] + 피
y
[1/2log D
s
(E
s
(y)) + 1/2log(1
‑
D
s
(E
s
(y)))]其中E
s
(
∙
)表示组织结构编码器E
s
的输出，D
s
(
∙
)表示组织结构判别器D
s
的输出，x和y表示每一样本的两张图像块；
피
[
∙
]为数学期望。3.根据权利要求1所述的方法，其特征在于，自重建损失L
recon
、域对抗损失L
adv,domain
、颜色信息一致性损失L
latent,c
和组织结构信息一致性损失L
latent,s
采用BCE损失函数或MSE损失函数。4.根据权利要求1所述的方法，其特征在于，所述循环一致性损失L
cc
表示如下：L
cc
(E
c
, E
s
, G) = 피
x,y
[||G(E
s
(v), E
c

【专利技术属性】
技术研发人员：薛梦凡，陈怡达，黄海亮，朱闻韬，
申请(专利权)人：之江实验室，
类型：发明
国别省市：