数字病理图像的色彩标准化方法及系统技术方案

本发明专利技术公开了一种数字病理图像的色彩标准化方法及系统，该方法包括：从目标域获取彩色的数字病理图像；并校正数字病理图像的数字化色彩差异后作为参考图像；将参考图像进行色彩扩增以模拟不同染色差异，获得多张色彩扩增图像；建立参考图像与对应的多张色彩扩增图像的相似性图；将相似性图输入到去染色模型中，消除染色带来的色彩信息，输出保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图；将色彩扩增图像对应的灰度特征图输入虚拟染色网络模型，为色彩扩增图像的灰度特征图做虚拟上色，输出上色色彩和参考图像色彩具有相似性的、经色彩标准化后的彩色图像。本发明专利技术是不需要利用源域图像的色彩标准化方法。色彩标准化方法。色彩标准化方法。

【技术实现步骤摘要】
数字病理图像的色彩标准化方法及系统


[0001]本专利技术涉及医学图像的处理，尤其涉及一种数字病理图像的色彩标准化方法及系统。

技术介绍

[0002]数字病理是指用病理扫描仪将病理切片数字化，获取彩色的数字病理全片图像，应用于病理诊断。然而，病理图像的色彩存在较大差异。主要原因有两个。第一是制作病理切片的染色差异。对于同一种制片方法，不同医疗机构采用的药剂品牌、成分、浓度以及制片流程存在差异，造成病理切片染色差异。制片质控不稳定，进一步加大了染色差异。第二是数字化阶段。不同厂家的病理扫描仪的色域存在差异，导致对同一个病理切片的色彩还原度存在差异，造成图像出现数字化色彩差异。所以，来自于不同医疗机构、不同扫描仪的数字病理图像的色彩总是存在明显差异。
[0003]数字病理图像的色彩差异不仅会造成病理医生诊断出现偏差，也会明显降低病理人工智能模型的诊断准确度。为了避免色彩差异影响诊断，目前的色彩标准化技术将特定来源的图像集合(例如特定的医疗机构制作的病理切片的数字化图像)作为目标域，假定为标准色彩图像。其他来源的图像集合看作为源域，例如其他某个医疗机构制作的病理切片的数字病理图像。色彩标准化技术将源域图像的色彩校正为目标域图像的色彩，使两者相似。
[0004]第一类色彩标准化技术是计算源域的色彩分布的统计特性，匹配到目标域的色彩分布，使得两者的色彩的统计量相似。
[0005]第二类技术是基于神经网络模型，将源域图像到目标域图像的色彩匹配看作为一个风格迁移问题。输入源域图像，利用风格迁移模型输出和目标域图像色彩相似性的图像。
[0006]第三类技术将目标域的彩色图像转换成灰度图像。然后训练神经网络模型，例如Pix2Pix，将灰度图像重新转化为彩色图像。对于源域图像，先灰度化，然后用目标域建立的上色模型重新上色，从而使其获得和目标域图像相同的色彩分布。
[0007]然而，这些技术具有明显的技术瓶颈。前两类技术需要为任何一个源域图像建立一个向目标域转换的模型。主要的瓶颈有：需要获取源域有代表性图像作为数据集。在实际工作中，一般无法取得足够数量的源域图像。即使能够取得源域图像，为每一个源域建立和目标域图像之间的标准化方法，是不现实的。第三类技术将源域和目标域图像的灰度图像作为中介，然而灰度图像本身已经受到色彩差异影响。当源域图像和目标域图像的色彩差别很大时，源域重新上色后的彩色图像，和目标域图像的色彩存在明显差异。而且，上述技术都假定目标域的图像是标准化的，然而目标域的图像本身受到数字化色彩差异的影响，不是病理切片的真实色彩图像。
[0008]因此，现有的色彩标准化技术无法解决数字病理图像的色彩差异问题，需要建立更具可行性的标准化技术。

技术实现思路

[0009]本专利技术提供了一种数字病理图像的色彩标准化方法及系统，用以解决现有的色彩标准化技术无法为每一个源域取得足够数量的源域图像，以及由于灰度图像受到色彩差异影响从而导致源域重新上色后的彩色图像，和目标域图像的色彩存在明显差异的技术问题。
[0010]为解决上述技术问题，本专利技术提出的技术方案为：
[0011]一种数字病理图像的色彩标准化方法，包括以下步骤：
[0012]从目标域获取彩色的数字病理图像；并校正数字病理图像的数字化色彩差异后作为参考图像；
[0013]将参考图像进行色彩扩增以模拟不同染色差异，获得每一张参考图像对应不同染色差异的多张色彩扩增图像；建立参考图像与对应的多张色彩扩增图像的相似性图；
[0014]将相似性图输入到去染色模型中，消除染色带来的色彩信息，输出保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图；
[0015]将色彩扩增图像对应的灰度特征图输入虚拟染色网络模型，对色彩扩增图像的灰度特征图做虚拟上色，输出上色色彩和参考图像色彩具有相似性的、经色彩标准化后的彩色图像。
[0016]优选地，去染色模型，通过以下步骤训练得到：
[0017]获取来自目标域的多张彩色病理图像，并校正多张数字病理图像的数字化色彩差异后生成参考图像数据集；
[0018]将参考图像数据集中的各参考图像进行色彩扩增以模拟不同染色差异，获得每一张参考图像对应不同染色差异的多张色彩扩增图像；建立以所有参考图像与对应的多张色彩扩增图像作为图节点、以参考图像与色彩扩增图像的连线作为边的相似性图；在相似性图中标注每张色彩扩增图像与参考图像相连的边的相似性权重；
[0019]将相似性图以及所有边的相似性权重作为输入，以保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图作为输出，训练去染色模型。
[0020]优选地，在训练去染色模型时，输出的灰度特征图为消除了色彩信息的三维图像矩阵，其中两维是与参考图像同等大小的灰度二维图像，第三维为特征通道。
[0021]优选地，去染色模型为两层以上的降采样的编码器以及对应的两层以上的上采样的解码器实现的去染色模型，去染色模型的输出还与用于图像灰度化的、由卷积层实现的灰度转换网络的输出进行相似性比较，去染色模型以及灰度转换网络的输出设有不同的权值。
[0022]优选地，在训练去染色模型时，以第一相似性、第二相似性以及第一鉴别器相似性最大为训练目标，采用反向传播的梯度下降方法优化去染色模型以及灰度转换网络的权值；
[0023]第一相似性为参考图像对应的灰度特征图与参考图像的色彩扩增图像对应的灰度特征图之间的相似性；第二相似性为参考图像对应的灰度特征图与参考图像经灰度转换网络转换的灰度图像之间的相似性。第一鉴别器相似性为第一鉴别器计算的参考图像或者色彩扩增图像的灰度特征图，和灰度转换网络获得的灰度图像之间的相似性。
[0024]优选地，第一相似性以及第二相似性，均包括像素相似性、纹理相似性以及感知特
征相似性。
[0025]优选地，虚拟染色网络模型，通过以下步骤训练得到：
[0026]将去染色模型输出的色彩扩增图像对应的灰度特征图作为输入，对色彩扩增图像的灰度特征图做虚拟上色，以上色色彩和参考图像色彩具有相似性的、经色彩标准化后的彩色图像作为输出，训练虚拟染色网络模型。
[0027]优选地，虚拟染色网络模型为两层以上的降采样的编码器以及对应的两层以上的上采样的解码器实现的虚拟染色网络模型。
[0028]优选地，在训练虚拟染色网络模型时，以第三相似性、第四相似性以及第二鉴别器相似性最大为训练目标，采用反向传播的梯度下降方法优化虚拟染色网络模型的权值；
[0029]第三相似性为参考图像对应的彩色图像与参考图像的色彩扩增图像对应的彩色图像之间的相似性；第四相似性为参考图像与参考图像对应的彩色图像之间的相似性；第二鉴别器相似性为第二鉴别器计算的参考图像或者色彩扩增图像的灰度特征图经过虚拟染色后的彩色图像，和参考图像之间的相似性。
[0030]第三相似性以及第四相似性，均包括像素相似性、纹理相似性以及感知特征相似性。
...

【技术保护点】

【技术特征摘要】
1.一种数字病理图像的色彩标准化方法，其特征在于，包括以下步骤：从目标域获取彩色的数字病理图像；并校正所述数字病理图像的数字化色彩差异后作为参考图像；将参考图像进行色彩扩增以模拟不同染色差异，获得每一张参考图像对应不同染色差异的多张色彩扩增图像；建立参考图像与对应的多张色彩扩增图像的相似性图；将相似性图输入到去染色模型中，消除染色带来的色彩信息，输出保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图；将所述色彩扩增图像对应的灰度特征图输入虚拟染色网络模型，对色彩扩增图像的灰度特征图做虚拟上色，输出上色色彩和参考图像色彩具有相似性的、经色彩标准化后的彩色图像。2.根据权利要求1所述的数字病理图像的色彩标准化方法，其特征在于，所述去染色模型，通过以下步骤训练得到：获取来自目标域的多张彩色病理图像，并校正所述多张数字病理图像的数字化色彩差异后生成参考图像数据集；将参考图像数据集中的各参考图像进行色彩扩增以模拟不同染色差异，获得每一张参考图像对应不同染色差异的多张色彩扩增图像；建立以所有参考图像与对应的多张色彩扩增图像作为图节点、以参考图像与色彩扩增图像的连线作为边的相似性图；在所述相似性图中标注每张色彩扩增图像与参考图像相连的边的相似性权重；将所述相似性图以及所有边的相似性权重作为输入，以保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图作为输出，训练去染色模型。3.根据权利要求2所述的数字病理图像的色彩标准化方法，其特征在于，在训练所述去染色模型时，输出的所述灰度特征图为消除了色彩信息的三维图像矩阵，其中两维是与参考图像同等大小的灰度二维图像，第三维为特征通道。4.根据权利要求2所述的数字病理图像的色彩标准化方法，其特征在于，所述去染色模型为两层以上的降采样的编码器以及对应的两层以上的上采样的解码器实现的去染色模型，所述去染色模型的输出还与用于图像灰度化的、由卷积层实现的灰度转换网络的输出进行相似性比较，去染色模型以及灰度转换网络的输出设有不同的权值。5.根据权利要求4所述的数字病理图像的色彩标准化方法，其特征在于，在训练所述去染色模型时，以第一相似性、第二相...

【专利技术属性】
技术研发人员：喻罡，高燕华，孙凯，白冰倩，
申请(专利权)人：中南大学，
类型：发明
国别省市：