免疫组化核染色切片细胞定位多域共适应训练方法技术

本发明专利技术涉及一种免疫组化核染色切片细胞定位多域共适应训练方法，用于在仅有的单域标注数据集下，对细胞关键点检测模型进行充分的训练。采用源域图像和目标域图像对细胞定位模型进行训练，将源域图像和目标域图像交替输入编码器进行特征提取，对源域图像进行特征提取后得到第一特征，对目标域图像进行特征提取后得到第二特征；将第一特征和第二特征输入判别器进行特征判别；当判别器的损失函数达到设定条件时，提取到的第一特征和第二特征为域不变特征；将第一特征和第二特征交替输入解码器进行解码、激活操作得到对应的置信度图；在训练过程中，编码器和解码器通过不断迭代进行参数更新；当训练迭代次数达到指定次数时，训练结束。束。束。

【技术实现步骤摘要】
免疫组化核染色切片细胞定位多域共适应训练方法


[0001]本专利技术涉及深度学习
，特别是涉及一种免疫组化核染色切片细胞定位多域共适应训练方法。

技术介绍

[0002]通常基于深度学习方法的病理辅助诊断技术是在经过单一染色剂、扫描仪等前处理后得到的数字病理切片上进行训练。但是由于市场上染色剂与扫描仪种类众多，在同一病种中，不同机构所制作的数字病理切片(尤其免疫组化核染色切片)往往具有不同的分布。因此将单一场景(源域)下训练得到的模型应用至多机构(目标域)往往由于噪声分布、数据偏差等影响导致模型的性能受到很大影响，测试效果差强人意。然而辅助诊断技术应用场景具有随机性，病理医生的空余标注时间极其有限，面对用于进行深度学习所需的大量的多域标注数据，难以保证标注的高质量。因此，对病理图像的训练数据进行多域标注基本是不可能的。而这也进一步造成，在目前现有的病理图像数据集上训练得到的关键点检测模型性能受到极大限制。因此，如何使得在仅有的单域标注数据集下，对细胞关键点检测模型进行充分的训练，是一个挑战。

技术实现思路

[0003]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种免疫组化核染色切片细胞定位多域共适应训练方法，用于在仅有的单域标注数据集下，对细胞关键点检测模型进行充分的训练。
[0004]根据本申请的一个方面，提供了一种免疫组化核染色切片细胞定位多域共适应训练方法，包括：
[0005]获取第一免疫组化核染色切片的数字病理图像作为源域图像，所述源域图像上携带有第一标注信息；
[0006]获取第二免疫组化核染色切片的数字病理图像作为目标域图像，所述目标域图像与所述源域图像大小相同；
[0007]采用所述源域图像和目标域图像对细胞定位模型进行训练，细胞定位模型包括编码器和解码器；
[0008]将所述源域图像和目标域图像交替输入所述编码器进行特征提取，细胞定位模型包括编码器和解码器；
[0009]将所述源域图像和目标域图像交替输入所述编码器进行特征提取，对源域图像进行特征提取后得到第一特征，对目标域图像进行特征提取后得到第二特征；
[0010]将所述第一特征和第二特征输入判别器进行特征判别；
[0011]当所述判别器的损失函数达到设定条件时，提取到的第一特征和第二特征为域不变特征；
[0012]将所述第一特征G
E
(x
is
)和第二特征G
E
(x
it
)交替输入所述解码器，经过解码、激活
操作对应得到第一置信度图和第二置信度图；
[0013]对于所述第一置信度图，根据所述第一标注信息结合交叉熵进行损失计算；
[0014]对于所述第二置信度图，定位分类损失采用信息熵；在训练过程中，所述编码器、、解码器以及判别器通过不断迭代进行参数更新；
[0015]当训练迭代次数达到指定次数时，训练结束。
[0016]进一步地，还包括，采用带有第二标注信息的目标域图像对所述细胞定位模型训练过程中每一代模型及参数进行性能验证，评价指标包括F1值，将F1值最高的模型作为最优模型。
[0017]进一步地，当所述判别器的损失函数L
D
逼近0.5时，提取到的第一特征和第二特征为域不变特征，所述损失函数为L
D
，
[0018][0019]进一步地，对于所述第一置信度图，定位分类损失函数L
s
，
[0020][0021]其中H,W表示第一置信度图的尺寸，j表示每幅第一置信度图中的第j个像素，C表示预测类别总数，y表示当前类别的标注值，p表示所述域不变特征经解码预测后得到的相应预测概率。
[0022]进一步地，对于所述第二置信度图，定位分类损失函数为L
t
，
[0023][0024]其中H,W表示第二置信度图的尺寸，j表示每幅第二置信度图中的第j个像素，C表示预测类别总数，y表示当前类别的标注值，p表示所述域不变特征经解码预测后得到的相应预测概率。
[0025]进一步地，所述细胞定位模型总的损失校准为：L＝L
D
+L
s
+L
t
。
[0026]与现有技术相比，采用本申请实施例的一种免疫组化核染色切片细胞定位多域共适应训练方法，可以将风格迁移机制与关键点定位网络相结合，通过单阶段训练方法，有效地提取到域不变特征并对其进行解码，进而进行多域适应。
附图说明
[0027]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0028]图1是多机构免疫组化核染色切片差异图；
[0029]图2是本专利技术预适应训练方法网络结构图；
[0030]图3是采用单域训练，经多域测试的结果图；
[0031]图4是采用本申请域适应方法训练，经多域测试结果图。
具体实施方式
[0032]下面，将参考附图详细描述本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
[0033]申请概述
[0034]在病理图像中往往存在数十万个细胞，对于免疫组化核染色切片，病理医生需要对切片中的肿瘤细胞进行计数，因此有效的对肿瘤细胞进行精确定位并分类是病理医生目前渴望的辅助工具之一。细胞关键点定位网络在仅依赖点级别标注的基础上，通过卷积神经网络有效细胞核及其上下文信息并进行编码，然后将编码到的深度特征利用解码器得到置信度图，最终通过非极大值抑制等技术手段对置信度图进行分类，从而达到对细胞进行分类的效果。总体来说细胞关键点定位网络与语义分割网络类似，但是相比较于语义分割网络，需要更多的上下文信息以及局部的细粒度特征信息。同时细胞关键点定位网络对于数据集样本的特征域特别敏感，当使用单一域的数据对模型进行训练并接近拟合时，模型的参数对于多域下的图像信息是非常敏感的，噪声分布不同的影响均会导致模型性能降低。
[0035]目前风格迁移方法多用于解决域适应问题。这些方法的共性均是两阶段进行训练；首先将源域的图像作为深度网络的输入，利用对抗生成网络将源域的图像分布迁移至目标域图像分布，其次使用风格迁移后的伪目标域图像及其原有的标签进行关键点网络训练，最终在目标域的图像上进行测试。但是由于目标域图像分布不一，因此在风格迁移的过程中，网络无法有效的提取到目标域图像的共同特征，进而训练得到的细胞关键点定位、分类方法往往不精确。若对每一目标域的图像进行迁移，这样训练成本过大，且耗时较长，并非明智的选择。
[0036]免疫组化核染色切片在制作过程中，往往由于染色剂量的使用不统一、材本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.免疫组化核染色切片细胞定位多域共适应训练方法，其特征在于，包括：获取第一免疫组化核染色切片的数字病理图像作为源域图像，所述源域图像上携带有第一标注信息；获取第二免疫组化核染色切片的数字病理图像作为目标域图像，所述目标域图像与所述源域图像大小相同；采用所述源域图像和目标域图像对细胞定位模型进行训练，细胞定位模型包括编码器和解码器；将所述源域图像和目标域图像交替输入所述编码器进行特征提取，对源域图像进行特征提取后得到第一特征G
E
(x
is
)，对目标域图像进行特征提取后得到第二特征G
E
(x
it
)，其中s，t分别表示源域与目标域，i表示第i幅图像，G
f
表示编码器；将所述第一特征G
E
(x
is
)和第二特征G
E
(x
it
)输入判别器进行特征判别；当所述判别器的损失函数L
D
达到设定条件时，提取到的第一特征G
E
(x
is
)和第二特征G
E
(x
it
)为域不变特征；将所述第一特征G
E
(x
is
)和第二特征G
E
(x
it
)交替输入所述解码器，经过解码、激活操作对应得到第一置信度图和第二置信度图；对于所述第一置信度图，根据所述第一标注信息结合交叉熵进行损失计算；对于所述第二置信度图，定位分类损失采用信息熵；在训练过程中，所述编码器、解码器以及判别器通过不断迭代进行参数更新；当训练迭代次数达到指定次数时，训练结束。2.根据权...

【专利技术属性】
技术研发人员：亢宇鑫，李涵生，武卓越，崔灿，崔磊，杨林，
申请(专利权)人：杭州迪英加科技有限公司，
类型：发明
国别省市：