一种基于多尺度域对抗网络的病理图像分类方法及系统技术方案

本发明专利技术的一个技术方案是提供了一种基于多尺度域对抗网络的病理图像分类方法。本发明专利技术的另一个技术方案是提供了一种基于多尺度域对抗网络的病理图像分类系统，其特征在于，包括：预处理模块；单尺度特征提取模块；总体特征提取模块；多尺度注意力模块；模型评估模块。本发明专利技术一方面结合WSI多尺度的特征信息，另一方面利用域对抗网络抑制不同染色效果对预测结果造成的影响，减小病理图像因染色带来的波动性，从而提出以一种模仿病理医生实际操作流程的方式辅助其进行病理图像分类的系统。的方式辅助其进行病理图像分类的系统。的方式辅助其进行病理图像分类的系统。

【技术实现步骤摘要】
一种基于多尺度域对抗网络的病理图像分类方法及系统


[0001]本专利技术涉及一种基于多尺度域对抗网络的病理图像分类方法及系统，属于医学图像处理领域。

技术介绍

[0002]基于人工智能的计算机辅助诊断技术已经广泛应用于医学领域，尤其是在组织病理切片(Whole Slide Image，以下简称“WSI”)诊断方面。利用深度学习的自动识别技术对WSI进行智能分析，能够辅助病理医生高效准确的完成病理分析工作。目前主要是基于弱监督的深度学习实现对数字病理图像的癌症分类任务，例如中国专利CN202010690425.5、中国专利CN202010287157.2和中国专利CN201910120656.X均是以整个WSI的标签作为包的标签，以在最大分辨率下分割出的图块作为包中的实例，从而构建多实例的学习框架，以弱监督学习的方式完成对病理图像的分类任务，但是在它们的整个预测过程中并没有考虑多尺度的特征信息和染色偏差对分类结果造成的影响。
[0003]造成上述染色偏差的因素有很多，例如不同医院之间、不同设备之间、不同批次的染色剂以及不同的工艺流程等都会造成不同程度的染色偏差。而病理医生需要在不同的染色基础上进行诊断，并在这一过程中不断的调整放大倍数，通过在不同放大倍率下观察病理组织的多种形态特征最终得出诊断结果。

技术实现思路

[0004]本专利技术的目的是：将多尺度和域对抗结合起来共同构建一个深度卷积神经网络框架，以实现病理图像的分类任务。
[0005]为了达到上述目的，本专利技术的一个技术方案是提供了一种基于多尺度域对抗网络的病理图像分类方法，其特征在于，具体包括以下步骤：
[0006]步骤1)对组织病理切片进行多尺度的分割，以获得组织病理切片在不同尺度下的图块集合；
[0007]步骤2)使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器；
[0008]针对不同尺度的图块集合，训练相应的域对抗网络，从而获得组织病理切片在各个尺度下对应的特征提取器，具体包括以下步骤：
[0009]步骤2.1)构建域对抗网络，该域对抗网络包括特征提取网络、多头注意力机制和MLP，其中：
[0010]特征提取器用于将原始数据映射到特定的特征空间上，使得标签预测器能够分辨出来自源域数据的类别，而颜色域判别器无法区分该数据来自哪个颜色域；
[0011]将特征提取网络作为特征提取器，特征提取网络被定义为；
[0012]G
f
(x，θ
f
)
ꢀꢀꢀꢀꢀꢀ
(1)
[0013]式(1)中，x为单尺度下的图块，θ
f
为需要学习的所有权重参数；
[0014]从式(1)中，能够获得单尺度下的病理图像的特征表示：
[0015][0016]式(2)中，n为当前尺度下分割出的图块数量，d为每个图块经过特征提取网络编码后的特征维度；
[0017]将多头注意力机制作为标签预测器，通过签预测器对来自源域的数据进行分类，尽可能分出正确的类别标签；
[0018]多头注意力机制作为源域数据的标签分类网络，将特征提取网络获得的病理图像的特征表示FM作为多头注意力机制的输入，从而预测标签类别；
[0019]多头注意力机制结构定义如下式(3)所示：
[0020]G
y
(x，θ
y
)
ꢀꢀꢀꢀꢀ
(3)
[0021]式(3)中，θ
y
为需要学习的所有参数；
[0022]多头注意力机制由多个单头注意力机制拼接而成，则多头注意力机制公式定义为：
[0023]Multi
‑
Head(Q，K，V)＝Concat(head1，...，head
h
)W
o
ꢀꢀꢀꢀ
(4)
[0024]式(4)中，head
i
＝Attention(QW
iQ
，VW
iV
)表示第i个单头注意力网络的输出结果；单头注意力机制通过三个独立的权重层W将FM分别映射为Q、K和V，如下式(5)所示：
[0025][0026]式(5)中，d
k
表示映射后的特征维度，K
T
为K的转置矩阵；
[0027]多头注意力机制输出的结果依次通过全局平均值池化、若干个全连接层和Softmax函数即可获得标签分类网络的分类结果；
[0028]将MLP作为颜色域判别器，通过颜色域判别器对映射到特征空间上的数据进行分类，尽可能分出该数据来自哪个颜色域；
[0029]MLP作为颜色域的二元分类网络，公式如下：
[0030]G
d
(x，θ
d
)
ꢀꢀꢀꢀꢀ
(6)
[0031]式(6)中，θ
d
为需要学习的所有参数，将特征提取器获得的病理图像的特征表示FM作为二元分类网络的输入，从而预测颜色域的类别；
[0032]步骤2.2)构建域对抗网络的损失函数，域对抗网络的总损失由标签预测器损失和颜色域判别器损失构成，具体包括以下步骤：
[0033]步骤2.2.1)构建标签预测器损失，其目标函数被定义为：
[0034][0035]式(7)中，表示第i个样本的标签损失，R(W，b)为正则项，λ为人工设置的正则化参数，W、b为特征提取器的权重和偏置，V、c为标签预测器的权重和偏置；
[0036]步骤2.2.2)构建颜色域判别器损失：
[0037]将步骤2.2.1)中标签预测器损失的目标函数中的正则项R(W，b)作为颜色域判别器的目标函数，被定义为：
[0038][0039]式(8)中，表示第i个样本颜色域的二元标签损失，u、z为颜色域判别器的权重和偏置，其中N为总样本数，n和n
′
分别表示原域和目标域样本数；
[0040]域对抗网络的总目标函数，被定义为：
[0041][0042]最小化标签预测器损失函数，最大化颜色域判别器损失函数，并引入超参数λ作为权重平衡参数，对于参数W、v、b、c、u、z的优化过程可被定义为：
[0043][0044][0045]步骤2.2.3)优化式(9)所示的总目标函数：
[0046]颜色域判别器与标签预测器的输入均来自特征提取器，其中颜色域判别器的优化目标是最大化颜色域判别器损失，标签预测器的优化目标是最小化标签预测器损失，其中，对于特征提取器的参数优化，需要使颜色域判别器的梯度方向与标签预测器的梯度方向相反；
[0047]步骤2.3)实现域对抗网络的训练，以最大化颜色域判别器损失：
[0048]颜色域判别器用于区分输入特征属于源域还是目标域，而最大化颜色域分类误差让颜色域判别器无法区分源颜色域和目标颜色域，使得源颜色域和目标颜色域在特征空间上的分布趋近一致，从而抑制不同染本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度域对抗网络的病理图像分类方法，其特征在于，具体包括以下步骤：步骤1)对组织病理切片进行多尺度的分割，以获得组织病理切片在不同尺度下的图块集合；步骤2)使用不同尺度下的图块集合训练相应的域对抗网络，以获得在不同尺度下的特征提取器；针对不同尺度的图块集合，训练相应的域对抗网络，从而获得组织病理切片在各个尺度下对应的特征提取器，具体包括以下步骤：步骤2.1)构建域对抗网络，该域对抗网络包括特征提取网络、多头注意力机制和MLP，其中：特征提取器用于将原始数据映射到特定的特征空间上，使得标签预测器能够分辨出来自源域数据的类别，而颜色域判别器无法区分该数据来自哪个颜色域；将特征提取网络作为特征提取器，特征提取网络被定义为；G
f
(x，θ
f
)
ꢀꢀ
(1)式(1)中，x为单尺度下的图块，θ
f
为需要学习的所有权重参数；从式(1)中，能够获得单尺度下的病理图像的特征表示：式(2)中，n为当前尺度下分割出的图块数量，d为每个图块经过特征提取网络编码后的特征维度；将多头注意力机制作为标签预测器，通过签预测器对来自源域的数据进行分类，尽可能分出正确的类别标签；多头注意力机制作为源域数据的标签分类网络，将特征提取网络获得的病理图像的特征表示FM作为多头注意力机制的输入，从而预测标签类别；多头注意力机制结构定义如下式(3)所示：G
y
(x，θ
y
)
ꢀꢀ
(3)式(3)中，θ
y
为需要学习的所有参数；多头注意力机制由多个单头注意力机制拼接而成，则多头注意力机制公式定义为：Multi
‑
Head(Q，K，V)＝Concat(head1，...，head
h
)W
o
ꢀꢀ
(4)式(4)中，head
i
＝Attention(QW
iQ
，KW
iK
，VW
iV
)表示第i个单头注意力网络的输出结果；单头注意力机制通过三个独立的权重层W将FM分别映射为Q、K和V，如下式(5)所示：式(5)中，d
k
表示映射后的特征维度，K
T
为K的转置矩阵；多头注意力机制输出的结果依次通过全局平均值池化、若干个全连接层和Softmax函数即可获得标签分类网络的分类结果；将MLP作为颜色域判别器，通过颜色域判别器对映射到特征空间上的数据进行分类，尽可能分出该数据来自哪个颜色域；MLP作为颜色域的二元分类网络，公式如下：G
d
(x，θ
d
)
ꢀꢀ
(6)
式(6)中，θ
d
为需要学习的所有参数，将特征提取器获得的病理图像的特征表示FM作为二元分类网络的输入，从而预测颜色域的类别；步骤2.2)构建域对抗网络的损失函数，域对抗网络的总损失由标签预测器损失和颜色域判别器损失构成，具体包括以下步骤：步骤2.2.1)构建标签预测器损失，其目标函数被定义为：式(7)中，表示第i个样本的标签损失，R(W，b)为正则项，λ为人工设置的正则化参数，W、b为特征提取器的权重和偏置，V、c为标签预测器的权重和偏置；步骤2.2.2)构建颜色域判别器损失：将步骤2.2.1)中标签预测器损失的目标函数中的正则项R(W，b)作为颜色域判别器的目标函数，被定义为：式(8)中，表示第i个样本颜色域的二元标签损失，u、z为颜色域判别器的权重和偏置，n和n
′
分别表示原域和目标域样本数；域对抗网络的总目标函数，被定义为：最小化标签预测器损失函数，最大化颜色域判别器损失函...

【专利技术属性】
技术研发人员：王瑜，张敬谊，张伯强，陆长青，丁偕，杨佐鹏，
申请(专利权)人：上海爱可及医疗科技有限公司，
类型：发明
国别省市：