一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法技术

本发明专利技术公开了一种基于Transformer

【技术实现步骤摘要】
一种基于Transformer
‑
MIL的甲状腺乳头状癌淋巴结转移预测方法


[0001]本专利技术涉及生物
，具体涉及一种基于Transformer
‑
MIL的甲状腺乳头状癌淋巴结转移预测方法。

技术介绍

[0002]对于癌症患者，淋巴结转移决定了他们淋巴结清扫的范围，也是主要的独立预后因素之一。术前准确预测癌症患者的淋巴结状态，对避免过度治疗，减少术后并发症具有重要意义。多项研究表明，术前CT影像组学有助于实现癌症患者淋巴结状态的个体化预测，但这些研究往往利用的是肿瘤影像组学特征或结合少量临床病理特征，如CT报告中的淋巴结状态、血清生物标志物、TNM分期等。
[0003]随着组织病理学图像分析成为肿瘤诊断的重要手段，越来越多的基于多实例学习的组织病理学图像分析算法被提出。然而，现今在组织病理学图像领域有效地部署MIL仍然是一个具有挑战性的问题，目前提出的MIL方法通常基于实例预测选择多个分数最高和最低的实例，但在组织病理学图像分析任务中，阳性和阴性patches数量极不平衡，这导致标准多实例(SMI)假设不能得到满足，根据预测分数选择的极端实例不能很好地代表WSI。

技术实现思路

[0004]本专利技术提供了一种基于Transformer
‑
MIL的甲状腺乳头状癌淋巴结转移预测方法，该方法通过构建Transformer
‑
MIL模型，更好地将实例级特征嵌入到包表示中，并充分利用了肿瘤细胞和淋巴结转移细胞之间的形态学相似性，以注意力图为媒介传递两个数据集之间的关系知识，从而提高了淋巴结转移组织病理学图像的预测准确性。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]一种基于Transformer
‑
MIL的甲状腺乳头状癌淋巴结转移预测方法，该方法包括以下步骤：
[0007]S1、利用轻量级ViT网络提取WSI中patch的特征；
[0008]S2、采用基于聚类的策略选择关键性patches；
[0009]S3、构建Transformer
‑
MIL模型，通过多头自注意机制从多个方面学习实例之间的关系，将实例级特征嵌入到包表示中；
[0010]S4、结合甲状腺乳头状集和淋巴结转移数据集，通过互知识蒸馏帮助Transformer
‑
MIL模型学习预测淋巴结转移。
[0011]优选地，步骤S1的具体过程为：
[0012]S11、将WSI切割成512
×
512的非重叠patches，并移除没有组织细胞的patches；
[0013]S12、降低ViT特征提取器的深度和维度，得到轻量级的特征提取器Tiny
‑
ViT并对其进行训练；
[0014]S13、通过训练好的特征提取器Tiny
‑
ViT将大小为512
×
512的patches提取为312
维的特征向量。
[0015]优选地，步骤S2的具体过程为：
[0016]S21、通过K
‑
means聚类算法将WSI中的所有patch级特征聚类为10个类别；
[0017]S22、根据每个类别中的patches数量与patches总数的比例，总共提取200个patch级特征代表slide级特征。
[0018]优选地，步骤S3的具体过程为：
[0019]S31、构建由聚类嵌入模块、Transformer编码器和分类头三部分组成的Transformer
‑
MIL模型；
[0020]S32、聚类嵌入模块按照类别重新排列patches；
[0021]S33、将重新排列的patches输入到Transformer编码器之前，将所有类别合并在一起；
[0022]S34、对于Transformer编码器，使用N个重复的编码器模块将200个实例级特征嵌入到包表示中。
[0023]优选地，步骤S34中每个所述编码器模块由一个多头自注意力模块MHA、一个具有残差连接的前馈网络FFN和两层归一化LN层组成，即:
[0024]Block(X
i
)＝A+FFN(LN(A))
[0025]A＝X
i
‑1+MHA(LN(X
i
‑1))
[0026]其中，X
i
是第i个编码器块后的特征映射，X0是聚类嵌入后的200个实例级特征向量，将一个可学习模块嵌入用作分类标记；所述编码器模块中的多头自注意力模块通过多次使用key
‑
value attention来实现嵌入，其定义如下：
[0027]MHA(Q，K，V)＝Concat(Head1，
…
，Head
M
)W
O
[0028][0029][0030]其中，映射是参数矩阵其中，映射是参数矩阵d
model
是Transformer
‑
MIL模型的特征嵌入维度；Q、K和V是一组查询、键和值的矩阵，M是注意头的数量，d
k
是键和查询的维度，d
V
是值的维度；在获得包的表示之后，通过由两个隐藏层组成的多层感知机MLP将其映射到最终预测。
[0031]优选地，步骤S4的具体过程为：
[0032]S41、将两个具有相同结构的Transformer
‑
MIL模型分别在甲状腺乳头状癌数据集和甲状腺乳头状癌的淋巴结转移数据集上训练，其中每个Transformer
‑
MIL模型只接受一类数据集的标签的直接监督；
[0033]S42、在训练过程中，每个网络不仅显式地从当前数据集中获取知识，而且隐式地从另一个数据集中吸收知识；
[0034]S43、通过步骤S42中相互学习模式，Transformer
‑
MIL模型以显式和隐式的方式探索包的嵌入；
[0035]S44、将实例级特征嵌入为包的表示后，通过由两个隐藏层组成的多层感知机MLP
预测淋巴结转移。
[0036]优选地，步骤S43中对于显式学习，通过计算模型生成的预测和输入标签的类加权交叉熵损失获得更新梯度，即：
[0037]L
t
→
t
＝β0(1
‑
y
t
)log(1
‑
p
tt
)+β1y
t
log(p
tt
)
[0038]L
l
→
l
＝β0(1
‑
y
l
)log(1
‑
p
ll
)+β1y
i
log(p
ll...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer
‑
MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，该方法包括以下步骤：S1、利用轻量级ViT网络提取WSI中patch的特征；S2、采用基于聚类的策略选择关键性patches；S3、构建Transformer
‑
MIL模型，通过多头自注意机制从多个方面学习实例之间的关系，将实例级特征嵌入到包表示中；S4、结合甲状腺乳头状集和淋巴结转移数据集，通过互知识蒸馏帮助Transformer
‑
MIL模型学习预测淋巴结转移。2.如权利要求1所述的基于Transformer
‑
MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S1的具体过程为：S11、将WSI切割成512
×
512的非重叠patches，并移除没有组织细胞的patches；S12、降低ViT特征提取器的深度和维度，得到轻量级的特征提取器Tiny
‑
ViT并对其进行训练；S13、通过训练好的特征提取器Tiny
‑
ViT将大小为512
×
512的patches提取为312维的特征向量。3.如权利要求2所述的基于Transformer
‑
MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S2的具体过程为：S21、通过K
‑
means聚类算法将WSI中的所有patch级特征聚类为10个类别；S22、根据每个类别中的patches数量与patches总数的比例，总共提取200个patch级特征代表slide级特征。4.如权利要求3所述的基于Transformer
‑
MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S3的具体过程为：S31、构建由聚类嵌入模块、Transformer编码器和分类头三部分组成的Transformer
‑
MIL模型；S32、聚类嵌入模块按照类别重新排列patches；S33、将重新排列的patches输入到Transformer编码器之前，将所有类别合并在一起；S34、对于Transformer编码器，使用N个重复的编码器模块将200个实例级特征嵌入到包表示中。5.如权利要求4所述的基于Transformer
‑
MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S34中每个所述编码器模块由一个多头自注意力模块MHA、一个具有残差连接的前馈网络FFN和两层归一化LN层组成，即:Block(X
i
)＝A+FFN(LN(A))A＝X
i
‑1+MHA(LN(X
i
‑1))其中，X
i
是第i个编码器块后的特征映射，X0是聚类嵌入后的200个实例级特征向量，将一个可学习模块嵌入用作分类标记；所述编码器模块中的多头自注意力模块通过多次使用key
‑
value attention来实现嵌入，其定义如下：MHA(Q，K，V)＝Concat(Head1，
…
，Head
M
)W
o
其中，映射是参数矩阵其中，映射是参数矩阵d
model
是Transformer
‑
MIL模型的特征嵌入维度；Q、K和V是一组查询、键和值的矩阵，M是注意头的数量，d
k
是键和查询的维度，d
V
是值的维度；在获得包的表示之后，通过由两个隐藏层组成的多层感知机MLP将其映射到最终预测。6.如权利要求5所述的基于Transformer
‑
MIL的甲状腺乳头状癌...

【专利技术属性】
技术研发人员：丁鑫，廖雪洪，余淑琦，王连生，王志华，
申请(专利权)人：厦门大学附属中山医院，
类型：发明
国别省市：