基于人工智能的胸腺瘤组织病理的分型方法及装置制造方法及图纸

本发明专利技术涉及一种基于人工智能的胸腺瘤组织病理的分型方法及装置，所述方法包括获取待分型的胸腺瘤组织病理学全玻片图像；将待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；其中，交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。本发明专利技术综合利用了胸腺瘤组织病理学全玻片图像，有效地模拟了病理学专家综合观察一个组织病理学全玻片图像中多个多尺度的局部图像补丁，以确定病理信息类别，进而诊断出相应的胸腺瘤分型的过程，因此可以精确地预测病理信息类别及胸腺瘤分型。精确地预测病理信息类别及胸腺瘤分型。精确地预测病理信息类别及胸腺瘤分型。

【技术实现步骤摘要】
基于人工智能的胸腺瘤组织病理的分型方法及装置


[0001]本专利技术属于神经网络
，具体涉及一种基于人工智能的胸腺瘤组织病理的分型方法及装置。

技术介绍

[0002]随着近年来深度学习技术的飞速发展，目前对胸腺瘤组织病理学全玻片图像的分析不再完全依赖于医生费时费力的视觉观察和人工注释，也可以通过高效的计算机辅助诊断系统实现对全玻片图像的分析，帮助医生获得详细的胸腺瘤病理信息和准确的胸腺瘤分型结果。现有技术主要包括基于卷积神经网络的方法和基于视觉Transformer的方法，具体如下：
[0003]卷积神经网络：卷积神经网络一直是计算机视觉领域中的主流网络之一，在医学图像处理等大多数计算机视觉任务中都有出色的表现。然而，卷积神经网络本身存在一些固有的局限性，比如难以建模远程依赖关系和局部感受野。
[0004]视觉Transformer：针对上述卷积神经网络存在的问题，视觉Transformer应运而生，包括SwinTransformer、金字塔视觉Transformer、LeViT、TNT、T2T
‑
ViT、IPT和Uformer等。相比于卷积神经网络，视觉Transformer可以更好的建模全局特征关系，在各种高级和低级视觉任务上都表现出了优异的性能。然而，现有的视觉Transformer也难以有效地用于胸腺瘤组织病理学全玻片图像的分型，主要是存在以下两个问题。其一，由于多头自注意力机制的存在，视觉Transformer的计算成本通常较大，不适合直接处理百万级分辨率的全玻片图像。其二，胸腺瘤组织病理学全玻片图像一般具有多种尺度信息，例如，10倍、20倍和40倍放大的图像。现有的视觉Transformer虽然可以有效地建模全局和局部的特征关系，但是其中大多数没有考虑图像多尺度特征之间的互补性，未能综合利用图像的多尺度信息。因此，目前对胸腺瘤组织病理学的分析无法综合多尺度信息，导致分型结果不够精确。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种基于人工智能的胸腺瘤组织病理的分型方法及装置，以解决现有技术中胸腺瘤组织病理学的分析无法综合多尺度信息，导致分型结果不够精确的问题。
[0006]为实现以上目的，本专利技术采用如下技术方案：一种基于人工智能的胸腺瘤组织病理的分型方法，包括：
[0007]获取待分型的胸腺瘤组织病理学全玻片图像；
[0008]将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；
[0009]其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信
息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。
[0010]进一步的，所述多路径跨尺度视觉Transformer模型的训练方法，包括：
[0011]通过高通量数字扫描仪扫描预获取的胸腺癌患者的苏木精
‑
伊红染色拨片，得到胸腺瘤组织病理学全玻片图像；
[0012]将所述全玻片图像进行多种比例的放大处理，并将放大后的全玻片图像划分为预设个数的非重叠的补丁全玻片图像；
[0013]对所述补丁全玻片图像进行胸腺瘤分型标记，标记后的补丁全玻片图像形成训练集；
[0014]将所述训练集输入预构建的多路径跨尺度视觉Transformer模型中进行训练，得到训练好的多路径跨尺度视觉Transformer模型。
[0015]进一步的，所述交叉尺度感知Transformer模型包括局部引导分支、特征聚合分支和全局引导分支三条输入路径，每个输入路径接收不同尺度的全玻片图像；
[0016]所述局部引导分支、特征聚合分支和全局引导分支均包括依次连接的卷积单元、第一阶段、第二阶段、第三阶段、连接层、全局平均池化层和全连接层；所述全局平均池化层用于预测图像补丁的病理信息类别；
[0017]所述卷积单元用于对输入的补丁全玻片图像进行卷积处理；
[0018]所述第一阶段、第二阶段及第三阶段用于对卷积处理后的补丁全玻片图像进行多尺度特征提取；
[0019]所述连接层用于融合三个分支经过三个阶段的特征提取输出的多尺度特征；
[0020]所述全局平均池化层用于预测输出图像补丁的病理信息类别；
[0021]所述全连接层用于输出预测的图像补丁的病理信息类别。
[0022]进一步的，所述第一阶段包括：依次连接的补丁合并层、多个基本Transformer块、形状重塑层和补丁合并层；所述第二阶段包括：依次连接的多个基本Transformer块、形状重塑层和补丁合并层；所述第三阶段包括：多个基本Transformer块；
[0023]所述补丁合并层用于将输入的补丁全玻片图像分割展开为非重叠的一维特征，将所述一维特征映射到预设维度大小的特征，所述补丁合并层还用于在每个阶段的最后一个基本Transformer块之后，补丁合并层对特征进行下采样，以生成层次特征表示。
[0024]进一步的，所述特征聚合分支的第一阶段、第二阶段和第三阶段还包括子连接层，每个所述子连接层用于融合三个分支的补丁合并层输出的多尺度特征。
[0025]进一步的，所述局部引导分支的基本Transformer块为具有基于窗口的多头自注意力机制的局部Transformer块；
[0026]所述特征聚合分支的基本Transformer块为具有空间缩减注意力机制的互相关注意力块；
[0027]所述全局引导分支的基本Transformer块为具有多头注意力机制的全局Transformer块。
[0028]进一步的，所述具有基于窗口的多头自注意力机制的局部Transformer块，包括：基于窗口的多头自注意力模块、基于移动窗口的多头自注意力模块、多个层归一化及多个多层感知器；
[0029]所述具有空间缩减注意力机制的互相关注意力块，包括：互相关注意力模块、空间
缩减注意力谋爱、多个层归一化和多层感知器
[0030]所述具有多头注意力机制的全局Transformer块，包括多头自注意力模块、多层感知器和层归一化。
[0031]进一步的，所述互相关注意力模块，用于将来自三个分支的大小均为c
×
hw的特征连接起来，然后将其大小重塑为3
×
c
×
h
×
w，经过1
×
1卷积后得到特征f1；
[0032]将来自特征聚合分支的特征重塑为大小为c
×1×
h
×
w的特征f2；
[0033]特征f1和f2进行批次相乘，并通过Sigmoid激活函数生成大小为3...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的胸腺瘤组织病理的分型方法，其特征在于，包括：获取待分型的胸腺瘤组织病理学全玻片图像；将所述待分型的胸腺瘤组织病理学全玻片图像输入至训练好的多路径跨尺度视觉Transformer模型中，得到分型结果；其中，所述多路径跨尺度视觉Transformer模型包括交叉尺度感知Transformer模型和全玻片图像Transformer模型；所述交叉尺度感知Transformer模型用于对胸腺瘤组织病理学全玻片图像进行病例信息分类，所述全玻片图像Transformer模型用于根据病例信息分类后的胸腺瘤组织病理学全玻片图像输出胸腺瘤分型。2.根据权利要求1所述的方法，其特征在于，所述多路径跨尺度视觉Transformer模型的训练方法，包括：通过高通量数字扫描仪扫描预获取的胸腺癌患者的苏木精
‑
伊红染色拨片，得到胸腺瘤组织病理学全玻片图像；将所述全玻片图像进行多种比例的放大处理，并将放大后的全玻片图像划分为预设个数的非重叠的补丁全玻片图像；对所述补丁全玻片图像进行胸腺瘤分型标记，标记后的补丁全玻片图像形成训练集；将所述训练集输入预构建的多路径跨尺度视觉Transformer模型中进行训练，得到训练好的多路径跨尺度视觉Transformer模型。3.根据权利要求2所述的方法，其特征在于，所述交叉尺度感知Transformer模型包括局部引导分支、特征聚合分支和全局引导分支三条输入路径，每个输入路径接收不同尺度的全玻片图像；所述局部引导分支、特征聚合分支和全局引导分支均包括依次连接的卷积单元、第一阶段、第二阶段、第三阶段、连接层、全局平均池化层和全连接层；所述全局平均池化层用于预测图像补丁的病理信息类别；所述卷积单元用于对输入的补丁全玻片图像进行卷积处理；所述第一阶段、第二阶段及第三阶段用于对卷积处理后的补丁全玻片图像进行多尺度特征提取；所述连接层用于融合三个分支经过三个阶段的特征提取输出的多尺度特征；所述全局平均池化层用于预测输出图像补丁的病理信息类别；所述全连接层用于输出预测的图像补丁的病理信息类别。4.根据权利要求3所述的方法，其特征在于，所述第一阶段包括：依次连接的补丁合并层、多个基本Transformer块、形状重塑层和补丁合并层；所述第二阶段包括：依次连接的多个基本Transformer块、形状重塑层和补丁合并层；所述第三阶段包括：多个基本Transformer块；所述补丁合并层用于将输入的补丁全玻片图像分割展开为非重叠的一维特征，将所述一维特征映射到预设维度大小的特征，所述补丁合并层还用于在每个阶段的最后一个基本Transformer块之后，补丁合并层对特征进行下采样，以生成层次特征表示。5.根据权利要求4所述的方法，其特征在于，所述特征聚合分支的第一阶段、第二阶段和第三阶段还包括子连接层，每个所述子连接层用于融合三个分支的补丁合并层输出的多尺度特征。
6.根据权利要求4所述的方法，其特征在于，所述局部引导分支的基本Transformer块为具有基于窗口的多头自注意...

【专利技术属性】
技术研发人员：陈皇，张花齐，秦晋，钟定荣，刘杰，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：