【技术实现步骤摘要】
本专利技术属于图像分析的，具体涉及一种基于倍率对齐transformer的病理图像快速分析方法及装置。
技术介绍
1、组织病理学切片可以通过病理数字化扫描仪转化成全玻片病理图像(whole-slide images,wsis)。随着图像处理技术的发展，利用计算机算法实现病理智能辅助诊断已成为可能，并由此衍生出计算病理学。近年来，随着人工智能技术的高速发展，深度学习在许多计算病理任务中都取得了令人瞩目的成绩，例如癌症的诊断，预后和风险分层等等。尽管深度学习模型在上述预测任务可取得优异的性能，但它们在图像处理的速度和效率上仍然较为低下。例如，现有的方法对一张完整的wsi进行预测分析需要5到10分钟的时间，很难满足临床诊断的实效性。
2、影响计算效率的主要因素是wsi千兆级别的图像分辨率。为了获取足够的图像信息，现有的方法通常在高放大倍率(如400倍或200倍)下处理wsi。尽管已经对图像做了一定程度的压缩，但所需要的计算资源和计算时间依然十分庞大。另一方面，尽管使用更低分辨率的图像(如100倍或50倍)可以极大的减少所需要的计算时间和资源，但却会到来严重的图像信息丢失问题，大大降低了模型的准确性。所以，模型性能和效率之间的平衡其实是模型性能与分辨率之间的权衡。
3、要充分利用低倍率的图像，就要解决以下两个问题。一、低倍率的图像是否具备诊断价值；二、深度学习是否可以从低倍率图像中恢复预测信息。在临床上，医生可以在较低的倍率下做出初步的判断，这可以说明低倍率图像具备一定的诊断价值；在技术方面，已经有大量的研究证明
4、可是，虽然使用低倍率图像可以节省大量的时间和计算资源，但低倍率的图像丢失了大量的细节信息，会导致模型性能严重退化；而现有的方法在高放大倍率(如400倍或200倍)下对病理图像进行分析，需要消耗大量的时间和计算资源，难以满足实际应用的要求，因此如何充分结合高低倍率的图像优点对病理图像进行快速分析是亟待解决的问题。
技术实现思路
1、本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于倍率对齐transformer的病理图像快速分析方法及装置。本专利技术提出一种mat分类网络模型，利用自监督倍率对齐机制将低倍率图像在特征层面上对齐到高倍率，同时利用cnn-transformer注意力机制对病理图像特征进行预测，充分利用了低倍率图像的信息，并大大减少了模型预测所需要的时间和空间成本。
2、为了达到上述目的，本专利技术采用以下技术方案：
3、第一方面，本专利技术提供了一种基于倍率对齐transformer的病理图像快速分析方法，包括下述步骤：
4、获取病理图像数据集，识别并分割组织区域，获得wsi组织区域的掩膜，并利用掩膜对wsi组织区域进行切patch操作；筛选经过切patch操作的wsi组织区域，剔除内部所包含的组织区域面积过少的patch，获取patch集；所述组织区域面积根据与patch相同位置的掩膜中所包含的组织面积计算得到；
5、构建mat分类网络模型，所述mat分类网络模型包括自监督倍率对齐模块、全局-局部transformer分类模块；所述自监督倍率对齐模块包括两个结构相同的特征提取器，分别用于提取高倍率特征和生成语义上高度相似的对齐特征；所述全局-局部transformer分类模块包括全局注意力模块和局部注意力模块，所述全局注意力模块利用transformer对全局信息的学习能力，发掘实例间的全局特征；所述局部注意力机制利用cnn对细节信息的学习能力，发掘实例时间的局部特征；所述全局注意力模块和局部注意力模块发掘的特征进行聚合，由一个全连接层推理得到预测结果；
6、对mat分类网络模型进行训练，利用patch集对mat分类网络模型进行自监督倍率对齐训练，将低倍率图像在特征层面上对齐到高倍率，获取倍率对齐的patch集；在全局注意力模块中利用transformer发掘倍率对齐的patch集的全局信息，在局部注意力模块中利用cnn捕捉倍率对齐的patch集的局部信息，然后根据全局信息和局部信息聚合病理图像特征，通过全连接层推理预测结果，然后计算预测损失，通过反向传播算法获取训练好的mat分类网络模型；所述transformer中的自注意力机制覆盖所有的patch，从而获取全局的注意力，所述局部注意力模块中cnn固定大小的卷积核和滑动窗口机制对临近patch更加敏感；
7、利用训练好的mat分类网络模型获取病理图像分类预测结果。
8、作为优选的技术方案，所述识别并分割组织区域，获得wsi组织区域的掩膜，并利用掩膜对wsi组织区域进行切patch操作，具体为：
9、利用imagenet对病理图像数据集进行二分类，识别出正常组织区域与空白和污染区域，获取wsi组织区域的掩膜；
10、将wsi组织区域的掩膜进行切patch操作，所有图像都被裁剪成设定尺寸的patch，然后输入在image net上预训练的resnet50进行特征提取；所述patch的大小随着所使用图像的倍率等比变化。
11、作为优选的技术方案，所述利用patch集对mat分类网络模型进行自监督倍率对齐训练，具体为：
12、利用两个结构相同的任务依赖特征提取器φhigh(·)和φalign(·)，冻结φhigh(·)的参数，提取高倍率特征和生成语义上高度相似的对齐特征，即φhigh(·)接受高倍率图像输入，并输出高倍率特征，φalign(·)接受与高倍率图像相同视野的低分辨率图像，生成语义上高度相似的对齐特征；
13、对高倍率特征和对齐特征使用l1损失减少不同放大率特征的绝对距离，实现语义对齐，损失函数如下所示：
14、
15、其中xi是φhigh(·)第i个块的输出特征，xi是φalign(·)第i个块的输出特征。
16、作为优选的技术方案，所述在全局注意力模块中利用transformer发掘倍率对齐的patch集的全局信息，具体为：
17、在全局注意力模块中将patch集的特征fb×(n+1)×l输入全局注意力模块，在全局注意力模块中利用transformer发掘倍率对齐的patch集的全局信息outb×(n+1)×l，即首先使用全连接层生成q，k，v向量，然后用q，k向量按照自注意力机制生成全局注意力，接着与v做向量点乘，最后与随机初始化的class token进行串联，得到最终的输出，完整的过程定义：
18、q＝mlp(fb×n×l)
19、k＝mlp(fb×n×l)
20、v＝mlp(fb×n×l)
21、attb×n×l＝softmax(transpose0，2，1(q×k))
22、attb×n×l＝concat(v×transpose0，本文档来自技高网...
【技术保护点】
1.基于倍率对齐Transformer的病理图像快速分析方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于倍率对齐Transformer的病理图像快速分析方法，其特征在于，所述识别并分割组织区域，获得WSI组织区域的掩膜，并利用掩膜对WSI组织区域进行切Patch操作，具体为：
3.根据权利要求1所述基于倍率对齐Transformer的病理图像快速分析方法，其特征在于，所述利用Patch集对MAT分类网络模型进行自监督倍率对齐训练，具体为：
4.根据权利要求1所述基于倍率对齐Transformer的病理图像快速分析方法，其特征在于，所述在全局注意力模块中利用Transformer发掘倍率对齐的Patch集的全局信息，具体为：
5.根据权利要求1所述基于倍率对齐Transformer的病理图像快速分析方法，其特征在于，所述在局部注意力模块中利用CNN捕捉倍率对齐的Patch集的局部信息，具体为：
6.根据权利要求1所述基于倍率对齐Transformer的病理图像快速分析方法，其特征在于，所述通过全连接层推理预测结
7.根据权利要求1所述基于倍率对齐Transformer的病理图像快速分析方法，其特征在于，所述对MAT分类网络模型进行训练，还包括以下步骤：
8.根据权利要求1所述基于倍率对齐Transformer的病理图像快速分析方法，其特征在于，使用均值操作全局信息和局部信息聚合病理图像特征。
9.基于倍率对齐Transformer的病理图像快速分析系统，其特征在于，应用于权利要求1-7中任一项所述的基于倍率对齐Transformer的病理图像快速分析方法，包括特征工程模块、模型构建模块、对齐与注意力训练模块和图像测试模块；
10.一种电子设备，其特征在于，所述电子设备包括：
...【技术特征摘要】
1.基于倍率对齐transformer的病理图像快速分析方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于倍率对齐transformer的病理图像快速分析方法，其特征在于，所述识别并分割组织区域，获得wsi组织区域的掩膜，并利用掩膜对wsi组织区域进行切patch操作，具体为：
3.根据权利要求1所述基于倍率对齐transformer的病理图像快速分析方法，其特征在于，所述利用patch集对mat分类网络模型进行自监督倍率对齐训练，具体为：
4.根据权利要求1所述基于倍率对齐transformer的病理图像快速分析方法，其特征在于，所述在全局注意力模块中利用transformer发掘倍率对齐的patch集的全局信息，具体为：
5.根据权利要求1所述基于倍率对齐transformer的病理图像快速分析方法，其特征在于，所述在局部注意力模块中利用cnn捕捉倍率...
【专利技术属性】
技术研发人员：刘再毅，韩楚，赵秉超，林佳泰，石镇维，黄燕琪，
申请(专利权)人：广东省人民医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。