基于上下文感知多尺度特征融合的乳腺病理图像识别系统技术方案

本发明专利技术公开一种基于上下文感知多尺度特征融合的乳腺病理图像识别系统，包括：提取乳腺组织病理图像的多尺度特征；对多尺度特征图采用十字交叉注意力机制提取广泛的上下文信息；对多尺度上下文视图自上而下依次进行上采样操作并与相邻低层的上下文视图进行级联后，对每个尺度所对应分支的输出特征图经降维后，通过全局平均池化进行尺寸统一与拼接融合得到多尺度融合特征；根据多尺度融合特征得到图像类别预测结果。通过融合多尺度上下文信息来增强特征与类别之间的相关性，将不同分支获取的不同层次的上下文信息进行两次融合以表示图像的综合特征，实现多尺度的上下文感知信息的聚合，提升分类准确率。提升分类准确率。提升分类准确率。

【技术实现步骤摘要】
基于上下文感知多尺度特征融合的乳腺病理图像识别系统


[0001]本专利技术涉及乳腺病理图像识别
，特别是涉及一种基于上下文感知多尺度特征融合的乳腺病理图像识别系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]乳腺癌的早期诊断对于疾病的治疗和预防至关重要，而诊断乳腺癌的金标准是乳房穿刺活检的组织病理学图像分析。在诊断过程中，操作人员用苏木精
‑
伊红(Hematoxylin and Eosin,H&E)将获取的组织切片染色，使用显微镜评估组织细胞的形态以确定该乳腺病变的良恶性。
[0004]基于显微镜的乳腺病理图像识别存在三方面的难题。一是显微图像通常具有极高的分辨率，因此包含丰富的结构信息和细节，难以在单个尺度上有效地表征。二是来自不同类别的显微图像可能呈现部分特征重叠的情况，这会干扰癌症检测。例如在较小的显微镜放大倍数下采集的图像几乎都包含乳腺的正常组织区域，这给乳腺病变的特征提取和分类带来困难。三是不同类别的乳腺病变之间差异较小，而相同类别的病变在病理图像的形态学外观上具有较小的差异。
[0005]那么，病理学家每天待阅的组织病理图像数量巨大且具有超高分辨率，在视觉疲劳的情况下容易忽略微小病变导致误判；此外，不同乳腺组织病理切片的空间差异具有多样性，肿块从良性到恶性的组织学特征没有一个明确的界限，在短时间内病理学专家很难将诊断经验完全传授给初级医师。
[0006]随着机器学习的不断发展，传统的机器学习方法成为最常用的图像分析辅助手段。先前的乳腺病理图像辅助分析大多是采用手工设计特征来表征乳腺细胞的多样性。然而传统方法往往具有大型且复杂的特征工程阶段，其数据特征主要依靠专家经验获取，很难捕捉潜在的抽象特征，不同任务之间的特征提取方法大多不具有通用性。
[0007]基于深度学习的方法在一定程度上弥补了传统机器学习方法的局限性，且捕捉上下文信息对于获取病理图像中组织细胞与其周围背景之间的关联是必要的，现有的用于上下文信息的模型采用单个CNN网络，无法保证持续提取高质量特征，通过集成多个网络的特征或结果可以提高网络分类性能，但是在设计过程中大多忽略了多尺度信息在各种检测任务中的重要性。在病理诊断的过程中，专家在查看显微镜图像时往往交替使用不同的放大倍数，因此病理图像的多尺度信息必然在分类中发挥关键作用。
[0008]而现有的多输入分支网络或多特征提取网络虽然在一定程度上具有较好的表现，但模型复杂度较高，对计算机的性能带来较大考验。由于数据有限，这些模型中的大多数都会表现出某种程度的过拟合。现有方法并未研究单个模型本身不同特征层具有的多尺度特征，或未充分利用这些有效的多尺度特征，这只能导致有限的性能改进。此外，由于病变大小具有多样性，全局检测对于图像中存在大量不利于类别预测的无关特征的情况是有意义
的，而一般的卷积神经网络本身并不具备这样广泛的上下文信息检测能力。

技术实现思路

[0009]为了解决上述问题，本专利技术提出了一种基于上下文感知多尺度特征融合的乳腺病理图像识别系统，通过融合多尺度上下文信息来增强特征与类别之间的相关性，将不同分支获取的不同层次的上下文信息进行两次融合以表示图像的综合特征，实现多尺度的上下文感知信息的聚合，提升分类准确率。
[0010]为了实现上述目的，本专利技术采用如下技术方案：
[0011]第一方面，本专利技术提供一种基于上下文感知多尺度特征融合的乳腺病理图像识别系统，包括：
[0012]图像获取模块，被配置为获取乳腺组织病理图像；
[0013]多尺度特征提取模块，被配置为提取乳腺组织病理图像的多尺度特征；
[0014]上下文感知模块，被配置为对两个尺度的特征图采用十字交叉注意力机制提取广泛的上下文信息，得到上下文视图；
[0015]多尺度特征融合模块，被配置为对两个尺度的上下文视图自上而下依次进行上采样操作并与相邻低层的上下文视图进行级联后，对每个尺度所对应分支的输出特征图经降维后，通过全局平均池化进行尺寸统一与拼接融合，得到多尺度融合特征；
[0016]图像识别模块，被配置为根据多尺度融合特征得到图像类别预测结果。
[0017]作为可选择的实施方式，所述上下文感知模块中，对多尺度特征提取模块顶层获取的特征图和其他尺度的特征图均进行降维处理；对其他尺度的特征图经降维处理后，采用十字交叉注意力机制提取广泛的上下文信息，以得到上下文视图。
[0018]作为可选择的实施方式，所述上下文感知模块中，对多尺度特征采用1*1卷积进行降维处理。
[0019]作为可选择的实施方式，所述十字交叉注意力机制包括：
[0020]对输入的特征图采用1*1卷积得到特征图Q、K和V；
[0021]获取特征图Q在空间维度任意位置的特征向量；
[0022]获取在特征图K空间维度任意位置上提取的十字路径上的特征向量；
[0023]获取两个特征向量的相关性矩阵，根据相关性矩阵得到注意力特征图；
[0024]将特征图V与注意力特征图进行聚合操作，根据聚合操作得到的上下文信息与输入的特征图，得到上下文视图。
[0025]作为可选择的实施方式，所述相关性矩阵为：其中，Q
u
为特征图Q在空间维度任意位置u的特征向量；Ω
u
为在特征图K空间维度任意位置u上提取的十字路径上的特征向量，Ω
i,u
是的第i个元素。
[0026]作为可选择的实施方式，所述聚合操作为：其中，是在特征图V的位置u处提取的交叉路径上特征向量的集合，Φ
i,u
是Φ
u
的第i个元素，H
″
u
为上下文信息，A
i,u
为注意力特征图。
[0027]作为可选择的实施方式，所述上下文视图获取过程为：H
′
u
＝H
u
+H
″
u
；其中，H
′
u
为上下文视图，H
u
为输入的特征图。
[0028]作为可选择的实施方式，所述多尺度特征融合模块中，对输出特征图采用1*1卷积进行降维。
[0029]第二方面，本专利技术提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成基于上下文感知多尺度特征融合的乳腺病理图像识别方法；
[0030]所述乳腺病理图像识别方法包括：
[0031]获取乳腺组织病理图像；
[0032]提取乳腺组织病理图像的多尺度特征；
[0033]对两个尺度的特征图采用十字交叉注意力机制提取广泛的上下文信息，得到上下文视图；
[0034]对两个尺度的上下文视图自上而下依次进行上采样操作并与相邻低层的上下文视图进行级联后，对每个尺度所对应分支的输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，包括：图像获取模块，被配置为获取乳腺组织病理图像；多尺度特征提取模块，被配置为提取乳腺组织病理图像的多尺度特征图；上下文感知模块，被配置为对多尺度特征图采用十字交叉注意力机制提取上下文信息，得到上下文视图；多尺度特征融合模块，被配置为对多尺度的上下文视图自上而下依次进行上采样操作并与相邻低层的上下文视图进行级联后，对每个尺度所对应分支的输出特征图经降维后，通过全局平均池化进行尺寸统一与拼接融合，得到多尺度融合特征；图像识别模块，被配置为根据多尺度融合特征得到图像类别预测结果。2.如权利要求1所述的基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，所述上下文感知模块中，对多尺度特征提取模块顶层获取的特征图和其他尺度的特征图均进行降维处理；对其他尺度的特征图经降维处理后，采用十字交叉注意力机制提取上下文信息，以得到上下文视图。3.如权利要求2所述的基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，所述上下文感知模块中，对多尺度特征图采用1*1卷积进行降维处理。4.如权利要求1所述的基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，所述十字交叉注意力机制包括：对输入的特征图采用1*1卷积得到特征图Q、K和V；获取特征图Q在空间维度任意位置的特征向量；获取在特征图K空间维度任意位置上提取的十字路径上的特征向量；获取两个特征向量的相关性矩阵，根据相关性矩阵得到注意力特征图；将特征图V与注意力特征图进行聚合操作，根据聚合操作得到的上下文信息与输入的特征图，得到上下文视图。5.如权利要求4所述的基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，所述相关性矩阵为：其中，Q
u
为特征图Q在空间维度任意位置u的特征向量；Ω
u
为在特征图K空间维度任意位置u上提取的十字路径上的特征向量，Ω
i,u
是Ω
u
的第i个元素。6.如权利要求4所述的基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，所述聚合操作为：其中，Φ

【专利技术属性】
技术研发人员：马昕，王煦，朱江，李丽，
申请(专利权)人：山东大学，
类型：发明
国别省市：