基于上下文感知多尺度特征融合的乳腺病理图像识别系统技术方案

本发明专利技术公开一种基于上下文感知多尺度特征融合的乳腺病理图像识别系统，包括：提取乳腺组织病理图像的多尺度特征；对多尺度特征图采用十字交叉注意力机制提取广泛的上下文信息；对多尺度上下文视图自上而下依次进行上采样操作并与相邻低层的上下文视图进行级联后，对每个尺度所对应分支的输出特征图经降维后，通过全局平均池化进行尺寸统一与拼接融合得到多尺度融合特征；根据多尺度融合特征得到图像类别预测结果。通过融合多尺度上下文信息来增强特征与类别之间的相关性，将不同分支获取的不同层次的上下文信息进行两次融合以表示图像的综合特征，实现多尺度的上下文感知信息的聚合，提升分类准确率。提升分类准确率。提升分类准确率。

【技术实现步骤摘要】
基于上下文感知多尺度特征融合的乳腺病理图像识别系统


[0001]本专利技术涉及乳腺病理图像识别
，特别是涉及一种基于上下文感知多尺度特征融合的乳腺病理图像识别系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]乳腺癌的早期诊断对于疾病的治疗和预防至关重要，而诊断乳腺癌的金标准是乳房穿刺活检的组织病理学图像分析。在诊断过程中，操作人员用苏木精
‑
伊红(Hematoxylin and Eosin,H&E)将获取的组织切片染色，使用显微镜评估组织细胞的形态以确定该乳腺病变的良恶性。
[0004]基于显微镜的乳腺病理图像识别存在三方面的难题。一是显微图像通常具有极高的分辨率，因此包含丰富的结构信息和细节，难以在单个尺度上有效地表征。二是来自不同类别的显微图像可能呈现部分特征重叠的情况，这会干扰癌症检测。例如在较小的显微镜放大倍数下采集的图像几乎都包含乳腺的正常组织区域，这给乳腺病变的特征提取和分类带来困难。三是不同类别的乳腺病变之本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，包括：图像获取模块，被配置为获取乳腺组织病理图像；多尺度特征提取模块，被配置为提取乳腺组织病理图像的多尺度特征图；上下文感知模块，被配置为对多尺度特征图采用十字交叉注意力机制提取上下文信息，得到上下文视图；多尺度特征融合模块，被配置为对多尺度的上下文视图自上而下依次进行上采样操作并与相邻低层的上下文视图进行级联后，对每个尺度所对应分支的输出特征图经降维后，通过全局平均池化进行尺寸统一与拼接融合，得到多尺度融合特征；图像识别模块，被配置为根据多尺度融合特征得到图像类别预测结果。2.如权利要求1所述的基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，所述上下文感知模块中，对多尺度特征提取模块顶层获取的特征图和其他尺度的特征图均进行降维处理；对其他尺度的特征图经降维处理后，采用十字交叉注意力机制提取上下文信息，以得到上下文视图。3.如权利要求2所述的基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，所述上下文感知模块中，对多尺度特征图采用1*1卷积进行降维处理。4.如权利要求1所述的基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，所述十字交叉注意力机制包括：对输入的特征图采用1*1卷积得到特征图Q、K和V；获取特征图Q在空间维度任意位置的特征向量；获取在特征图K空间维度任意位置上提取的十字路径上的特征向量；获取两个特征向量的相关性矩阵，根据相关性矩阵得到注意力特征图；将特征图V与注意力特征图进行聚合操作，根据聚合操作得到的上下文信息与输入的特征图，得到上下文视图。5.如权利要求4所述的基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，所述相关性矩阵为：其中，Q
u
为特征图Q在空间维度任意位置u的特征向量；Ω
u
为在特征图K空间维度任意位置u上提取的十字路径上的特征向量，Ω
i,u
是Ω
u
的第i个元素。6.如权利要求4所述的基于上下文感知多尺度特征融合的乳腺病理图像识别系统，其特征在于，所述聚合操作为：其中，Φ

【专利技术属性】
技术研发人员：马昕，王煦，朱江，李丽，
申请(专利权)人：山东大学，
类型：发明
国别省市：