基于语义空间注意力的病理图像分类方法技术

本发明专利技术公开了一种基于语义空间注意力的病理图像分类方法，该方法通过提取语义信息并融入注意力机制实现对病理图像的分类。本发明专利技术考虑到病理图像中细胞区域占比少，可以通过在相同语义区域内充分交互信息，加强对细胞区域的专注。本发明专利技术的创新点在于从信息交互的角度，融入了语义信息并指导注意力，构建了基于语义级别的空间注意力机制，打破了原先基于像素级别的空间注意力信息交互的区域局限性。本发明专利技术的病理图像分类框架由语义信息提取网络模型和空间注意力机制组成，同时推导了语义信息提取网络模型的建模过程和空间注意力生成过程，给出了详细的应用方案。给出了详细的应用方案。给出了详细的应用方案。

【技术实现步骤摘要】
基于语义空间注意力的病理图像分类方法


[0001]本专利技术涉及计算机
，涉及病理图像分类技术，特别涉及一种基于语义空间注意力的病理图像分类方法。

技术介绍

[0002]
技术介绍
涉及三大块：无监督分割，注意力机制，病理图像分类。
[0003]1)无监督分割
[0004]分割算法目的在于从图像中分离出特定的对象区域，分割后，每个区域内的像素一般比较相似，具有相似的语义。随着深度学习的发展，神经网络在图像分割上展现出优越的性能，图像分割可以看作是一种像素级别的分类。根据分割的标签粒度，可以分成有监督分割、弱监督分割、半监督分割和无监督分割等。有监督分割是一种最基本的分割方法，需要像素级别的标签，制作标签的成本也最大。弱监督分割依赖于点级别、目标框或者图像类别的标签。半监督分割中，只有部分样本的标签可以获得。无监督分割不需要图像的标签或者对象的信息，自动从图像中找到可以分离的物体，这需要依靠一些预处理的图像分割算法，比如Slic和Felz算法，然后将这些粗糙的分割结果进一步优化。
[0005]无监督分割主要依靠一些无监督的方法，常见的有K
‑
means聚类、均值漂移和基于区域的分割。K
‑
means将像素聚成k个簇，这些簇通常表示不同的物体或者区域。均值飘移也是一种聚类技术，通过对密度的估计来找到像素的聚类中心，这是一种非参数的方法。均值漂移开始选择一个随机点，然后沿着密度更高的方向移动，最终找到一个局部的密度区域最大值。基于区域的分割的基本思想是将图像分成多个不同的区域，每个区域有共同的属性，例如相同的颜色、纹理等。通常采用基于阈值的方法或者边缘检测的方法，多个的区域也可以进一步合并成一个大的区域。
[0006]无监督分割网络有基于自编码的和基于稀疏编码的方法等。基于自编码的方法通过编码器将输入的图像编码成低维特征向量，解码器将其恢复成原始数据并进行分割预测。基于稀疏编码的方式使用稀疏编码来表示稀疏特征，并将像素分配到指定区域。稀疏编码可以从原始数据中提取重要的特征，使得像素更容易被分类。
[0007]2)注意力机制
[0008]注意力机制是深度学习中常见的技术，注意力机制的核心是使网络模型更加关注于判别性的区域。自注意力的成功设计引起了很多的相关研究，除了自注意力，还有其他一些主流的注意力方法，例如通道注意力和空间注意力。通道注意力主要侧重于学习与通道相关的注意力权重，使得网络模型关注于重要的通道，抑制不关键的通道。SENet是经典的基于通道注意力的方法，Squeeze和Excitation是两个针对通道的关键操作，建模了通道间相互依赖的关系。空间注意力侧重于学习特征图的空间关系，目标是学习空间相关的注意力权重。在特征图中，计算一个点与其他位置的关系，可以得到注意力权重；也可以通过最大池化和平均池化来计算空间注意力权重。CBAM是经典的融合了通道注意力和空间注意力的方法，其中通道注意力和空间注意力都是通过池化来获得，这种不引入额外学习参数的
简单方法却能有效提升网络模型性能，但是这种设计本质上仍旧缺乏像素信息的交互能力。空间注意力的权重值可以直观地显示出网络模型所关注的区域，这种空间注意力在一定程度上也可以作为网络模型的可解释性。目前有研究针对空间注意力的一致性进行了探索，让网络模型在不同深度的特征图的注意力分布保持一致。
[0009]3)病理图像分类
[0010]图像分类是一种最基本的机器学习任务，用于对图像进行分类。图像分类根据输入的图像，提取特征表示，进行类别预测。随着卷积神经网络的发展，分类网络模型的预测性能已经接近人类的水平，甚至在一些领域上超越了人类的分类水平。这些网络模型往往需要大量的人工标记的图像数据用于训练，在测试阶段，网络模型对新的图像进行预测。
[0011]病理图像分类是图像分类任务中特殊的一类，它使用计算机视觉技术对医学图像进行分类。病理图像通常是组织切片或者细胞切片的数字化图像。病理图像分类是将病理图像自动分类为不同的类别，例如正常组织、恶性肿瘤或者良性肿瘤。病理图像分类可以辅助病理医生诊断，大大减轻病理医生的工作量。
[0012]目前有一系列的针对病理图像分类的方法被提出，主要有基于多视图的，基于多尺度的和多实例学习的方法。基于多视图的方法在学习一致性的同时，结合了多个视图的互补信息，例如结合传统的纹理信息和神经网络的深度特征图。基于多尺度的方法结合了不同的放大倍率的图像，避免放大倍率带来的视觉干扰。多实例学习解决病理图像中全切片诊断问题，其中超大像素的全切片当作包，patch当作包中的实例。一系列针对提取病理图像特征的方法也被提出，更加关注于浅层的纹理信息或者上下文全局的信息。然而这些方法忽略了病理图像的细胞区域占比少的特点，这个特点使得信息交互困难，不利于分类网络模型学习判别性信息。

技术实现思路

[0013]本专利技术的目的是提供一种语义空间注意力的病理图像分类方法，该方法通过提取语义信息并融入注意力机制实现对病理图像的分类。该方法考虑到病理图像中细胞区域占比少，可以通过在相同语义区域内充分交互信息，加强对细胞区域的专注。
[0014]实现本专利技术目的的具体技术方案是：
[0015]一种基于语义空间注意力的病理图像分类的方法，该方法包括如下步骤：
[0016]步骤一：建立病理图像数据集
[0017]所述病理图像数据集格式为：图像与标签其中M表示数据的数量，X
i
表示第i张病理图像，Y
i
表示第i张病理图像对应的真实标签；
[0018]步骤二：确定语义信息提取网络模型
[0019]采用Felz算法得到初步的语义信息，然后采用一个卷积神经网络进行语义信息优化；该卷积神经网络由四个基本卷积块组成，每个卷积块包括一个2D卷积层、批量归一化和Relu激活函数；
[0020]步骤三：建构语义信息
[0021]步骤a1：将病理图像X
i
输入到Felz算法中，得到初步的语义信息其中K表示语义信息区域类别的数量，C
k
表示该语义信息属于第k类；
[0022]步骤a2：通过卷积神经网络计算每个像素点的输出概率，即其中N代表图像中像素点的数量，Net()代表卷积神经网络；
[0023]步骤a3：最大化输出概率，即yn＝argmax(p
n
)，argmax()代表最大化输出概率函数；
[0024]步骤a4：同一个语义信息区域内数量最多的y
n
作为每个像素点的语义信息类别标签，即
[0025][0026]步骤a5：采用交叉熵损失作为损失函数，即Loss＝Cross entropy(p
n
，t
n
)，其中Cross entropy代表交叉熵函数；
[0027]步骤a6：通过随机梯度下降优化语义信息网络模型；
[0028]步骤a7：重复上述a1至a6操作直至网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义空间注意力的病理图像分类方法，其特征在于，该方法包括如下步骤：步骤一：建立病理图像数据集所述病理图像数据集格式为：图像与标签其中M表示数据的数量，X
i
表示第i张病理图像，Y
i
表示第i张病理图像对应的真实标签；步骤二：确定语义信息提取网络模型采用Felz算法得到初步的语义信息，然后采用一个卷积神经网络进行语义信息优化；该卷积神经网络由四个基本卷积块组成，每个卷积块包括一个2D卷积层、批量归一化和Relu激活函数；步骤三：建构语义信息步骤a1：将病理图像X
i
输入到Felz算法中，得到初步的语义信息其中K表示语义信息区域类别的数量，C
k
表示该语义信息属于第k类；步骤a2：通过卷积神经网络计算每个像素点的输出概率，即其中N代表图像中像素点的数量，Net()代表卷积神经网络；步骤a3：最大化输出概率，即y
n
＝argmax(p
n
)，argmax()代表最大化输出概率函数；步骤a4：同一个语义信息区域内数量最多的y
n
作为每个像素点的语义信息类别标签，即步骤a5：采用交叉熵损失作为损失函数，即Loss＝Cross entropy(p
n
,t
n
)，其中Cross entropy代表交叉熵函数；步骤a6：通过随机梯度下降优化语义信息网络模型；步骤a7：重复上述a1至a6操作直至网络模型收敛，获得每个像素点对应的语义信息类别标签t
n
；步骤四：确定病理图像分类的网络模型采用ResNet50作为分类网络模型；该网络模型由输入层、卷积层组和分类输出层构成；输入的病理图像X
i
先经过一个卷积核为7*7的卷积层，然后经过四个卷积块，每个卷积块由多个基本的卷积层组成，其中卷积核为1*1的用于放缩通道；每个卷积块的输入与输出部分通过残差的方式连接；在ResNet50网络模型中，获取最后一个卷积块的特征图F；步骤五：确定空间注意力机制，并融入语义信息，构建基于语义级别的空间注意力机制基于像素级别的空间注意力是将特征图F通过平局池化AvgPool和最大池化MaxPool获得，即F
avg
＝AvgPool(F),F
max
＝MaxPool(F)；在基于像素级别的空间注意力上，通过同一语义信息区域内的交互，构建注意力图F
avgavg
和F
maxmax
，然后将F
avg
，F
max
，F

【专利技术属性】
技术研发人员：孙仕亮，陈凯涛，张楠，邱禧荷，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：