基于多尺度空间注意力网络的乳腺病理图像分类方法技术

本发明专利技术提供了一种基于多尺度空间注意力网络的乳腺病理图像分类方法。首先，将原始的乳腺病理图像缩放到三个不同尺度，并进行图像块切割，通过对图像块进行二值化处理，剔除其中的无效图像块，得到训练数据集图像块；然后，构建空间注意力网络并利用不同尺度图像的训练数据集图像块对网络进行训练，网络的空间注意力模块实现原病理图像块的空间变换，再通过分类模块获得该图像块的分类结果；最后，将不同尺度图像的图像块输入到训练好的网络，得到每个图像块的所属类别，再计算不同尺度下的各个类别的预测概率，原病理图像的最终预测类别利用类别概率均值来确定。本发明专利技术方法能够充分利用有限乳腺病理图像中的丰富纹理结构信息，改善分类效果。

【技术实现步骤摘要】
基于多尺度空间注意力网络的乳腺病理图像分类方法
本专利技术属医学图像处理
，具体涉及一种基于多尺度空间注意力网络的乳腺病理图像分类方法。
技术介绍
乳腺癌目前是全球20-59岁女性最常见的癌症之一，在女性中其发病率和致死率位居各类癌症前列。根据2019年中国国家癌症中心发布的《2015年中国分地区恶性肿瘤发病和死亡分析》一文，女性中乳腺癌发病率最高，而致死率更是位居第五。在临床上，现有的最准确的检查手段是病理学，即通过细针穿刺获得乳腺组织的病理学图像，依靠医师判断是否发生病变以及病变的类型。乳腺病理图像一般根据活体组织的细胞密度、形态以及病变程度，主要分为四个类别：正常组织、良性病变、原位癌和浸润癌。正常组织的细胞形态相对规则，没有任何病变的发生；良性病变即良性肿瘤，病变程度小且相似于正常组织，一般可以通过手术切除病变区域，经过妥善的治疗不会复发；原位癌一般表现为癌细胞局限于原发部位，未发生转移，可进一步细分为小叶原位癌、导管原位癌等；浸润癌即癌细胞已突破乳房小叶导管系统并侵犯周围其他组织，容易发生病灶的转移，在病理图像中具体体现为形态多样且分布密集。正常组织和良性病变实际上都并不属于癌变。而原位癌和浸润癌均属于癌变类型，也即恶性病变。其中原位癌如果早期发现并治疗，能有效降低其向浸润癌转变的风险。因此，对于乳腺癌进行早期的诊断和治疗，能有效减少患病痛苦，提高治愈率。然而，对病理图像进行人工诊断不仅要求医生具有丰富的医学知识和长期的临床经验，同时也需要长时间的专注，这样费时费力的人工诊断很容易出现误诊。伴随着人工智能技术的发展，深度神经网络算法开始广泛应用于医学图像分类领域。其中乳腺病理图像分类的具体难点是标记图像数量不足，以及较大的类内差异性和类间相似性。较大的类内差异性指的是相同类别的细胞也具有较大的差异，比如浸润癌细胞，其形态变化较大，细胞密集但可能程度不同，较大的类间相似性指的是比如癌变类别的图像中包含癌变类型细胞的同时也含有正常组织细胞，这势必导致两种病理图像间的较大相似性。因此，受限于乳腺病理图像分类的种种难点，分类效果往往并不尽如人意。针对以上问题，经过多年的发展，深度学习的相关算法在乳腺病例图像分类领域取得了显著的成果。如Chennamsetty等人在“ChennamsettySS,SafwanM,AlexV.Classificationofbreastcancerhistologyimageusingensembleofpre-trainedneuralnetworks[C].InProceedingsofInternationalconferenceimageanalysisandrecognition.Springer,Cham,2018:804-811.”中提出，认为单一的网络结构或者预处理方法对于病理图像中的复杂信息利用有限，所以构建了由三个深度卷积网络组成的模型，每个深度卷积网络都经过了不同的预处理训练，并通过集成将三个网络中学习到的不同信息结合，以此来学习更丰富的图像信息，获得更好的分类结果。但是，该方法粗暴的将原本含有丰富图像信息的乳腺病理图像缩放到224×224的大小，在这个过程中必然存在图像信息的损失，即使通过3中网络的学习也是无法弥补的。另外该方法对于乳腺病理图像的较大的类内差异性和类间相似性难点也难以提供有效的解决方案。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种基于多尺度空间注意力网络的乳腺病理图像分类方法。首先，为了充分学习病理图像中的丰富信息，将原始的乳腺病理图像缩放到三个不同尺度，并进行图像块切割，切割后的图像块作为测试数据集；为了防止切割出的无效图像块(指的是基本不含有细胞的图像块)干扰，通过对图像块进行二值化处理，剔除其中的无效图像块，得到训练数据集图像块；然后，构建空间注意力网络并利用不同尺度图像的训练数据集图像块对网络进行训练，网络的空间注意力模块实现原病理图像块的空间变换，以使后续的分类网络更注意关键区域的信息，再通过分类模块获得该图像块的分类结果；最后，将不同尺度图像的测试数据图像块输入到训练好的网络，得到每个图像块的所属类别，再计算不同尺度下的各个类别的预测概率，原病理图像的最终预测类别利用类别概率均值来确定。一种基于多尺度空间注意力网络的乳腺病理图像分类方法，其特征在于步骤如下：步骤1：对原始乳腺病理图像按照三个不同尺度进行缩放处理，得到三个不同尺度上的图像；然后，对不同尺度图像分别进行图像块切割，并采用局部自适应阈值分割算法对图像块进行二值化处理，去除背景区域占比95％以上的图像块，将剩余图像块作为网络训练数据，并对其进行增广处理，以增广后图像块的标签作为原图像块的标签；以二值化处理前的图像块作为网络测试数据；所述的图像块切割是指采用固定大小的窗口以固定步长在图像上进行滑动，窗口内对应的图像即为切割得到的图像块；所述的采用局部自适应阈值分割算法对图像块进行二值化处理的具体过程为：设定阈值D，对于图像块中的每个像素，计算以该像素为中心的大小为k×k的区域内的所有像素值的高斯加权和，记为S，如果∣S-D∣>x，x表示该像素的像素值，则将该像素的值置为255，该像素属于白色背景区域，否则，将该像素的值置为0，该像素属于黑色细胞区域；其中，阈值D在[5,20]范围内取值，k在[50,150]范围内取值；步骤2：构建空间注意力网络，包括空间注意力模块和分类模块两部分，其中，空间注意力模块由定位网络和采样网格组成，定位网络采用修改后的残差卷积网络ResNet-152，即修改原ResNet-152网络的第一层全连接层的输出为长度为128的一维向量，修改原ResNet-152网络的最后一层全连接层的输出为长度为6的一维向量，初始化时将该层权重初始化为零，偏差设置为[1,0,0,0,1,0]；采样网格利用定位网络输出的长度为6的一维向量作为空间变换矩阵的参数，对图像块进行矩阵映射变换；分类模块采用密集连接卷积网络DenseNet-161，将采样网格输出的变换后的图像块输入到分类模块，输出为一个四维向量，即图像块属于四个病理类别的概率；步骤3：首先利用ImageNetchallenge数据集分别对残差卷积网络ResNet-152和密集连接卷积网络DenseNet-161进行预训练，然后将步骤1得到的三个尺度图像的训练数据图像块及其标签分别输入到空间注意力网络进行训练，对每个尺度得到一个训练好的空间注意力网络；步骤4：将步骤1得到的三个尺度图像的测试数据图像块分别输入到对应尺度训练好的空间注意力网络，输出得到每个图像块属于四个病理类别的概率，取最大概率值对应的类别作为该图像块的标签；对于每个尺度的图像，以每个类别所包含图像块的数量与该图像所有图像块数量之比作为该类别的预测概率；然后计算三个尺度图像各个类别预测概率的均值，以均值最大者对应的类别作为原始乳腺病理图像的预测类别。本专利技术的有益效果是：由于采用了图像缩放和图像块切割处理，能够更好地学习原始病理图像的信息，并剔除无效信息对分类结果的影响；由于构本文档来自技高网...

【技术保护点】
1.一种基于多尺度空间注意力网络的乳腺病理图像分类方法，其特征在于步骤如下：/n步骤1：对原始乳腺病理图像按照三个不同尺度进行缩放处理，得到三个不同尺度上的图像；然后，对不同尺度图像分别进行图像块切割，并采用局部自适应阈值分割算法对图像块进行二值化处理，去除背景区域占比95％以上的图像块，将剩余图像块作为网络训练数据，并对其进行增广处理，以增广后图像块的标签作为原图像块的标签；以二值化处理前的图像块作为网络测试数据；/n所述的图像块切割是指采用固定大小的窗口以固定步长在图像上进行滑动，窗口内对应的图像即为切割得到的图像块；/n所述的采用局部自适应阈值分割算法对图像块进行二值化处理的具体过程为：设定阈值D，对于图像块中的每个像素，计算以该像素为中心的大小为k×k的区域内的所有像素值的高斯加权和，记为S，如果∣S-D∣>x，x表示该像素的像素值，则将该像素的值置为255，该像素属于白色背景区域，否则，将该像素的值置为0，该像素属于黑色细胞区域；其中，阈值D在[5,20]范围内取值，k在[50,150]范围内取值；/n步骤2：构建空间注意力网络，包括空间注意力模块和分类模块两部分，其中，空间注意力模块由定位网络和采样网格组成，定位网络采用修改后的残差卷积网络ResNet-152，即修改原ResNet-152网络的第一层全连接层的输出为长度为128的一维向量，修改原ResNet-152网络的最后一层全连接层的输出为长度为6的一维向量，初始化时将该层权重初始化为零，偏差设置为[1,0,0,0,1,0]；采样网格利用定位网络输出的长度为6的一维向量作为空间变换矩阵的参数，对图像块进行矩阵映射变换；分类模块采用密集连接卷积网络DenseNet-161，将采样网格输出的变换后的图像块输入到分类模块，输出为一个四维向量，即图像块属于四个病理类别的概率；/n步骤3：首先利用ImageNet challenge数据集分别对残差卷积网络ResNet-152和密集连接卷积网络DenseNet-161进行预训练，然后将步骤1得到的三个尺度图像的训练数据图像块及其标签分别输入到空间注意力网络进行训练，对每个尺度得到一个训练好的空间注意力网络；/n步骤4：将步骤1得到的三个尺度图像的测试数据图像块分别输入到对应尺度训练好的空间注意力网络，输出得到每个图像块属于四个病理类别的概率，取最大概率值对应的类别作为该图像块的标签；对于每个尺度的图像，以每个类别所包含图像块的数量与该图像所有图像块数量之比作为该类别的预测概率；然后计算三个尺度图像各个类别预测概率的均值，以均值最大者对应的类别作为原始乳腺病理图像的预测类别。/n...

【技术特征摘要】
1.一种基于多尺度空间注意力网络的乳腺病理图像分类方法，其特征在于步骤如下：
步骤1：对原始乳腺病理图像按照三个不同尺度进行缩放处理，得到三个不同尺度上的图像；然后，对不同尺度图像分别进行图像块切割，并采用局部自适应阈值分割算法对图像块进行二值化处理，去除背景区域占比95％以上的图像块，将剩余图像块作为网络训练数据，并对其进行增广处理，以增广后图像块的标签作为原图像块的标签；以二值化处理前的图像块作为网络测试数据；
所述的图像块切割是指采用固定大小的窗口以固定步长在图像上进行滑动，窗口内对应的图像即为切割得到的图像块；
所述的采用局部自适应阈值分割算法对图像块进行二值化处理的具体过程为：设定阈值D，对于图像块中的每个像素，计算以该像素为中心的大小为k×k的区域内的所有像素值的高斯加权和，记为S，如果∣S-D∣>x，x表示该像素的像素值，则将该像素的值置为255，该像素属于白色背景区域，否则，将该像素的值置为0，该像素属于黑色细胞区域；其中，阈值D在[5,20]范围内取值，k在[50,150]范围内取值；
步骤2：构建空间注意力网络，包括空间注意力模块和分类模块两部分，其中，空间注意力模块由定位网络和采样网格组成，定位网络采用修改后的残差卷积网络ResNet-152，即修改原R...

【专利技术属性】
技术研发人员：夏勇，冯宇，
申请(专利权)人：西北工业大学深圳研究院，西北工业大学，
类型：发明
国别省市：广东;44