一种多层级病灶检出优化的病理切片图像分割检测方法技术

本发明专利技术公开了多层级病灶检出优化的病理切片图像分割检测方法，所述方法构建了一个多级特征提取结构，使用轻量级网络进行图像特征初步提取，基于空洞空间金字塔池化模块进行多尺度特征提取，将多尺度特征与特征初步提取网络中的浅层特征图进行叠加融合，实现了充分的病灶特征提取，提高了算法对病灶的识别精度，并降低了网络层数，避免了过深网络结构导致的特征信息损失。基于多层注意力机制，对病灶特征进行了权重增强，提高了算法对病灶的检出能力。在初步特征提取网络后并行加入一个训练好的基于Sobel算子的多成分分割算法模块，用于辅助优化损失函数。通过多层级的病灶特征提取、增强、优化训练，可以有效提高检测算法的病灶检测效果。灶检测效果。灶检测效果。

【技术实现步骤摘要】
一种多层级病灶检出优化的病理切片图像分割检测方法


[0001]本专利技术属于医学图像处理领域，涉及一种病理切片图像分割检测方法，具体涉及一种基于多级特征提取结构、多层注意力机制模块和优化损失函数的病理切片图像病灶检出及分割检测方法。

技术介绍

[0002]在临床医学病灶检测领域，临床上常用的检测方法主要有B超检查、X光检查和活检病理诊断等方式，但目前最有效的病灶检测方式还是活检病理诊断。活检病理诊断是从检查部位取下一些上皮细胞或组织，依次进行固定、染色等步骤制作成病理切片，再由病理医生进行病灶检测诊断。相对于其他检测方式，活检病理诊断的结果更准确、可信度更高，可以作为医生制定治疗方案的依据。然而，在这个诊断流程中，其诊断过程繁琐，费时费力，且诊断结果基本依赖于病理诊断医生的诊断经验和主观判断，诊断结果易受外界因素影响。另外，活检诊断所需的切片样本较多，这导致病理医生的诊断工作量非常大，而目前我国病理医生人数缺口超10万人，病理科诊断进度较慢，这也不利于治疗工作的及时展开。现在随着人工智能技术的发展，深度学习等方法也被广泛用于医学领域研究，尤其在医学图像处理领域，基于深度神经网络的医学图像病灶检测算法得到了越来越多的关注。医学病理图像的特征分布往往十分复杂，并且图像中包含的特征信息极多，对图像病灶检测分割任务的影响很大。目前的基于深度学习网络的医学病理图像病灶检测算法都是通过卷积层结构进行图像特征提取，再对特征图进行上采样恢复至原图像尺寸。其中，卷积层数越多，算法对图像的特征信息提取能力越大。然而，过多的网络卷积层数会导致图像特征不可逆的损失，使网络的病灶识别精度大幅度下降。因此，仅使用单一的卷积神经网络模块作为病灶检测算法的特征提取结构，已经难以得到精确的病灶检测分割结果。
[0003]随着对特征提取网络结构的研究，许多轻量级神经网络被逐年推出，其中的MobileNetV3网络使用了深度卷积构成的轻量卷积模块，既降低了模型参数量和运算量，又保证了模型精度不下降。另外，随着DeepLab系列神经网络被提出，其使用的空洞空间金字塔池化模块作为多尺度特征提取结构，在医学图像上实现了较好的特征提取效果。空洞空间金字塔池化模块使用了并联的空洞卷积模块作为其特有的多尺度特征提取模块，通过不同空洞卷积膨胀率的设定可以获得更大尺度的感受野，却不增加网络卷积层数，避免了特征信息不可逆损失的问题，使网络结构更简洁、更高效。在图像边缘特征检测上，Sobel算法可以实现较好的边缘特征提取效果，其基于Sobel算子，可以计算图像亮度函数的灰度近似值。
[0004]ECA(Efficient Channel Attention Module)通道注意力机制模块通过全局平均池化或最大池化操作，可以对特征图中的每个通道计算一个对应的权重值，再通过自适应计算卷积核的一维卷积和Sigmoid函数学习各通道对应的增强权重数值。而SAM(Spatial Attention Module)空间注意力机制模块通过全局平均池化、全局最大池化、二维卷积和Sigmoid函数可以得到经过空间信息优化增强的特征图。通过在网络中加入ECA模块和SAM
模块组成的多层注意力机制结构，网络可以全面有效地增强病灶相关的特征，以提高网络对病灶区域特征的信息提取能力，并进一步增强图像分割网络对病灶的检出能力。

技术实现思路

[0005]为了克服病理切片图像的特征分布复杂、特征信息冗余，难以准确分割病灶区域的问题，本专利技术提供了一种多层级病灶检出优化的病理切片图像分割检测方法。该方法构建了一个多级特征提取结构，先使用轻量级网络进行图像特征初步提取，再基于空洞空间金字塔池化模块进行多尺度特征提取，将多尺度特征与特征初步提取网络中的浅层特征图进行叠加融合，实现了充分的病灶特征提取，提高了算法对病灶的识别精度，并降低了网络层数，避免了过深网络结构导致的特征信息损失。并且基于多层注意力机制，对病灶特征进行了权重增强，提高了算法对病灶的检出能力。同时，在初步特征提取网络后并行加入一个训练好的基于Sobel算子的多成分分割算法模块，用于辅助优化损失函数。通过多层级的病灶特征提取、增强、优化训练，可以有效提高检测算法的病灶检测效果。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]一种多层级病灶检出优化的病理切片图像分割检测方法，包括如下步骤：
[0008]步骤一：加载N张病理图片I
N
，并对每张图片配以其相对应的分割标签图L
N
，使用MobileNetV3轻量级网络得到初步提取特征图使用Sobel算子提取的区域边缘图像H
N
，并基于H
N
对进行边缘增强，得到边缘增强特征图使用训练一个多成分分割算法FCN，基于训练好的多成分分割算法模型分割边缘增强特征图得到基于Sobel算子的多成分分割算法的分割结果图W
N
；
[0009]步骤二：基于初步提取特征图使用空洞空间金字塔池化模块结构进行多尺度病灶特征提取得到多尺度特征图P
N
，并将MobileNetV3网络中的浅层特征图I
′
N
向下跳跃连接，与多尺度特征图P
N
沿通道维度叠加融合，得到病灶特征图
[0010]步骤三：基于病灶特征图通过先后串联的ECA通道注意力机制模块和SAM空间注意力机制模块进行病灶区域特征增强，增强后的特征图进行双线性插值上采样，得到基于多层注意力机制的多层级病灶检出算法的分割结果图Z
N
；
[0011]步骤四：通过基于Sobel算子的多成分分割算法的分割结果图W
N
和基于多层注意力机制的多层级病灶检出算法的分割结果图Z
N
，改进损失函数计算方法，并训练改进的病理切片图像病灶检测算法模型，得到病理切片图像分割结果图。
[0012]相比于现有技术，本专利技术具有如下优点：
[0013]1)本专利技术采用轻量级网络MobileNetV3作为初步特征提取结构，在保证特征提取效果不变的情况下，可以有效减少参数数量、降低模型计算量。
[0014]2)本专利技术采用空洞空间金字塔池化模块作为深度特征提取结构。由于病理切片图像的区域特征分布复杂、精准分割难度大，图像病灶检测分割任务需要充分利用全局特征与局部特征信息，而空洞空间金字塔池化模块使用了并联的空洞卷积模块结构，对特征图按多个尺度进行特征提取，能够有效地利用图像中的多尺度特征信息，以提高检测算法的病灶识别精度。同时，空洞卷积模块结构增加了卷积操作时的感受野，减少了网络卷积层数，能够有效避免过深网络层数导致的细节特征信息损失问题。
[0015]3)本专利技术基于多层注意力机制，对特征图进行自适应病灶区域特征增强。由于病理切片图像中的特征信息繁多，提取出的特征图中存在许多对病灶检测分割任务作用不大的特征信息，这会降低检测算法的病灶检出能力。通道注意力机制模块可以对每个通道进行重要特征信息提取，而空间注意力机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多层级病灶检出优化的病理切片图像分割检测方法，其特征在于所述方法包括如下步骤：步骤一：加载N张病理图片I
N
，并对每张图片配以其相对应的分割标签图L
N
，使用MobileNetV3轻量级网络得到初步提取特征图使用Sobel算子提取的区域边缘图像H
N
，并基于H
N
对进行边缘增强，得到边缘增强特征图使用训练一个多成分分割算法FCN，基于训练好的多成分分割算法模型分割边缘增强特征图得到基于Sobel算子的多成分分割算法的分割结果图W
N
；步骤二：基于初步提取特征图使用空洞空间金字塔池化模块结构进行多尺度病灶特征提取得到多尺度特征图P
N
，并将MobileNetV3网络中的浅层特征图I
′
N
向下跳跃连接，与多尺度特征图P
N
沿通道维度叠加融合，得到病灶特征图步骤三：基于病灶特征图通过先后串联的ECA通道注意力机制模块和SAM空间注意力机制模块进行病灶区域特征增强，增强后的特征图进行双线性插值上采样，得到基于多层注意力机制的多层级病灶检出算法的分割结果图Z
N
；步骤四：通过基于Sobel算子的多成分分割算法的分割结果图W
N
和基于多层注意力机制的多层级病灶检出算法的分割结果图Z
N
，改进损失函数计算方法，并训练改进的病理切片图像病灶检测算法模型，得到病理切片图像分割结果图。2.根据权利要求1所述的多层级病灶检出优化的病理切片图像分割检测方法，其特征在于所述步骤一的具体步骤如下：步骤一一：加载用于病理切片图像病灶分割检测算法模型训练的全部图片I
N
＝{i1,i2,
…
,i
N
}，其中i
n
表示一张用于模型训练的病理图片，即集合{i1,i2,
…
,i
N
}中的一个元素，n＝1,2,
…
,N；同时，I
N
中的每张图片均有对应的分割标签图L
N
＝{l1,l2,
…
l
N
}，其中的l
n
分别与i
n
相对应，即n表示的数字在l
n
与i
n
中是一样的；图片加载后，使用MobileNetV3轻量级网络进行图像特征初步提取，得到初步提取特征图步骤一二：得到初步提取特征图后，先使用Sobel算子提取的区域边缘图像H
N
，基于区域边缘图像H
N
，对初步提取特征图进行边缘增强，得到边缘增强特征图步骤一三、使用训练一个构建好的多成分分割算法FCN，得到训练好的多成分分割算法模型将此训练好的连接在MobileNetV3网络之后，并冻结模型参数，再对输入的边缘增强特征图进行图像多成分分割，得到基于Sobel算子的多成分分割算法的分割结果图W
N
。3.根据权利要求2所述的多层级病灶检出优化的病理切片图像分割检测方法，其特征在于所述H
N
如下式所示：
其中，x和y分别为特征图的像素点横、纵坐标；所述边缘增强特征图如下式所示：所述W
N
如下式所示：其中，W
N
为基于Sobel算子的多成分分割算法的分割结果图，表示使用训练好的算法模型对输入特征图进行分割检测。4.根据权利要求1所述的多层级病灶检出优化的病理切片图像分割检测方法，其特征在于所述步骤二的具体步骤如下：步骤二一：在MobileNetV3网络之后，并行连接一个空洞空间金字塔池化模块，进一步对初步提取特征图进行多尺度特征提取；在空洞空间金字塔池化模块中并行连接五个特征提取模块，分别是：一个卷积模块C、一个全局平均池化模块A和三个空洞卷积模块B1(u1)、B2(u2)、B3(u3)，其中的u1、u2、u3为各模块的空洞卷积膨胀率设定；将...

【专利技术属性】
技术研发人员：张淼，梁瑞东，蒋萍，陈子昂，王艳，沈毅，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：