皮肤镜图像分割方法与系统技术方案

本发明专利技术公开了一种皮肤镜图像分割方法与系统，包括：1)收集用于网络训练的皮肤镜图像作为训练样本，并进行预处理操作；2)对收集到的训练样本进行数据扩充操作；3)构建基于可变形卷积的注意力网络；4)训练基于可变形卷积的注意力网络；5)生成分割结果图。本发明专利技术基于可变形卷积的注意力网络进行皮肤镜图像的病灶区域分割，能够使用注意力机制抵抗图像中伪影干扰分割的同时尽可能保留更多病灶边缘的特征信息，缓解皮肤镜图像分割中分割蒙版边界模糊的问题，同时利用可变形卷积使特征提取适应病灶具有的不规则和尺度多变的特性，进一步可得到更加精确的分割结果图。得到更加精确的分割结果图。得到更加精确的分割结果图。

【技术实现步骤摘要】
皮肤镜图像分割方法与系统


[0001]本专利技术涉及图像分割的
，尤其是指一种基于可变形卷积的注意力网络的皮肤镜图像分割方法与系统。

技术介绍

[0002]目前，应用于皮肤镜图像的分割模型分为两大类，基于形态学处理的传统分割模型和基于深度学习的分割模型。
[0003]传统的分割模型可以进一步细分为基于阈值的方法，基于区域的方法，基于边缘的方法。基于阈值的方法基于图像的灰度特征计算相应的灰度阈值，将每个像素与灰度阈值进行比较，依据比较结果对像素进行分类。基于区域的方法将图像按照相似性准则分成不同的区域。基于边缘的方法检测灰度级或者结构具有突变的地方，利用该特征进行图像分割。这类方法在图像中有伪影干扰、复杂环境导致特征设计或者阈值选取较为困难、边界模糊等情况下表现不佳。
[0004]近年来，许多基于深度学习的皮肤镜图像分割模型被提出，大部分方法以端到端的语义分割模型为基础。这类模型相比于传统分割模型，能通过自我学习提取到极为丰富的特征信息，而无需人工设计，且能利用大量的数据样本使模型的适用范围更广。但在对比度低的皮肤镜图像的分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于可变形卷积的注意力网络的皮肤镜图像分割方法，其特征在于，包括以下步骤：1)收集用于网络训练的皮肤镜图像作为训练样本，并划分有训练集、验证集和测试集，再进行预处理操作；其中，完整的一对训练样本包括原始的皮肤镜图像和对应的分割蒙版；2)使用翻转、旋转、缩放和平移的方法对预处理后的训练样本进行数据扩充；3)构建基于可变形卷积的注意力网络，该注意力网络为端到端的编码器
‑
解码器结构，编码器使用了可变形卷积并设计了密集卷积块以得到更丰富的语义特征，解码器设计了监督分支以帮助分割蒙版的重建，此外还在跳过连接部分设计了注意力模块帮助不同层级的特征融合；4)训练基于可变形卷积的注意力网络，将经过步骤2)数据扩充后的训练样本中皮肤镜图像分批送入基于可变形卷积的注意力网络，再将解码器和监督分支输出的特征图经过Sigmoid函数分别得到病灶区域概率图，再通过二元交叉熵损失与对应分割蒙版各自计算两部分的损失，按照解码器最后一层与监督分支设定的比例的权重相加得到总损失，最后基于总损失和自适应矩估计优化器调整网络参数，迭代进行至计算的总损失达到最小的状态；5)生成分割结果图，将测试集中的皮肤镜图像输入到训练完成的网络中，得到对应的病灶区域概率图，设定阈值，将病灶区域概率图中大于阈值的值改为255，小于等于阈值的值改为0，最终得到皮肤镜图像对应的分割结果图。2.根据权利要求1所述的基于可变形卷积的注意力网络的皮肤镜图像分割方法，其特征在于，在步骤1)中，收集的训练样本来源于国际皮肤公开挑战赛数据集ISIC 2017，数据集包括原始的皮肤镜图像和对应的分割蒙版；分割蒙版是由专业的皮肤科医生手动标注的二值图像，其中病灶区域的像素值被标注为1，健康的皮肤区域的像素值被标注为0；数据集已被事先划分为三部分：2000对训练样本作为训练集，150对训练样本作为验证集，600对训练样本作为测试集；最后，对训练样本进行预处理操作：先利用双线性性插值的方式将所有的训练样本对缩放至分辨率为128
×
128，再将皮肤镜图像的像素值进行归一化，缩放到[0,1]区间。3.根据权利要求1所述的基于可变形卷积的注意力网络的皮肤镜图像分割方法，其特征在于，所述步骤2)包括以下内容：翻转操作具体是对训练集中预处理后的训练样本对分别做水平翻转和垂直翻转，得到通过翻转操作后的扩充样本对；旋转操作具体是对训练集中预处理后的训练样本对分别做90
°
、180
°
和270
°
的旋转操作，得到通过旋转操作后的扩充样本对；缩放操作具体是在训练集中抽取20％的预处理后的训练样本对，然后对每个训练样本对进行缩小25％和放大25％的操作，然后利用边界像素进行填充和裁剪边界像素的方法修正缩放后的训练样本对的分辨率，最后去除掉病灶区域位于图像边界区域的分割蒙版所在的训练样本对，其余图像为所需的扩充样本对；平移操作具体是在训练集中抽取20％的预处理后的训练样本对，通过随机分配，让每个训练样本对随机朝上、下、左、右中的某个方向移动20个像素，得到通过平移操作后的扩充样本对。4.根据权利要求1所述的基于可变形卷积的注意力网络的皮肤镜图像分割方法，其特
征在于，在步骤3)中，编码器包含五个子模块，第一个子模块和第四个子模块都包含了两个3
×
3的常规卷积且第一个子模块在两次卷积后接一个2
×
2的最大池化，第三和第二个子模块由一个3
×
3的可变形卷积、一个3
×
3的常规卷积和一个2
×
2的最大池化构成，第五个子模块为DenseConnectionBlock，由五个卷积块构成，每个卷积块包含了一个3
×
3的常规卷积和1
×
1的常规卷积，且卷积块之间采用了密集连接；解码器包含五个子模块，前两个子模块包含一个上采样层、一个3
×
3的可变形卷积和一个3
×
3的常规卷积，第三个子模块包含一个上采样层和两个3
×
3的常规卷积，第四个子模块包含一个3
×
3的常规卷积和一个1
×
1的常规卷积，第五个子模块位于第二个子模块后作为监督分支，包含一个上采样层、一个3
×
3的常规卷积和一个1
×
1的常规卷积；其中，跳过连接将编码器输出的特征图经过AttentionBlock模块利用权重值重采样，然后与解码器的上采样层输出的同分辨率特征图连接，作为解码器后续操作的输入；AttentionBlock模块中包含通道注意力模块和空间注意力模块，前者以通道为维度生成权重值，后者以空间为维度生成权重值。5.根据权利要求4所述的基于可变形卷积的注意力网络的皮肤镜图像分割方法，其特征在于，在步骤4)中，注意力网络的解码器中的第四和第五子模块输出的特征图，分别经过Sigmoid函数得到两张病灶区域的分布概率图，与分割蒙版经过二元交叉熵计算得到损失，再通过Adam优化器和第五子模块的分割概率图：第四子模块的分割概率图为0.7∶0.3的加权损失和来优化网络参数；在网络训练过程中采用了动态学习率，每5个训练迭代之后输入验证集验证网络的训练效果，训练完成的条件为5次连续的验证集对应的损失之和不再下降。6.根据权利要求1所述的基于可变形卷积的注意力网络的皮肤镜图像分割方法，其特征在于，在步骤5)中，将测试集中的皮肤镜图像输入到训练完成的网络中...

【专利技术属性】
技术研发人员：吴秋遐，袁洁仪，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：