一种皮肤镜图像分割方法及系统技术方案

本发明专利技术属于图像处理领域，提供了一种皮肤镜图像分割方法及系统。该方法包括，获取皮肤镜图像，并对所述皮肤镜图像进行预处理；基于预处理后的皮肤镜图像，采用分割模型，得到分割结果，所述分割模型包括：采用ResNet网络提取第一特征图；将第一特征图作为Transformer的输入，在Transformer中加入了边界门以提取局部细节来处理模糊边界，得到第二特征图；基于第二特征图，采用DenseASPP网络增强特征表示和处理多尺度信息，得到第三特征图，将得到的结果进行上采样恢复分辨率得到分割结果。本发明专利技术采用一种新的transformer和CNN的混合架构，以获取足够的全局视野同时能够提取足够的局部细节来处理模糊边界，采用DenseASPP网络增强了特征表示和处理多尺度信息。增强了特征表示和处理多尺度信息。增强了特征表示和处理多尺度信息。

【技术实现步骤摘要】
一种皮肤镜图像分割方法及系统


[0001]本专利技术属于图像处理领域，尤其涉及一种皮肤镜图像分割方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的背景信息，不必然构成在先技术。
[0003]皮肤镜辅助诊断技术在国内外迅速发展，为临床医生带来了巨大的便捷与效率上的提升，同时随着国家大力发展人工智能，皮肤镜辅助诊断技术与人工智能的结合进一步提高了临床诊断的准确率。但是对于皮肤图像中病变部分实现准确的分割仍是非常困难的任务：(1)周围皮肤与病变区域对比度比较低问题(2)皮肤镜图像存在纹理且图像中存在毛发问题(3)病变区域形状不规则，而且边界模糊问题，这使得分割任务非常具有挑战性。
[0004]近年来，基于数据驱动的深度学习方法被广泛应用到医学图像分割领域，其优势在于依靠于数据驱动自动学习图像特征从而表现良好的性能。目前，为了实现精确分割，大多数研究人员利用卷积神经网络(CNN)来设计基于深度学习的方法。其中最典型是Long等人提出的一种用于分割任务的全卷积神经网络(FCN)，该网络采用端到端、像素到像素的方式超过了当时最先进的水平，尽管FCN对医学图像处理做出了很大的贡献，但是由于FCN训练比较麻烦，而且得到的结果还是不精细。为了缓解FCN的不足，作为生物医学图像分割的经典框架，UNet综合上述方法通过在编码器和解码器层之间添加快捷方式实现了高性能，Unet在医学图像分割领域中表现出色，因此现阶段医学图像分割多由U
‑
Net演化而来。在皮肤镜图像分割中，Wen采用具有四个卷积分支的inception模块，这种模块具备非线性特征学习能力，可以应用于层数较少的FCN模型。除此之外还利用条件随机场细化处理分割的结果。Thao等人通过全卷积
‑
反卷积网络将皮肤肿瘤与周围皮肤分割开。Yu等人引入深度残差网络用于皮肤病变的自动分割。通过将多个残差块堆叠起来，提高了模型的表达能力。上面提到的方法也许可以取得比较好的结果，但是它们存在只能产生有限感受野的问题，无法捕获全局依赖性，最近，有人提出通过自我注意机制将图像划分成一系列小块从而获取全局视野，最典型的TransUnet采用CNN和transformer的混合架构在多器官分割方面表现良好，transformer被认为是一种很有前途的全局上下文建模工具，它采用了一种强大的全局注意机制，但其在分割任务中的主要缺点之一是无法有效地提取足够的局部细节来处理模糊边界。

技术实现思路

[0005]为了解决上述背景中存在的相关问题，本专利技术提供一种皮肤镜图像分割方法及系统，其能够实现精准、高效地实现分割任务。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]本专利技术的第一个方面提供一种皮肤镜图像分割方法。
[0008]一种皮肤镜图像分割方法，包括：
[0009]获取皮肤镜图像，并对所述皮肤镜图像进行预处理；
[0010]基于预处理后的皮肤镜图像，采用分割模型，得到分割结果，所述分割模型包括：采用ResNet网络提取第一特征图；将第一特征图作为Transformer的输入，在Transformer中加入了边界门以提取局部细节来处理模糊边界，得到第二特征图；基于第二特征图，采用DenseASPP网络增强特征表示和处理多尺度信息，得到第三特征图，将得到的结果进行上采样恢复分辨率得到分割结果。
[0011]进一步地，所述预处理包括采用顶帽算法提取皮肤镜图像中的毛发，再利用修复算法对皮肤镜图像进行图像修复，以此去除毛发。
[0012]进一步地，所述第一特征图经过编码器进行位置编码，提取每个特征块的位置信息，确定特征块之间的顺序关系。
[0013]更进一步地，所述编码器中的每一层包括一个多头自我注意模块和一个前馈网络，所述多头自我注意模块用于过滤编码后第一特征图中的非语义信息，定位关键信息；所述前馈网络用于对第一特征图中的信息进行线性映射，并采用激活函数激活。
[0014]更进一步地，所述边界门设置在编码器的末端，所述边界门是一种空间注意力结构包括：特征映射F分别生成特征映射F1和F2，其中，F、F1、F2维度假设都用CxHxW表示，改变F1和F2的维度由CxHxW转变成CxN，其中，N＝HxW，将F1与F2
T
两个矩阵进行乘法计算，将运算的结果通过softmax层得到空间注意力的权重W
i,j
；将特征F输入到另一个卷积层，生成特征映射F3，改变F3的维度由CxHxW转变成CxN，执行F3和W
i,j
之间的矩阵乘法运算，并将乘积结果维度由CxN变换为CxHxW；采用尺度参数α乘以乘积结果并与F求和运算，得到最终的输出特征F
out
。
[0015]更进一步地，基于所述输出特征F
out
，采用解码器，得到第二特征图。
[0016]更进一步地，将第二特征图采用DenseASPP网络模块得到第三特征图。DenseASPP网络的作用就在于增强特征表示以及处理多尺度信息，并且DenseASPP采用密集连接的结构融合了更多的信息，使得网络性能更优。
[0017]更进一步地，将第三特征图进行上采样得到最终的概率分割图。
[0018]本专利技术的第二个方面提供一种皮肤镜图像分割系统。
[0019]一种皮肤镜图像分割系统，包括：
[0020]数据获取模块，其被配置为：获取皮肤镜图像，并对所述皮肤镜图像进行预处理；
[0021]分割模块，其被配置为：基于预处理后的皮肤镜图像，采用分割模型，得到分割结果，所述分割模型包括：采用ResNet网络提取第一特征图；将第一特征图作为Transformer的输入，在Transformer中加入了边界门以提取局部细节来处理模糊边界，得到第二特征图；基于第二特征图，采用DenseASPP网络增强特征表示和处理多尺度信息，得到第三特征图，将得到的结果进行上采样恢复分辨率得到分割结果。
[0022]本专利技术的第三个方面提供一种计算机可读存储介质。
[0023]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的皮肤镜图像分割方法中的步骤。
[0024]本专利技术的第四个方面提供一种计算机设备。
[0025]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的皮肤镜图像分割方法中的步骤。
[0026]与现有技术相比，本专利技术的有益效果是：
[0027]本专利技术采用一种新的transformer和CNN的混合架构，以获取足够的全局视野同时能够提取足够的局部细节来处理模糊边界，采用DenseASPP增强了特征表示和处理多尺度信息。
附图说明
[0028]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种皮肤镜图像分割方法，其特征在于，包括：获取皮肤镜图像，并对所述皮肤镜图像进行预处理；基于预处理后的皮肤镜图像，采用分割模型，得到分割结果，所述分割模型包括：采用ResNet网络提取第一特征图；将第一特征图作为Transformer的输入，在Transformer中加入了边界门以提取局部细节来处理模糊边界，得到第二特征图；基于第二特征图，采用DenseASPP网络增强特征表示和处理多尺度信息，得到第三特征图，将得到的结果进行上采样恢复分辨率得到分割结果。2.根据权利要求1所述的皮肤镜图像分割方法，其特征在于，所述预处理包括采用顶帽算法提取皮肤镜图像中的毛发，再利用修复算法对皮肤镜图像进行图像修复，以此去除毛发。3.根据权利要求1所述的皮肤镜图像分割方法，其特征在于，所述第一特征图经过编码器进行位置编码，提取每个特征块的位置信息，确定特征块之间的顺序关系。4.根据权利要求3所述的皮肤镜图像分割方法，其特征在于，所述编码器中的每一层包括一个多头自我注意模块和一个前馈网络，所述多头自我注意模块用于过滤编码后第一特征图中的非语义信息，定位关键信息；所述前馈网络用于对第一特征图中的信息进行线性映射，并采用激活函数激活。5.根据权利要求3所述的皮肤镜图像分割方法，其特征在于，所述边界门设置在编码器的末端，所述边界门是一种空间注意力结构包括：特征映射F分别生成特征映射F1和F2，其中，F、F1、F2维度假设都用CxHxW表示，改变F1和F2的维度由CxHxW转变成CxN，其中，N＝HxW，将F1与F2
T
两个矩阵进行乘法计算，将运算的结果通过softmax层得到空间注意力的权重W
i,j
...

【专利技术属性】
技术研发人员：董玉民，卫力行，
申请(专利权)人：重庆师范大学，
类型：发明
国别省市：