一种基于深度学习的皮肤病变图像分割方法、设备及存储介质技术

本发明专利技术公开了一种基于深度学习的皮肤病变图像分割方法、设备及存储介质，方法包括以下步骤：对原始皮肤病变图像做预处理，得到作为模型的输入皮肤病变图像；对输入皮肤病变图像提取多尺度高级特征X1,X2,X3；捕获所述多尺度高级特征X3的全局信息并动态结合，输出自适应特征；多尺度高级特征X1,X2,X3进行交互，对所述自适应特征恢复特征分辨率，并与经过交互的特征结合，输出多尺度特征F1,F2,F3,F4；对多尺度特征F1,F2,F3,F4利用空间注意机制对相邻尺度之间的特征进行交互，再进行卷积和sigmoid函数处理得到预测的分割掩码，即得到皮肤病变图像中的特征图像；多尺度桥接模块该模块结合多尺度特征，能够有效地融合编码器和解码器特征的多尺度上下文信息，进一步提出全局

【技术实现步骤摘要】
一种基于深度学习的皮肤病变图像分割方法、设备及存储介质


[0001]本专利技术属于医学图像处理领域，具体涉及一种基于深度学习的皮肤病变图像分割方法、设备及存储介质。

技术介绍

[0002]皮肤疾病占全球疾病负担的很大一部分。皮肤病的种类繁多，临床上可进一步细分为数千种疾病。大多数皮肤病变的诊断依赖于专业的皮肤镜设备。皮肤镜成像是一种非侵入性(与组织活检相比)成像技术，它可以获得局部皮肤区域的放大和光线充足的图像，同时消除皮肤表面反射并增强皮肤病变的成像清晰度。与传统的视觉诊断相比，正确诊断率可提高20％～30％。皮肤镜诊断程序的普及导致皮肤镜图像数据激增。然而，不仅皮肤科医生短缺，而且手动筛选皮肤镜图像是一项耗时、艰巨的工作，其本质上受到主观性的影响。精心设计的计算机辅助诊断系统为皮肤镜图像评估提供了一种替代方法，减少皮肤科医生的工作量，提高筛查和诊断的效率和客观性，让皮肤科医生专注于最棘手的病例，最终促进提高诊断效率。
[0003]由于皮肤病变的外观和大小存在很大差异，自动皮肤病变分割是一项具有挑战性的任务。较低的图像质量(例如由于不均匀的病变边缘导致的边界模糊、低对比度等)进一步增加了挑战。此外，各种伪影，包括固有的皮肤特征(如头发和血管)以及图像捕捉过程中的伪影(如气泡、标尺痕迹、光照不均匀、病变不完整等)使计算机辅助诊断皮肤病变分割特别困难。
[0004]尽管已经提出了各种分割方法来应对这些挑战，但皮肤病变分割的性能仍然存在各种差距。最近的深度学习分割网络的主流是基于全卷积网络(FCN)结构，这种方法通常存在以下局限性：(1)空间信息的损失：通常随着网络的加深，逐渐减少分辨率会导致空间信息的损失；(2)上下文信息不足：不充分的长距离依赖关系，有限的像素级感受野；(3)边界错误：由于边界区域中像素的特征表示通常具有较弱的判别性，因此边界区域内分布着大量的语义分割错误。

技术实现思路

[0005]为了解决现有技术中存在的问题，本专利技术提供一种基于深度学习的皮肤病变分割方法及系统，提出一种新的用于皮肤病变分割的深度学习框架，集成多尺度桥接模块，全局
‑
局部通道空间注意力模块和尺度感知深监督模块，能够有效地捕获和集成多尺度上下文信息，增强多尺度输出，以准确从分割皮肤病变图像中的特征图像。
[0006]为了实现上述目的，本专利技术采用的技术方案是：一种基于深度学习的皮肤病变图像分割方法，包括以下步骤：
[0007]对原始皮肤病变图像做预处理，得到作为模型的输入皮肤病变图像；
[0008]基于深度学习模型，对输入皮肤病变图像提取多尺度高级特征X1,X2,X3；
[0009]捕获所述多尺度高级特征X3的全局信息并动态结合，输出自适应特征；
[0010]多尺度高级特征X1,X2,X3进行交互，对所述自适应特征恢复特征分辨率，并与经过交互的特征结合，输出多尺度特征F1,F2,F3,F4；
[0011]对多尺度特征F1,F2,F3,F4利用空间注意机制对相邻尺度之间的特征进行交互，再进行卷积和sigmoid函数处理得到预测的分割掩码，即得到皮肤病变图像中的特征图像；
[0012]所述深度学习模型基于U
‑
Net结构网络，集成多尺度桥接模块、全局
‑
局部通道空间注意力模块和尺度感知深监督模块；所述U
‑
Net结构网络包括编码器和解码器，编码器和解码器之间设置多尺度桥接模块，多尺度桥接模块用于指导多尺度上下文信息流和解码器特征的融合，在编码器顶部插入全局
‑
局部通道空间注意力模块，用来捕获全局上下文信息，所述U
‑
Net结构网络，末端设置尺度感知深监督模块，用于适应地集成多尺度信息以增强最终输出。
[0013]皮肤镜图像被送入预训练的ResNet34组成的编码器中提取多尺度高级特征X1,X2,X3。
[0014]特征X3经过全局
‑
局部通道空间注意力模块捕获全局信息并动态结合，输出自适应特征。
[0015]多尺度桥接模块对特征X1,X2,X3进行交互，自适应特征经过解码器逐渐恢复特征分辨率，并与经过交互的特征结合，输出多尺度特征F1,F2,F3,F4。
[0016]多尺度桥接模块，用于对不同尺度的特征进行交叉关注，并结合不同分辨率特征的更多尺度信息，每个级别的上采样期间，解码器的相应分辨率特征在信道上融合，具体的，
[0017]X
′1,X
′2,X
′3＝MSB(X1,X2,X3)
[0018]其中X1,X2,X3为输入皮肤病变图像经过编码器得到的多尺度特征，作为多尺度桥接模块的输入，X
′1,X
′2,X
′3为输出；
[0019]对X
i
,i∈{1,2,3}，通过1
×
1卷积得到Q
i
,K
i
,V
i
：
[0020]Q
i
,K
i
,V
i
＝Conv1x1(X
i
)
[0021]对i,j∈{1,2,3},i≠j，对不同分辨率的Q
i
,K
j
,V
j
进行交互得到X
i_j
：
[0022][0023]其中，表示矩阵乘法；
[0024]最终，对i,j,k∈{1,2,3},i,j,k两两不等，相同分辨率的特征X
i
,X
i_j
,X
i_k
结合在一起，经过1
×
1卷积得到输出X
′
i
：
[0025]X
′
i
＝Conv1x1(Cat[X
i
,X
i_j
,X
i_k
])。
[0026]基于编码器获得的特征，以全局和局部方式并行应用通道注意力和空间注意力，以获得四个注意力图：M
gc
,M
gs
,M
lc
,M
ls
，M
gc
,M
gs
,M
lc
,M
ls
分别是全局通道注意力图，全局空间注意力图，局部通道注意力图，局部空间注意力图，然后将其乘以全局
‑
局部通道空间注意力模块的输入的特征F，即特征X3，并添加跳跃连接以获得输出特征F
gl
。
[0027]全局
‑
局部通道空间注意力模块为：
[0028][0029][0030]F
′
l
＝M
lc
·
F
[0031]F
l
″
＝M
ls
·
F
l...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的皮肤病变图像分割方法，其特征在于，包括以下步骤：对原始皮肤病变图像做预处理，得到作为模型的输入皮肤病变图像；基于深度学习模型，对输入皮肤病变图像提取多尺度高级特征X1,X2,X3；捕获所述多尺度高级特征X3的全局信息并动态结合，输出自适应特征；多尺度高级特征X1,X2,X3进行交互，对所述自适应特征恢复特征分辨率，并与经过交互的特征结合，输出多尺度特征F1,F2,F3,F4；对多尺度特征F1,F2,F3,F4利用空间注意机制对相邻尺度之间的特征进行交互，再进行卷积和sigmoid函数处理得到预测的分割掩码，即得到皮肤病变图像中的特征图像；所述深度学习模型基于U
‑
Net结构网络，集成多尺度桥接模块、全局
‑
局部通道空间注意力模块和尺度感知深监督模块；所述U
‑
Net结构网络包括编码器和解码器，编码器和解码器之间设置多尺度桥接模块，多尺度桥接模块用于指导多尺度上下文信息流和解码器特征的融合，在编码器顶部插入全局
‑
局部通道空间注意力模块，用来捕获全局上下文信息，所述U
‑
Net结构网络，末端设置尺度感知深监督模块，用于适应地集成多尺度信息以增强最终输出。2.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法，其特征在于，皮肤镜图像被送入预训练的ResNet34组成的编码器中提取多尺度高级特征X1,X2,X3。3.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法，其特征在于，特征X3经过全局
‑
局部通道空间注意力模块捕获全局信息并动态结合，输出自适应特征。4.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法，其特征在于，多尺度桥接模块对特征X1,X2,X3进行交互，自适应特征经过解码器逐渐恢复特征分辨率，并与经过交互的特征结合，输出多尺度特征F1,F2,F3,F4。5.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法，其特征在于，多尺度桥接模块，用于对不同尺度的特征进行交叉关注，并结合不同分辨率特征的更多尺度信息，每个级别的上采样期间，解码器的相应分辨率特征在信道上融合，具体的，X
′1,X
′2,X
′3＝MSB(X1,X2,X3)其中X1,X2,X3为输入皮肤病变图像经过编码器得到的多尺度特征，作为多尺度桥接模块的输入，X
′1,X
′1,X
′3为输出；对X
i
,i∈{1,2,3}，通过1
×
1卷积得到Q
i
,K
i
,V
i
：Q
i
,K
i
,V
i
＝Conv1x1(X
i
)对i,j∈{1,2,3},i≠j，对不同分辨率的Q
i
,K
j
,V
j
进行交互得到X
i_j
：其中，表示矩阵乘法；最终，对i,j,k∈{1,2,3},i,j,k两两不等，相同分辨率的特征X
i
,X
i_j
,X
i_k
结合在一起，经过1
×
1卷积得到输出X
′
i
：X
′
i
＝Conv1x1(Cat[X
i
,X
i_j
,X
i_k
])。6.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法，其特征在于，基于编码器获得的特征，以全局和局部方式并行应用通道注...

【专利技术属性】
技术研发人员：徐颂华，孙永恒，李宗芳，
申请(专利权)人：西安交通大学医学院第二附属医院，
类型：发明
国别省市：