皮肤镜图像的分割方法、分割网络及分割网络构建方法技术

本发明专利技术公开了一种皮肤镜图像的分割方法，包括以下步骤：根据获取到的图像至少生成第二特征图和第三特征图；对所述第二特征图中的特征进行提取并处理，形成第二修正图；将所述第三特征图和所述第二修正图进行融合生成第一融合图；对所述第一融合图中的不确定性点进行处理，将所述第一融合图中确定性点和经过处理后的第一融合图中的不确定性点进行处理生成第一融合修正图；还公开了使用该分割方法的分割网络及分割网络构建方法。利用该分割网络分割皮肤镜图像能够捕捉并建模全局上下文关系，缓解待分割区域尺度大小不一，形态多变问题。形态多变问题。形态多变问题。

【技术实现步骤摘要】
皮肤镜图像的分割方法、分割网络及分割网络构建方法


[0001]本专利技术涉及数字图像处理
，尤其涉及皮肤镜图像的分割方法、分割网络及分割网络构建方法。

技术介绍

[0002]皮肤镜是一种观察活体皮肤表面以下微细结构的无创性显微图像分析技术，对感兴趣区域的分割是医学图像分析的核心任务之一，也是定量分析中不可缺少的一步。如对皮肤镜图像中病变区域的分割，分割区域的形状、外观及位置对疾病的早期诊断具有重要意义。目前国际上已有皮肤镜图像自动分析诊断系统的报道，但由于皮肤镜图像中的病变区域往往呈现模糊的边界、多变的尺度与形状，使得病变区域的准确分割成为目前皮肤镜图像自动分析系统的瓶颈。

技术实现思路

[0003]为了克服现有技术中的缺陷，本专利技术实例提供了一种皮肤镜图像的分割方法、分割网络及分割网络构建方法，利用该分割网络分割皮肤镜图像能够捕捉并建模全局上下文关系，缓解待分割区域尺度大小不一，形态多变问题，对不确定性高的点进行二次预测，降低不确定性，提升分割精度。
[0004]为达到上述目的，本专利技术采用的技术方案是：一种皮肤镜图像的分割方法，包括以下步骤：
[0005]根据获取到的图像至少生成第二特征图和第三特征图；
[0006]对所述第二特征图中的特征进行提取并处理，形成第二修正图；
[0007]将所述第三特征图和所述第二修正图进行融合生成第一融合图；
[0008]对所述第一融合图中的不确定性点进行处理，将所述第一融合图中确定性点和经过处理后的第一融合图中的不确定性点进行处理生成第一融合修正图。
[0009]上述技术方案中，步骤“根据获取到的图像至少生成第二特征图和第三特征图”包括：
[0010]对所述第二特征图进行下采样处理生成第三预设特征图，根据空洞空间金字塔模块和所述第三预设特征图生成第三特征图。
[0011]上述技术方案中，步骤“对所述第二特征图中的特征进行提取并处理，形成第二修正图”包括：
[0012]基于多头自注意力上下文感知模块对所述第二特征图中的特征进行提取并处理，形成第二修正图。
[0013]上述技术方案中，步骤“对所述第二特征图中的特征进行提取并处理，形成第二修正图”包括：
[0014]由编码块从所述第二特征图中提取特征F；
[0015]对编码块提取的特征F使用三个不同的卷积层Q、K、V将其映射到嵌入空间，得到特
征图F
Q
、F
K
、F
V
；
[0016]将F
Q
、F
K
、F
V
的通道维度映射为C，降低参数量，得到嵌入空间中特征图F
Q
、F
K
、F
V
的通道维度均为H
×
W
×
C；
[0017]调整特征图F
Q
和F
k
的形状为HW
×
C，并将F
Q
进行转置，使F
Q
的形状变为C
×
HW；
[0018]对F
Q
和F
k
使用矩阵乘法，得到HW
×
HW大小的特征图F
T
；
[0019]利用位置编码图E对特征图中的相对位置进行编码，位置编码图E的大小为HW
×
HW，其中，每个像素点的值E(i,j)表示第i个位置与第j个位置的相对关系；
[0020]根据Att＝softmax(F
T
+E)，得注意力权值图Att，其中，注意力权值图Att的大小为HW
×
HW，Att(i,j)表示第i个像素值与第j个像素值的依赖关系，F
T
为HW
×
HW大小的特征图，E表示位置编码；
[0021]将Att转置并与特征图F
V
作矩阵乘法，以残差连接的形式加上特征F，得到筛选后的特征F
’
；
[0022]在所述解码块内串联特征F
’
恢复图像，形成所述第二修正图。
[0023]上述技术方案中，步骤“对所述第一融合图中的不确定性点进行处理，将所述第一融合图中确定性点和经过处理后的第一融合图中的不确定性点进行处理生成第一融合修正图”包括：
[0024]基于不确定性降低模块对第一融合图中的不确定性点进行处理，将所述第一融合图中确定性点和经过处理后的第一融合图中的不确定性点进行处理生成第一融合修正图。
[0025]上述技术方案中，步骤“基于不确定性降低模块对第一融合图中的不确定性点进行处理”包括：
[0026]在编码块的每个上采样后使用1
×
1卷积将特征图的通道数降维至1；
[0027]使用Sigmoid函数激活，将每个像素点的值归一化到0～1，作为第一预测值；
[0028]对经Sigmoid函数激活后的所有像素点，选择N个第一预测值为0.5的像素点，对其在通道维度上提取所在位置的点级别特征；
[0029]使用两层全连接层构造感知机，用来重新预测N个像素点的第二预测值，并利用重新预测得到的第二预测值更新对应的第一预测值。
[0030]上述技术方案中，在所述不确定降低模块中使用交叉熵损失函数作为深度监督的辅助损失；交叉熵损失的计算如下：L
BCE
＝
‑
G
·
logP
‑
(1
‑
G)log(1
‑
P)，P表示分割网络的输出概率图，G表示分割金标准，L
BCE
表示输出概率图和分割金标准之间的交叉熵损失。
[0031]上述技术方案中，还包括：
[0032]根据获取到的图像生成中间特征图，对中间特征图中的特征进行提取并处理，形成中间修正图；
[0033]将所述中间修正图和上一步的融合修正图进行融合处理生成第二融合图；
[0034]对所述第二融合图中的不确定性点进行处理，将所述第二融合图中的确定性点和经过处理后的所述第二融合图中的不确定性点进行处理生成第二融合修正图。
[0035]一种皮肤镜图像的分割网络，所述分割网络的架构包括：
[0036]基线网络，所述基线网络基于全卷积网络的编码
‑
解码结构，包括多个编码块和与所述编码块对应的解码块，多个所述编码块经下采样操作连接，多个所述解码块经上采样操作连接，所述编码块用于提取图像的特征，所述解码块根据所述特征恢复图像，生成预测
值；
[0037]在所述顶层编码块与所述顶层解码块间设有空洞空间金字塔模块，用于提取多尺度的特征；在其他编码块内设有多头自注意力上下文感知模块，用于捕捉所述特征在编码阶段和与之对应的解码阶段的依赖关系；在其他解码块内设有不确定性降低模块，用于对所述预测值对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种皮肤镜图像的分割方法，其特征在于，包括以下步骤：根据获取到的图像至少生成第二特征图和第三特征图；对所述第二特征图中的特征进行提取并处理，形成第二修正图；将所述第三特征图和所述第二修正图进行融合生成第一融合图；对所述第一融合图中的不确定性点进行处理，将所述第一融合图中确定性点和经过处理后的第一融合图中的不确定性点进行处理生成第一融合修正图。2.根据权利要求1所述的皮肤镜图像的分割方法，其特征在于：步骤“根据获取到的图像至少生成第二特征图和第三特征图”包括：对所述第二特征图进行下采样处理生成第三预设特征图，根据空洞空间金字塔模块和所述第三预设特征图生成第三特征图。3.根据权利要求1所述的皮肤镜图像的分割方法，其特征在于：步骤“对所述第二特征图中的特征进行提取并处理，形成第二修正图”包括：基于多头自注意力上下文感知模块对所述第二特征图中的特征进行提取并处理，形成第二修正图。4.根据权利要求3所述的皮肤镜图像的分割方法，其特征在于：步骤“对所述第二特征图中的特征进行提取并处理，形成第二修正图”包括：由编码块从所述第二特征图中提取特征F；对编码块提取的特征F使用三个不同的卷积层Q、K、V将其映射到嵌入空间，得到特征图F
Q
、F
K
、F
V
；将F
Q
、F
K
、F
V
的通道维度映射为C，降低参数量，得到嵌入空间中特征图F
Q
、F
K
、F
V
的通道维度均为H
×
W
×
C；调整特征图F
Q
和F
k
的形状为HW
×
C，并将F
Q
进行转置，使F
Q
的形状变为C
×
HW；对F
Q
和F
k
使用矩阵乘法，得到HW
×
HW大小的特征图F
T
；利用位置编码图E对特征图中的相对位置进行编码，位置编码图E的大小为HW
×
HW，其中，每个像素点的值E(i,j)表示第i个位置与第j个位置的相对关系；根据Att＝softmax(F
T
+E)，得注意力权值图Att，其中，注意力权值图Att的大小为HW
×
HW，Att(i,j)表示第i个像素值与第j个像素值的依赖关系，F
T
为HW
×
HW大小的特征图，E表示位置编码；将Att转置并与特征图F
V
作矩阵乘法，以残差连接的形式加上特征F，得到筛选后的特征F
’
；在所述解码块内串联特征F
’
恢复图像，形成所述第二修正图。5.根据权利要求1所述的皮肤镜图像的分割方法，其特征在于：步骤“对所述第一融合图中的不确定性点进行处理，将所述第一融合图中确定性点和经过处理后的第一融合图中的不确定性点进行处理生成第一融合修正图”包括：基于不确定性降低模块对第一融合图中的不确定性点进行处理，将所述第一融合图中确定性...

【专利技术属性】
技术研发人员：谢璟，郑炎焱，朱莉，
申请(专利权)人：温州市人民医院，
类型：发明
国别省市：