基于制造技术

本发明专利技术公开了基于

【技术实现步骤摘要】
基于Transformer的特征补充黑色素瘤图像分割方法


[0001]本专利技术涉及医学图像分割
，具体涉及基于
Transformer
的特征补充黑色素瘤图像分割方法
。

技术介绍

[0002]黑色素瘤是一种恶性肿瘤，通常出现在皮肤
、
眼睛和黏膜等处，约占全部肿瘤的3％
。
早期通常用一些非侵入性成像技术，如皮肤镜来筛查黑色素瘤，但由于需要医生手工操作，非常主观和耗时，而且对医生的技术和经验都有很高的要求
。
同时，黑色素瘤
、
痣和脂溢性角化病等不同皮肤疾病之间存在内在的视觉相似性，即使是皮肤镜的专家也很难区分它们
。
黑色素瘤图像分割技术能够帮助医生更加准确地识别和确定病变，从而更有效地诊断疾病，提高治疗效率
。
它还可以为医生提供更多的细节信息，帮助他们更好地判断病情，从而实现更有效的治疗
。
[0003]尽管目前提出的黑色素瘤皮肤病变图像分割模型多基于
Transformer
网络，通过自注意力机制对特征之间的长距离联系和依赖进行建模，能够克服卷积神经网络的局部性，捕获更大范围的上下文信息
。
但对显卡的需求高不适合小型任务，且缺乏对细节信息的捕获和对不同尺度通道获取的特征之间进行融合筛选
。
针对现有黑色素瘤皮肤病变分割模型所存在的不足，利用
Transformer
结构捕获远程信息，在此基础上结合卷积层对特征补充模块和特征融合模块进行设计
。
例如，
Swin
‑
Unet
将卷积块换成了
Transformer
模块，通过多层的分组卷积和多层的
SwinTransformer
块来提取图像的特征表示，结合编码器的特征表示进行特征融合，最终输出分割掩码
。UCTransNet
利用
Transformer
的远程依赖建模优势融合多尺度编码器特征，解决语义空白，实现医学图像自动分割
。
[0004]上述研究都是基于
Transformer
进行设计，保证了模型的远程信息捕获能力，但这些研究忽略了每个图像块内部像素级的内在结构特征，对于局部特征信息的获取不够充分
。
导致皮损边界分割模糊
、
甚至与周围皮肤融合在一起的问题
。

技术实现思路

[0005]本专利技术的目的在于，提出一种基于
Transformer
的特征补充黑色素瘤图像分割方法
FAuNet
，该方法有效地提取了全局视觉信息，保留了浅层信息建立编码器与解码器之间的关联，弥补了下采样和上采样过程中造成的空间信息损失问题
。
通过横向连接丰富特征信息，提高了模型的鲁棒性
。
[0006]为实现上述目的，本申请提出的基于
Transformer
的特征补充黑色素瘤图像分割方法，包括：
[0007]使用
ResNet
网络作为分割模型的骨干网络，提取到黑色素瘤图像的不同尺度特征图
laye0
～
layer4
；
[0008]对所述特征图
layer0
～
layer4
进行位置嵌入，然后将
layer1
～
layer4
送入分割模型的
Transformer
中，动态地获取每个位置与其他位置之间的相对重要性并进行整合，得到
不同尺度的特征图
m1～
m4；
[0009]将特征图
m1～
m4依次经过分割模型的重构特征
(Refa)
模块进行处理；
[0010]将编码器端的浅层特征
layer0
与解码器特征送入分割模型的特征金字塔
(iFPN)
模块中汇合，进行特征横向连接；然后对分割模型进行训练；
[0011]将需要分割的黑色素瘤图像送入训练完的分割模型中，得到相应的分割结果图及对应指标
。
[0012]进一步地，对所述特征图
layer0
～
layer4
进行位置嵌入方式为：
[0013]对特征图
i
＝
1,2,3,4Token
化来进行位置嵌入，其中，
H
表示高度，
W
表示宽度，
C
为通道数；具体为：将特征重新划分成大小分别为的二维图像块，使这些图像块序列在4种尺度下映射到编码器特征的相同区域；在这个过程中，保持原来的通道尺寸；
[0014]将4个层的
Token T
i
，
i
＝
1,2,3,4
，连接起来，
T
Σ
＝
Concat(T1,T2,T3,T4)
作为
key
和
value。
[0015]进一步地，将
Token
送入分割模型的
Transformer
中，动态地获取每个位置与其他位置之间的相对重要性并进行整合，得到不同尺度的特征图
m1～
m4，具体为：
[0016]将
Token
送入
Transformer
中，获取全局上下文信息，所述
Transformer
包含多头通道交叉注意力模块和具有残差结构的多层感知机；由式
(1)
和
(2)
获取通道关系和特征依赖；
[0017]所述多头通道交叉注意力模块有5个输入，包含4个层的
T
i
和一个
T
Σ
作为
key
和
value
；
[0018][0019][0020]其中，是由
Transformer
中的多头通道交叉注意力模块产生的；为不同输入的权值，
d
为序列长度，
C
i
,i
＝
1,2,3,4
为4个跳跃连接层的通道尺寸；在
N
头注意力的情况下，多头通道交叉注意力模块的输出结果是应用简单
MLP
和残差操作得到注意力的平均值；
[0021]经过上述
Transformer
的自注意力机制对特征之间的长距离联系和依赖进行建模得到特征图
m1～
m4。
[0022]进一步地，将特征图依次经过分割模型的重构特征模块进行处理，具体为：
[0023]将特征图
m4经过重构特征模块处理，重构特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于
Transformer
的特征补充黑色素瘤图像分割方法，其特征在于，包括：使用
ResNet
网络作为分割模型的骨干网络，提取到黑色素瘤图像的不同尺度特征图
laye0
～
layer4
；对所述特征图
layer0
～
layer4
进行位置嵌入，然后将
layer1
～
layer4
送入分割模型的
Transformer
中，动态地获取每个位置与其他位置之间的相对重要性并进行整合，得到不同尺度的特征图
m1～
m4；将特征图
m1～
m4依次经过分割模型的重构特征模块进行处理；将编码器端的浅层特征
layer0
与解码器特征送入分割模型的特征金字塔模块中汇合，进行特征横向连接；然后对分割模型进行训练；将需要分割的黑色素瘤图像送入训练完的分割模型中，得到相应的分割结果图及对应指标
。2.
根据权利要求1所述基于
Transformer
的特征补充黑色素瘤图像分割方法，其特征在于，对所述特征图
layer0
～
layer4
进行位置嵌入方式为：对特征图
i
＝
1,2,3,4Token
化来进行位置嵌入，其中，
H
表示高度，
W
表示宽度，
C
为通道数；具体为：将特征重新划分成大小分别为的二维图像块，使这些图像块序列在4种尺度下映射到编码器特征的相同区域；在这个过程中，保持原来的通道尺寸；将4个层的
Token T
i
，
i
＝
1,2,3,4
，连接起来，
T
Σ
＝
Concat(T1,T2,T3,T4)
作为
key
和
value。3.
根据权利要求2所述基于
Transformer
的特征补充黑色素瘤图像分割方法，其特征在于，将
Token
送入分割模型的
Transformer
中，动态地获取每个位置与其他位置之间的相对重要性并进行整合，得到不同尺度的特征图
m1～
m4，具体为：将
Token
送入
Transformer
中，获取全局上下文信息，所述
Transformer
包含多头通道交叉注意力模块和具有残差结构的多层感知机；由式
(1)
和
(2)
获取通道关系和特征依赖；所述多头通道交叉注意力模块有5个输入，包含4个层的
T
i
和一个
T
Σ
作为
key
和
value
；
Q
i
＝
T
i
W
Qi
,K
＝
T
Σ
W
K
,V
＝
T
Σ
W
V (2)
其中，是由
Transformer
中的多头通道交叉注意力模块产生的；为不同输入的权值，
d
为序列长度，
C
i
,i
＝
1,2,3,4
为4个跳跃连接层的通道尺寸；经过上述
Transformer
的自注意力机制对特征之间的长距离联系和依赖进行建模得到特征图
m1～

【专利技术属性】
技术研发人员：樊万姝，刘文飞，李翔宇，
申请(专利权)人：大连大学，
类型：发明
国别省市：