一种基于Transformer双分支模型的皮肤病变图像分割方法技术

本发明专利技术属于计算机视觉技术领域，具体涉及一种基于Transformer双分支模型的皮肤病变图像分割方法；该方法构建并训练Transformer双分支模型，将待处理图像输入到训练好的Transformer双分支模型中得到分割结果；所述Transformer双分支模型包括主分支网络、辅助分支网络和信息聚合模块；本发明专利技术提出了一种新的皮肤病变图像分割方法，解决了传统深度学习方法提取全局上下文信息的不足，利用高效的多尺度视觉Transformer作为编码器，从而提取更强大且更好鲁棒性的特征，同时引入低级特征模块和高级特征融合模块，有效地提升网络的特征学习能力和分割性能。学习能力和分割性能。学习能力和分割性能。

【技术实现步骤摘要】
一种基于Transformer双分支模型的皮肤病变图像分割方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于Transformer双分支模型的皮肤病变图像分割方法。

技术介绍

[0002]皮肤病(dermatosis)是发生在皮肤和皮肤附属器官疾病的总称，常见的皮肤病有湿疹、荨麻疹、黄褐斑、水痘、色素障碍性皮肤病等。其中，恶性黑色素瘤是由皮肤和其他器官黑素细胞产生的肿瘤，它是导致皮肤肤色素性病变中最致命的一种皮肤癌。恶性黑色素瘤的发生率和死亡率逐年升高，根据皮肤癌基金会的统计数据，它的致死率甚至高达75％。恶性黑色素瘤除早期手术切除外，缺乏特效治疗，因此恶性黑色素瘤的早期诊断和治疗极其重要，但是由于皮肤的表面存在很多不可控因素，比如毛发、血管、颜色以及病变皮肤和未病变皮肤之间的对比度低等，经验丰富的专业医生不仅无法准确地判断出皮肤上的病变区域，还可能在判断时带有主观看法。因此需要借助计算机辅助诊断系统提高对黑色素瘤的检测，而对皮肤病图像的分割就是计算机辅助诊断里十分重要的环节。
[0003]传统的医学分割方法主要依赖于低级特征，如纹理、几何特征、简单的线性迭代聚类超像素等。这些方法实现起来程序繁琐，并且泛化能力较差，不能满足实际应用的复杂场景分割精度要求。近年来，深度学习在医学图像分割领域得到了广泛的应用，特别是U型网络结构，其采用多尺度特征进行重建的能力引起了极大的关注。这些方法在准确性和泛化能力上都取得了相当不错的效果。但是皮肤病图像存在大量噪声，图像本身边界区域模糊，皮肤的颜色不同，血管的模糊等都会影响模型对特征的提取，在皮肤病的边界区域也很难准确定位。基于CNN的模型在特征提取过程中执行下采样，以减少计算量，这样很容易导致细节信息丢失。因此，需要更多的全局上下文信息进行推理。但是由于卷积运算的局限性，很难直接在全局上下文信息上建模。

技术实现思路

[0004]为解决上述问题，本专利技术提供了一种基于Transformer双分支模型的皮肤病变图像分割方法，该方法构建并训练Transformer双分支模型，将待处理图像输入到训练好的Transformer双分支模型中得到分割结果；所述Transformer双分支模型包括主分支网络、辅助分支网络和信息聚合模块；
[0005]所述Transformer双分支模型的训练过程包括：
[0006]S1.获取皮肤病变图像数据集并进行预处理得到训练图像集；
[0007]S2.将训练图像输入到辅助分支网络提取低级特征并输出第二分割图；
[0008]S3.将辅助分支网络提取的低级特征输入到主分支网络提取出多尺度的高级特征，并输出第一分割图；
[0009]S4.采用信息聚合模块融合第一分割图和第二分割图得到最终分割图；
[0010]S5.通过最终损失函数计算损失并反向传播训练Transformer双分支模型，直至模
型收敛。
[0011]进一步的，基于ResT架构搭建Transformer双分支模型，所述ResT架构包括依次级联的Steam模块、stage1模块、stage2模块、stage3模块和stage4模块；每个stage模块均包括一个块嵌入模块、一个位置编码模块和多个高效transformer模块，每个高效transformer模块均由EMSA、FFN以及残差链接构成；从ResT架构中的Steam模块处延伸出一条分支构建辅助分支网络；从ResT架构中的stage1模块到stage4模块各延伸出一条分支，通过这四条分支构建主分支网络。
[0012]进一步的，主分支网络中设有一个高级特征融合模块，用于将stage1模块、stage2模块、stage3模块和stage4模块输出的不同尺度的高级特征在解码过程中进行级联融合和跳转连接，具体包括：
[0013]S11.stage1模块输出高级特征X1，stage2模块输出高级特征X2，stage3模块输出高级特征X3，stage4模块输出高级特征X4；
[0014]S12.对高级特征X4上采样后分别经过卷积单元和得到特征和特征将特征和高级特征X3的乘积与特征进行拼接，通过卷积单元处理该拼接结果得到融合特征图X
′3；
[0015]S13.对融合特征图X
′3上采样后经过卷积单元得到特征X
″
31
，对特征和高级特征X3的乘积上采样后与高级特征X2相乘得到特征X
″
32
，将特征X
″
32
与特征X
″
31
进行拼接后经过卷积单元得到融合特征图X
′2；
[0016]S14.对融合特征图X
′2上采样后经过卷积单元得到特征X
″
21
，对特征X
″
32
上采样后与高级特征X1相乘得到特征X
″
22
，将特征X
″
22
与特征X
″
21
进行拼接后依次经过卷积单元和卷积单元得到第一分割图T1。
[0017]进一步的，辅助分支网络中设有组合注意力模块，用于提取Steam模块输出的低级特征X0的细节信息，所述组合注意力模块包括空间注意力机制和通道注意力机制；辅助分支网络的具体处理过程包括：
[0018]S21.将训练图像输入到Steam模块提取得到低级特征X0；
[0019]S22.通过通道注意力机制处理低级特征X0得到通道特征，将通道特征依次通过ReLU层和1
×
1卷积层得到原始维度通道特征；
[0020]S23.通过空间注意力机制处理原始维度通道特征得到第二分割图。
[0021]进一步的，通道注意力机制的处理公式表示为：
[0022]At
c
(X0)＝σ(M1(AvgPool(X0))+M2(MaxPool(X0))
[0023]其中，σ(
·
)表示softmax激活函数，AvgPool(
·
)表示自适应平均池化，MaxPool(
·
)表示自适应最大池化，M1、M2表示核大小为1
×
1的卷积层；
[0024]空间注意力机制的处理公式表示为：
[0025][0026]其中，表示7
×
7卷积层，C
max
(
·
)表示沿着通道维度得到的最大值，C
avg
(
·
)表示表示沿着通道维度得到的平均值。
[0027]进一步的，步骤S4采用信息聚合模块融合第一分割图T1和第二分割图T2得到最终分割图的过程包括：
[0028]S31.将第一分割图T1分别通过线性映射函数W
θ
(
·
)和得到特征映射Q和特征映射K；
[0029]S32.对经过卷积单元W
g...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer双分支模型的皮肤病变图像分割方法，其特征在于，构建并训练Transformer双分支模型，将待处理图像输入到训练好的Transformer双分支模型中得到分割结果；所述Transformer双分支模型包括主分支网络、辅助分支网络和信息聚合模块；所述Transformer双分支模型的训练过程包括：S1.获取皮肤病变图像数据集并进行预处理得到训练图像集；S2.将训练图像输入到辅助分支网络提取低级特征并输出第二分割图；S3.将辅助分支网络提取的低级特征输入到主分支网络提取出多尺度的高级特征，并输出第一分割图；S4.采用信息聚合模块融合第一分割图和第二分割图得到最终分割图；S5.通过最终损失函数计算损失并反向传播训练Transformer双分支模型，直至模型收敛。2.根据权利要求1所述的一种基于Transformer双分支模型的皮肤病变图像分割方法，其特征在于，基于ResT架构搭建Transformer双分支模型，所述ResT架构包括依次级联的Steam模块、stage1模块、stage2模块、stage3模块和stage4模块；每个stage模块均包括一个块嵌入模块、一个位置编码模块和多个高效transformer模块，每个高效transformer模块均由EMSA、FFN以及残差链接构成；从ResT架构中的Steam模块处延伸出一条分支构建辅助分支网络；从ResT架构中的stage1模块到stage4模块各延伸出一条分支，通过这四条分支构建主分支网络。3.根据权利要求2所述的一种基于Transformer双分支模型的皮肤病变图像分割方法，其特征在于，主分支网络中设有一个高级特征融合模块，用于将stage1模块、stage2模块、stage3模块和stage4模块输出的不同尺度的高级特征在解码过程中进行级联融合和跳转连接，具体包括：S11.stage1模块输出高级特征X1，stage2模块输出高级特征X2，stage3模块输出高级特征X3，stage4模块输出高级特征X4；S12.对高级特征X4上采样后分别经过卷积单元和得到特征和特征将特征和高级特征X3的乘积与特征进行拼接，通过卷积单元处理该拼接结果得到融合特征图X3′
；S13.对融合特征图X3′
上采样后经过卷积单元得到特征X3″1，对特征和高级特征X3的乘积上采样后与高级特征X2相乘得到特征X3″2，将特征X3″2与特征X3″1进行拼接后经过卷积单元得到融合特征图X2′
；S14.对融合特征图X2′
上采样后经过卷积单元得到特征X2″1，对特征X3″2上采样后与高级特征X1相乘得到特征X2″2，将特征X2″2与特征X2″1进行拼接后依次经过卷积单元和卷积单元得到第一分割图T1。4.根据权利要求1或2任一一项所述的一种基于Transformer双分支模型的皮肤病变图像分割方法，其特征在于，辅助分支网络中设有...

【专利技术属性】
技术研发人员：李永红，李梓歆，赵志强，周诚，胡晋武，张合龙，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：