一种基于层次式注意力网络的医学图像半监督分割方法技术

本发明专利技术公开了一种基于层次式注意力网络的医学图像半监督分割方法，包括：

【技术实现步骤摘要】
一种基于层次式注意力网络的医学图像半监督分割方法


[0001]本专利技术涉及生物医学图像的分割的
，特别涉及一种基于层次式注意力网络的医学图像半监督分割方法
。

技术介绍

[0002]目前，基于深度神经网络的方法由于能够自动从图像提取所需特征，在许多计算机视觉任务中获得了广泛的应用，然而，这类方法往往依赖于数据量可观的有标注数据集
。
在医学图像分割领域，由于标注成本与隐私保护问题，构建大规模有标注数据集是一项难以完成的挑战
。
为了缓解该问题，人们提出了两种主要的解决思路：第一种是设计数据对生成方法来扩展原始数据集
,
即通过数据增强策略来提高模型性能
。
另一个思路是根据不同的应用设计不同的半监督学习方法，通过使用大量的无标签数据辅助训练，半监督学习方法使模型获得了更好的分割性能，对于由少量有标注数据和大量无标注数据构成的数据集来说，设计基于半监督学习的分割方法是一种更有效的解决方式
。
然而，目前最优的半监督分割方法的核心思想之一是图像和语义掩码在隐空间中具有高度一致的表示，这对于有小病灶的生物医学图像来说并不成立
。

技术实现思路

[0003]针对现有技术中存在的不足之处，本专利技术的目的是提供一种基于层次式注意力网络的医学图像半监督分割方法，通过将输入图像编码到隐空间，可以实现不同数据集之间的跨域分割，具有较好的半监督分割性能和跨域分割性能，可被广泛应用于医学图像分割领域
。
>为了实现根据本专利技术的上述目的和其他优点，提供了一种基于层次式注意力网络的医学图像半监督分割方法，包括：
[0004]S1、
通过基于
StyleGAN2
的层次式注意力生成对抗网络结构为层次式注意力生成模型；
[0005]S2、
通过以残差网络为骨干的编码器将生物医学图像编码到低维隐空间，然后用训练好的层次式注意力生成对抗网络生成相应的语义分割掩码；
[0006]S3、
对层次式注意力生成模型中的尾部双分支生成器的某一层提取的特征图应用
k
‑
means
聚类算法，并将聚类结果作为输入图像的最终分割掩码；
[0007]S4、
将输入图像编码到隐空间，得到了输入图像在隐空间的语义表示，实现医学图像数据集的跨域分割
。
[0008]优选的，步骤
S1
中层次式注意力生成对抗网络包括尾部双分支生成器
、
基于
StyleGAN2
的生成器
、
一对图像
‑
编码判别器
、
图像相似性判别器；
[0009]通过一对图像
‑
编码判别器分别提供监督损失和无监督损失；
[0010]基于
StyleGAN2
的生成器与尾部双分支生成器分别关注非病灶区域与医学图像的病灶；该尾部双分支生成器通过注意力图和病变图像共享相同的风格卷积层，同时生成具有相似语义的注意力图及病灶纹理
。
[0011]优选的，将基于
StyleGAN2
的生成器与尾部双分支生成器关注不同区域的特征合成，图像
‑
编码判别器通过判断生成图像或数据对是否真实得到的分数也将同时反馈至两个生成器进行训练，一个图像
‑
编码判别通过提供图像
‑
语义掩码的联合一致性对抗损失，促使生成语义掩码的尾部双分支生成器将注意力转向与病灶区域相关的特征生成，另一个判别器提供图像相似性对抗损失，提高模型生成质量，基于
StyleGAN2
的生成器被迫使生成非病灶纹理，从而生物医学图像的生成过程自动分解为病灶和非病灶图像的合成
。
[0012]优选的，步骤
S2
中通过固定第一训练阶段的生成器，训练残差编码器将医学图像编码至隐空间，从隐空间重建医学图像并生成注意力图，使用图像重建损失进行训练，其中使用医学图像的重建损失作为无监督损失；使用注意力图的重建损失作为有监督损失
。
[0013]优选的，步骤
S3
中固定第一训练阶段的生成器与第二训练阶段的编码器；将输入图像编码至低维隐空间；从编码得到的低维隐变量生成医学图像及对应的注意力图；提取生成器的中间层；对提取的特征图应用
k
‑
means
聚类算法得到最终分割结果
。
[0014]优选的，对提取的特征图进行展平，对展平后的特征数组应用由2个聚类构成的
k
‑
means
聚类算法，得到最终分割结果
。
[0015]本专利技术与现有技术相比，其有益效果是：通过构建基于层次式注意力生成网络的医学图像半监督分割方法，缓解了医学图像分割的标注数据稀缺问题，作为数据生成模型获得了优秀的医学图像生成质量，作为半监督分割方法，在医学图像分割中最优的半监督分割性能
。
有效解决了人工标注标定周期长
、
标定精度参差不齐的问题
。
本专利技术实施例在计算机终端上能以较优的质量实现医学图像半监督分割，有效缓解了医学图像标注缺失的问题
。
提出基于
GAN
的半监督学习模型，实现医学图像的半监督语义分割
。
为了兼容具有类不平衡特点的医学图像，提出层次式注意力生成对抗网络
。
层次式注意力架构将医学图像的合成解耦为病灶和非病灶图像合成阶段，利用病灶图像与分割掩码的语义一致性，设计一个基于
StyleGAN2
的尾部双分支生成器，从同一隐变量中同时合成语义掩码和病灶图像，其中合成的语义掩码被视为注意力图
。
附图说明
[0016]图1为根据本专利技术的基于层次式注意力网络的医学图像半监督分割方法的医学图像生成解耦方式说明图；
[0017]图2为根据本专利技术的基于层次式注意力网络的医学图像半监督分割方法的医学图像生成解耦方式说明图；
[0018]图3为根据本专利技术的基于层次式注意力网络的医学图像半监督分割方法的医学图像生成解耦方式说明图；
[0019]图4为根据本专利技术的基于层次式注意力网络的医学图像半监督分割方法的生成解耦模式；
[0020]图5为根据本专利技术的基于层次式注意力网络的医学图像半监督分割方法的实施例在前庭神经鞘瘤数据集上的分割示意图；
[0021]图6为根据本专利技术的基于层次式注意力网络的医学图像半监督分割方法的实施例在肾脏
KiTS19
数据集上的分割示意图；
[0022]图7为根据本专利技术的基于层次式注意力网络的医学图像半监督分割方法的实施例
皮肤镜图像分割示意图；
[0023]图8为根据本专利技术的基于层次式注意力网络的医学图像半监督分割方法的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于层次式注意力网络的医学图像半监督分割方法，其特征在于，包括以下步骤：
S1、
通过基于
StyleGAN2
的层次式注意力生成对抗网络结构为层次式注意力生成模型；
S2、
通过以残差网络为骨干的编码器将生物医学图像编码到低维隐空间，然后用训练好的层次式注意力生成对抗网络生成相应的语义分割掩码；
S3、
对层次式注意力生成模型中的尾部双分支生成器的某一层提取的特征图应用
k
‑
means
聚类算法，并将聚类结果作为输入图像的最终分割掩码；
S4、
将输入图像编码到隐空间，得到了输入图像在隐空间的语义表示，实现医学图像数据集的跨域分割
。2.
如权利要求1所述的一种基于层次式注意力网络的医学图像半监督分割方法，其特征在于，步骤
S1
中层次式注意力生成对抗网络包括尾部双分支生成器
、
基于
StyleGAN2
的生成器
、
一对图像
‑
编码判别器
、
图像相似性判别器；通过一对图像
‑
编码判别器分别提供监督损失和无监督损失；基于
StyleGAN2
的生成器与尾部双分支生成器分别关注非病灶区域与医学图像的病灶；该尾部双分支生成器通过注意力图和病变图像共享相同的风格卷积层，同时生成具有相似语义的注意力图及病灶纹理
。3.
如权利要求2所述的一种基于层次式注意力网络的医学图像半监督分割方法，其特征在于，将基于
StyleGAN2
的生成器与...

【专利技术属性】
技术研发人员：刘钦源，柴露，程大伟，王成，尚骏，
申请(专利权)人：同济大学，
类型：发明
国别省市：