当前位置: 首页 > 专利查询>燕山大学专利>正文

基于半监督对抗学习的冠脉造影血管图像分割的方法技术

技术编号:29463633 阅读:17 留言:0更新日期:2021-07-27 17:37
本发明专利技术公开了一种基于半监督对抗学习的冠脉造影血管图像分割的方法,属于医学技术领域,基于半监督对抗学习的方法是当下医学图像处理领域比较热门的一个方法。半监督对抗学习的方法不需要大量的标注数据,大大减轻了医生的工作量。通过利用标注数据训练鉴别器,鉴别器网络可以判断输入为未标注数据的分割预测图还是GroundTruth图,然后分割网络将未标注数据的分割预测输入到鉴别器网络可以计算置信图,再结合对抗损失和半监督损失可以共同监督提高分割网络的准确性,从而使分割网络达到一个好的分割效果。

【技术实现步骤摘要】
基于半监督对抗学习的冠脉造影血管图像分割的方法
本专利技术属于医学
,具体涉及一种基于半监督对抗学习的冠脉造影血管图像分割的方法。
技术介绍
半监督对抗学习是一种不需要过多标注数据的方法,相比于监督学习需要大量的人工标注数据,半监督对抗学习只需要少量的标注数据和大量的未标注数据即可。随着深度学习中半监督学习和对抗网络的出现,并且半监督学习和对抗网络已经在很多图像处理领域取得了巨大的成就。因此,使用深度学习来解决冠脉造影血管图像分割问题是将来研究的重点,并在此基础上结合利用半监督学习和生成对抗网络的方法来进行分割,解决了样本标注不足的问题。半监督学习有一个非常吸引人的优点,它不需要大量的标注数据,它可以在模型训练中利用大量未标记的数据,从而可以大大减轻人工标注的任务。生成对抗网络的对抗学习也应用到了语义分割当中,将这两者结合可以在血管分割方法取得一些进展。一个典型的对抗网络由两个子网络组成,即生成器和鉴别器,让生成器和鉴别器进行博弈,从而可以产生不错的输出。在此背景下,我们的分割网络作为对抗网络的生成器,鉴别器采用一个完全卷积的网络作为鉴别器网络,分割网络对输入图像进行分割预测,使得所得的预测图接近GroundTruth图。对抗学习是让分割网络和鉴别器进行博弈,在训练过程中通过相互竞争让它们同时得到增强,最终使分割网络达到一个好的分割效果。
技术实现思路
本专利技术提供了一种利用半监督对抗学习网络来对冠脉造影血管图像进行分割预测,完成冠脉造影血管分割任务的方法。一种基于半监督对抗学习的冠脉造影血管图像分割的方法,包括以下步骤:(1)获取实验所需要的冠脉造影数据,其中包括标注数据和未标注数据;(2)用带标注的数据对鉴别器网络和分割网络进行训练,鉴别器网络受损失函数LD监督训练,分割网络受Dice损失LDice和对抗损失Ladv监督训练;(3)用未标注数据对分割网络进行训练,此时分割网络受鉴别器网络生成的置信度图和半监督损失Lsemi监督训练;(4)在训练的过程中,鉴别器网络学习区分GroundTruth图和分割网络的分割预测图,而损失函数LDice和Ladv则鼓励分割网络产生接近GroundTruth图的预测概率图,鉴别器网络与分割网络之间的关系构成了对抗学习;(5)上述(2)、(3)和(4)步骤重复训练,直到分割网络的训练完成,训练完成后保存模型,该模型即是我们所要的分割预测模型;所述分割网络为经典的医学图像分割网络Unet,鉴别器网络为一个全卷积网络,所述对抗学习是让分割网络和鉴别器进行博弈,在训练过程中通过相互竞争让它们同时得到增强,最终使分割网络达到一个好的分割效果。本专利技术技术方案的进一步改进在于:所述的鉴别器网络由5个卷积层组成,分别具有4×4的核和{64,128,256,512,1}个通道,步长为2,第1,2,3,4个卷积层后面都有一个由0.01参数化的Leaky-ReLU,在最后一层卷积层后面添加一个上采样层,以将输出重新缩放到输入映射的大小,从而将模型转换成全卷积网络;Leaky-ReLU的激活公式如下:本专利技术技术方案的进一步改进在于:分割网络采用Unet网络,Unet分为收缩路径和扩展路径,收缩路径是经典的卷积网络结构,由五个相同的模块组成,每个模块包括两个卷积核大小均为3×3的卷积和一个激活函数ReLU,第1,2,3,4个模块后面包含一个2x2的步长为2的最大池化层;扩展路径中的每一步包括对特征映射先进行上采样,然后进行2x2卷积,该卷积为up-convolution;该特征映射将特征通道的数量减半,与收缩路径中相应裁剪的特征拼接起来,然后后接两个3x3卷积,每个卷积后都有一个激活函数ReLU;在最后一层,使用1x1卷积来将每个64通道特征图映射到特定深度并且使用softmax输出来匹配输入图像的大小。本专利技术技术方案的进一步改进在于:训练鉴别器的损失函数为:LD=-∑h,w(1-yn)log(1-D(S(Xn))(h,w))+ynlog(D(Yn)(h,w))(2)其中,LD是鉴别器网络的损失函数,D(S(Xn))(h,w)是输入图像X在位置(h,w)的置信度图,D(Yn)(h,w)是one-hot编码后GroundTruth向量Yn的置信度图;其中如果样本来自分割网络,则yn=0,如果样本来自GroundTruth,则yn=1;训练鉴别器使用标注的数据;训练分割网络的损失函数为:Lseg=λadvLadv+λsemiLsemi(3)其中Ladv和Lsemi分别为对抗损失和半监督损失;在式(3)中,用λadv和λsemi两个权值来最小化所提出的多任务损失函数;通过鉴别器网络中的对抗损失来使用对抗学习过程,对抗损失为:Ladv=-∑h,wlog(D(S(Xn))(h,w))(4)应用所述损失训练分割网络,通过最大化从GroundTruth分布生成预测结果的概率欺骗鉴别器,在自学框架内使用训练有素的鉴别器和未标记的数据所产生的半监督损失函数为:其中I(·)是指标函数,Tsemi是控制自学过程灵敏度的阈值。本专利技术技术方案的进一步改进在于:步骤(3)所述的置信度图用来推断与GroundTruth足够接近的区域,而通过训练的分割网络可以最大化生成与GroundTruth分布相近的预测结果,从而能骗过鉴别器。由于采用了上述技术方案,本专利技术取得的技术效果如下:本申请首次将半监督对抗学习的方法应用在冠脉造影血管分割,可以大大缓解冠脉造影标注数据紧缺的问题,从而帮医生减轻标注工作量。主要解决了针对当前医学图像数据集比较缺少的问题,提出使用半监督对抗学习的方法对我们所采集的冠脉造影血管图像进行分割,使得我们的数据集在不需要大量的人工标注的情况下即可达到我们所要的分割效果,解决了医学图像冠脉造影数据紧缺的问题。附图说明图1是本专利技术的总体框架线路图;图2是本专利技术整体技术路线图;图3是本专利技术分割网络结构;图4是本专利技术鉴别器网络结构。具体实施方式在我们的方法中,我们的专利技术整体技术路线图如图2所示,其中我们采用Unet网络作为我们的分割网络如图3,Unet网络在医学图像分割领域一直表现很好,因此选用它作为我们的分割网络。Unet分为收缩路径和扩展路径,收缩路径是经典的卷积网络结构,由五个相同的模块组成,每个模块包括两个卷积核大小均为3x3的卷积和一个激活函数ReLU,第1,2,3,4个模块后面均包含一个2x2的步长为2的最大池化层。扩展路径中的每一步包括对特征映射先进行上采样,然后进行2x2卷积,该卷积为up-convolution。该特征映射将特征通道的数量减半,与收缩路径中相应裁剪的特征拼接起来,然后后接两个3x3卷积,每个卷积都有一个激活函数ReLU。由于每个卷积中边界像素的丢失,裁剪是必要的。在最后一层,使用1x1卷积来将每个64通道特征图映射到特定深度并且使用softmax输本文档来自技高网...

【技术保护点】
1.一种基于半监督对抗学习的冠脉造影血管图像分割的方法,其特征在于包括以下步骤:/n(1)获取实验所需要的冠脉造影数据,其中包括标注数据和未标注数据;/n(2)用带标注的数据对鉴别器网络和分割网络进行训练,鉴别器网络受损失函数L

【技术特征摘要】
1.一种基于半监督对抗学习的冠脉造影血管图像分割的方法,其特征在于包括以下步骤:
(1)获取实验所需要的冠脉造影数据,其中包括标注数据和未标注数据;
(2)用带标注的数据对鉴别器网络和分割网络进行训练,鉴别器网络受损失函数LD监督训练,分割网络受Dice损失LDice和对抗损失Ladv监督训练;
(3)用未标注数据对分割网络进行训练,此时分割网络受鉴别器网络生成的置信度图和半监督损失Lsemi监督训练;
(4)在训练的过程中,鉴别器网络学习区分GroundTruth图和分割网络的分割预测图,而损失函数LDice和Ladv则鼓励分割网络产生接近GroundTruth图的预测概率图,鉴别器网络与分割网络之间的关系构成了对抗学习;
(5)上述(2)、(3)和(4)步骤重复训练,直到分割网络的训练完成,训练完成后保存模型,该模型即是我们所要的分割预测模型;
所述分割网络为经典的医学图像分割网络Unet,鉴别器网络为一个全卷积网络。


2.根据权利要求1所述的一种基于半监督对抗学习的冠脉造影血管图像分割的方法,其特征在于:所述的鉴别器网络由5个卷积层组成,分别具有4×4的核和{64,128,256,512,1}个通道,步长为2,第1,2,3,4个卷积层后面都有一个由0.01参数化的Leaky-ReLU,在最后一层卷积层后面添加一个上采样层,以将输出重新缩放到输入映射的大小,从而将模型转换成全卷积网络;Leaky-ReLU的激活公式如下:





3.根据权利要求1所述的一种基于半监督对抗学习的冠脉造影血管图像分割的方法,其特征在于:分割网络采用Unet网络,Unet分为收缩路径和扩展路径,收缩路径是经典的卷积网络结构,由五个相同的模块组成,每个模块包括两个卷积核大小均为3×3的卷积和一个激活函...

【专利技术属性】
技术研发人员:王金甲常万里杜宏桥周莹
申请(专利权)人:燕山大学
类型:发明
国别省市:河北;13

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1