基于强弱扰动的分级Siamese对比增强的涂鸦标注医学图像分割方法技术

本发明专利技术公开了一种基于强弱扰动的分级Siamese对比增强的涂鸦标注医学图像分割方法，步骤（1）使用图像级别扰动进行图像预处理：主要扰动方式包括弱图像级别扰动与强图像级别扰动；（2）使用适用于涂鸦标注等弱监督应用场景的训练方式

【技术实现步骤摘要】
基于强弱扰动的分级Siamese对比增强的涂鸦标注医学图像分割方法


[0001]本专利技术属于弱监督语义分割领域，涉及一种基于强弱扰动的分级Siamese对比增强的涂鸦标注医学图像分割方法。

技术介绍

[0002]在目前的主流弱监督语义分割中，一种主流的方式是利用涂鸦标注作为标签。对于涂鸦标注，与贴类别标签和点标注相比，涂鸦标注在注释复杂物体方面能够有更好的通用性以及能够表达更多的信息；与边界框标注和交互式标注相比，涂鸦在注释物体方面更加简洁方便且具有更高的自由度与精确度。所以涂鸦标注是弱监督中一种相较于其他方式更加用户友好且能表示更多信息的标注方式。涂鸦标注这一稀疏标注能够在医学图像分割这类需要细致化表示标注区域类别以及需要花费大量时间进行大规模注释的任务提供保障。
[0003]经典的涂鸦标注方法大多使用选择性的像素损失来注释像素。GraphCuts, GrabCut, Random Walker等方法是试图扩大涂鸦或重建完整的掩码进行模型训练。然而，像素重新标记的过程需要迭代的训练，这样容易出现噪声标签。为了避免重新标记，CRF利用了条件随机场来完善后处理中的分割结果或作为可训练层。然而，这些方法不能为模型训练提供更好的监督。同时，也有方法提出了在对抗性训练中的多尺度注意门和使用PatchGAN判别器利用形状先验来提升分割性能。然而，这些方法需要额外的完备标注的数据源。
[0004]在另一方面，由于半监督学习是弱监督学习的子集，所以现阶段基于涂鸦注释的分割方法也有使用半监督语义分割中的一致性学习来提升性能。该方法是通过对一个样本进行扰动，改变其在特征空间中的位置，同时我们希望通过扰动改变过后的图像能够通过预测得出同样的结果。通过一致性学习过后的模型，可以使特征空间中的同类别特征相互靠近，不相似的类别特征互相远离，从而可以达到学习出一个更加紧凑的特征编码的目的。但是在实际过程中这种方法的固有弱点是扰动形状的方式过于缺少从而导致模型会保留固定扰动的特征，从而导致过拟合的预测，从而抵制了更新，进而在本就缺少大量数据集的医学图像分割领域表现出准确率不够高的现象。
[0005]因此，提供一种能够增强的涂鸦标注医学图像分割方法，是一个值得研究的方法。

技术实现思路

[0006]为了解决上述现有技术中存在的不足，本专利技术的目的在于提供一种基于强弱扰动的分级Siamese对比增强的涂鸦标注医学图像分割方法。能够同时满足在合理时间范围内完成模型训练并且逼近基于完备注释分割方法的分割准确率。根据实际的医学图像以及实际的应用情景需求确定框架的结构组成，对识别过程进行理论分析和实验分析，揭示框架在医学图像分割应用上的优越性，从而进一步推广本方法在医学图像分割上的应用场景。
[0007]为达到上述目的，本专利技术的目的是这样实现的：基于强弱扰动的分级Siamese对比增强的涂鸦标注医学图像分割方法，包括以下步骤：S1：使用图像级别扰动进行图像预处理：使用两种主要的扰动方式
‑‑‑
弱图像级别扰动与强图像级别扰动。对于弱图像级别扰动，引入基于水平轴，垂直轴和对角轴的翻转作为弱图像级别扰动得到三个不同的弱图像级别扰动视角并与原始视角共同称作弱图像级别扰动集。随机从弱图像级别扰动集中选取两个不同的视角作为弱图像级别扰动结果（以下称为w1，w2）；对于强图像级别扰动，引入改变对比度，图像锐化和高斯模糊作为强图像级别扰动可以得到与原图像相比严重失真的强图像级别扰动视角作为强图像级别扰动集。从该集合中随机抽取一个视角经过随机区域性掩码操作后得到强图像级别扰动结果（以下称为s），然后将w1，w2和s作为输入送入分割网络。
[0008]S2：使用一种适用于涂鸦标注等弱监督应用场景的训练方式
‑‑‑ꢀ
Siamese network：基于S1中的经过图像级别扰动的三个视角w1，w2和s，将分割网络解码器中的最浅层特征空间提取出来，对这一浅层特征空间的特征分布使用一个三层的多层感知机映射到投影空间并将投影后三个视角的特征分布（称作z
w1
，z
w2
和z
s
）再次经过一个两层的多层感知机得到预测空间的特征分布（称作q
w1
，q
w2
和q
s
）；利用最小化z
w1
和q
w2
，z
w2
和q
w1
，z
w1
和q
s
，z
s
和q
w1
三组孪生结果的余弦负相似度，从而达到预先不使用任何标注，直接关联相似特征和分离相对不相似特征的效果；S2步骤在后续S4步骤中能够起到将使用强图像级别扰动所得到的在特征空间中潜在有效而分散的特征信息进一步筛选的作用，进而达到Siamese对比增强的作用。
[0009]S3：利用通信式弱图像级别扰动实现对图像级别高置信度像素的特征提取：引入信息通信模块，将w1，w2经过分割网络的样本特征图使用加权总和为1的随机加权形成通信伪标签（corresponding pseudo label以下称作CPL）并使用基于dice系数的损失函数（以下称为dice loss）对两个弱图像级别扰动视角的分割样本特征图进行损失约束，实现对两个不同扰动流的统一约束；引入涂鸦标注信息提取模块，使用部分交叉熵函数partial cross entropy（以下称作L
PCE
）让涂鸦标注作为标签对w1，w2经过分割网络的分割特征图的概率分布进行部分交叉熵损失约束。使用以上两个模块，通过约束略微不同的准确先验信息从而达到弱扰动级别增强的目的。其中，在通过信息通信模块时，能够通过增加伪标签的多样性以及实现同源但有差异片面先验信息的互通信，从而避免使用自身伪标签所导致的迭代缓慢或模型退化的问题。
[0010]S4：利用强图像级别扰动得到图像本质特征信息的特征空间扩张模块：通过使用严重改变图像先验信息的方法得到与原图像相比更难辨认的先验图像称作s，将其与S3中的CPL进行dice loss损失约束从而使得模型能够从准确信息更少的的数据源中提取到图像本质信息并放入特征空间进行特征空间的扩张；由于强图像级别扰动视角的图像级分割结果不稳定，很难使用dice loss来约束并从中获取有效且稳定的特征，导致特征空间的扩张不能够提高模型的精度；所以引入S2步骤中Siamese network的自监督方法对特征空间中的强图像级别扰动不稳定特征和弱图像级别扰动稳定特征通过特征层学习的操作使得相似的特征更加紧凑，不相似的特征互相排斥的效果，最终达到稳定扩张特征空间的目的。
[0011]积极有益效果：本专利技术针对现有的基于涂鸦注释的医学图像分割在准确率和减少
时间成本上有了较高的提升。在使用轻量级分割网络的基础上引入了特征投影层和特征预测层，以此稳定有效地扩张特征空间，从而有效地优化了模型训练的结构和参数，保证了分割准确率和性能指标。通过实验测试：该模型能够在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于强弱扰动的分级Siamese对比增强的涂鸦标注医学图像分割方法，其特征在于：包括以下步骤：S1：使用图像级别扰动进行图像预处理：使用扰动方式包括弱图像级别扰动与强图像级别扰动；对于弱图像级别扰动，引入基于水平轴，垂直轴和对角轴的翻转作为弱图像级别扰动得到三个不同的弱图像级别扰动视角并与原始视角共同称作弱图像级别扰动集；随机从弱图像级别扰动集中选取两个不同的视角作为弱图像级别扰动结果，即以下称为w1，w2；对于强图像级别扰动，引入改变对比度，图像锐化和高斯模糊作为强图像级别扰动得到与原图像相比严重失真的强图像级别扰动视角作为强图像级别扰动集，从该集合中随机抽取一个视角经过随机区域性掩码操作后得到强图像级别扰动结果，以下称为s；然后将w1，w2和s作为输入送入分割网络；S2：使用一种适用于涂鸦标注等弱监督应用场景的训练方式
‑‑‑ꢀ
Siamese network：达到预先不使用任何标注，直接关联相似特征和分离相对不相似特征的效果；S3：利用通信式弱图像级别扰动实现对图像级别高置信度像素的特征提取：通过约束略微不同的准确先验信息从而达到弱扰动级别增强的目的；在通过信息通信模块时，能够通过生成不同通信伪标签增加伪标签的多样性以及实现同源但有差异片面先验信息的互通信，从而避免使用自身伪标签所导致的迭代缓慢或模型退化的问题；S4：利用强图像级别扰动得到图像本质特征信息的特征空间扩张模块：通过使用严重改变图像先验信息的方法得到与原图像相比更难辨认的先验图像称作s，将其与S3中的通信伪标签进行dice loss损失约束从而使得模型能够从准确信息更少的的数据源中提取到图像本质信息并放入特征空间进行特征空间的扩张；由于强图像级别扰动视角的图像级分割结果不稳定，很难使用dice loss来约束并从中获取有效且稳定的特征，导致特征空间的扩张不能够提高模型的精度；所以引入S2步骤中Siamese network的自监督方法对特征空间中的强图像级别扰动不稳定特征和弱图像级别扰动稳定特征通过特征层学习的操作使得相似的特征更加紧凑，不相似的特征互相排斥的效果，最终达到稳定扩张特征空间的目的。2.根据权利要求1所述的一种基于强弱扰动的分级Siamese对比增强的涂鸦标注医学图像分割方法，其特征在于：所述S2具体为：基于S1中的经过图像级别扰动的三个视角w1，w2和s，将分割网络解码器中的最浅层特征空间提取出来，对这一浅层特征空间的特征分布使用一个三层的多层感知机映射到投影空间并将投影后三个视角的特征分布（称作z
w1

【专利技术属性】
技术研发人员：刘庭杰，乔丽红，石宇航，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：