一种分割网络半监督训练方法、系统、设备及存储介质技术方案

本发明专利技术属于图像处理领域，涉及一种分割网络半监督训练方法、系统、设备及存储介质。针对有监督训练方法依赖大量标记数据和先验知识在半监督训练中利用不充分问题，利用U

【技术实现步骤摘要】
一种分割网络半监督训练方法、系统、设备及存储介质


[0001]本专利技术属于图像处理
，涉及一种心脏图像多目标分割神经网络的半监督训练方法，尤其涉及一种分割网络半监督训练方法、系统、设备及存储介质。

技术介绍

[0002]利用心脏影像分析其解剖结构在心脏疾病诊断中具有重要作用，是心脏疾病诊断与制定治疗方案的重要手段。心脏磁共振成像是一种非侵入性成像技术，可以可视化心脏内部和周围的结构，这是心脏评估的黄金标准。对心脏磁共振成像通过语义分割的方式可以得到左心室、右心室以及心室壁等重要目标，进而用于定量评估心室容积、射血分数等重要临床指标，这为心血管疾病的诊断和治疗提供了巨大帮助。
[0003]现有的有监督训练方法依赖大量标注数据和网络泛化能力不强的缺点成为医学图像分割领域的瓶颈之一。近年来，许多基于卷积神经网络的心脏自动分割方法被提出并在心脏分割任务中取得了出色的分割精度，但这些方法大多使用有监督学习方法来训练网络，导致训练过程依赖大量标注数据，而这些数据的标注往往需要大量的时间和专业知识；此外，裁剪、几何变换等数据增强技术虽然可以增加训练数据量，但其多样性仍然有限，不能代表实际数据分布，导致网络预测的泛化能力有限，这已经成了医学图像分割领域的一大挑战。
[0004]针对有监督训练方法依赖大量标注数据以及网络泛化能力有限的问题，已经提出了几种机器学习方法来克服这一挑战，包括迁移学习、自监督学习、GAN和半监督学习。其中，迁移学习在大型数据集上训练模型，然后在小型数据集上对它们进行微调，这样网络即使在数据有限的情况下也能快速收敛；自监督学习旨在从未标记的数据中学习数据的有用底层表示，它首先使用自我监督训练，然后在具有少量标签的下游任务中进行有监督微调训练；基于GAN的方法包括生成合成注释图像以增加训练数据集和使用对抗性损失函数来学习网络预测结果与语义标签之间的误差；半监督学习涉及少量标记数据和大量未标记数据，旨在通过标记数据与未标记数据之间的解剖关系来对标签与预测结果之间的语义关系进行建模。
[0005]先验知识可以在半监督学习中作为独立信息直接指导神经网络的训练和预测过程，因此将先验信息引入半监督学习对于心脏自动分割很有吸引力。先前的相关工作将分割任务建模为离散表示学习问题，即将网络分割结果建模成离散潜在变量并使用先验来约束潜在变量的分布，同时借鉴变分自动编码的思想将分割网络作为编码器、将根据分割结果生成近似输入图像的生成器作为解码器，通过重构图像和输入图像之间的重构误差作为损失函数来训练分割网络。根据这样的建模，构建的神经网络只需要先验和输入图像即可对分割网络进行训练。
[0006]先前的相关工作使用简单的解码器和简单的目标损失函数对分割网络进行半监督训练，这对于心脏数据这类具有复杂背景的医学图像并不适用。先前的相关工作使用简单的全连接层作为解码器，这无法重构复杂的心脏图像，而不合理的重构图像会使得目标
损失函数无法评估编码器的分割性能，从而导致编码器无法往正确的方向学习；同时，先前的工作对先验不执行配准会导致先验失去约束作用，因为临床上的心脏图像往往在形态大小上存在较大差异，使用固定的先验无法描述所有心脏图像的先验分布，这会使得先验失去应有的解剖意义；此外，先前的工作只是将先验知识运用在计算与分割网络预测结果之间的KL散度上来实现约束目的，这并没有完全利用先验信息，进一步探索充分利用先验信息的训练方法成为医学图像分割领域的一个重要方向。

技术实现思路

[0007]本专利技术主要目的在于，提供一种心脏图像多目标分割神经网络的半监督训练方法、系统、设备及存储介质，以解决现有心脏图像分割方法依赖大量标注数据和泛化能力有限的问题，同时为半监督训练方法充分利用先验信息提供一种新的思路。
[0008]本专利技术采用以下技术方案实现：
[0009]一种分割网络半监督训练方法，包括以下步骤：
[0010]步骤1)、通过仿射变换将标签图像以及所有训练图像对齐，并计算所述标签图像每个像素的概率分布以生成先验；
[0011]步骤2)、获取心脏图像及对应分割结果的标记数据，以生成对抗的方式预训练得到条件生成网络；
[0012]步骤3)、构建U
‑
Net分割网络与所述条件生成网络组成编码
‑
解码的神经网络；
[0013]步骤4)、通过所述U
‑
Net分割网络对所述心脏图像进行图像分割，计算得到预测概率图和所述先验之间的KL散度损失项，并根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，对所述预测概率图进行随机采样得到预测分割结果；
[0014]步骤5)、将所述预测分割结果输入所述条件生成网络，以生成重构图像；
[0015]步骤6)、根据所述先验计算所述重构图像和所述心脏图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项；
[0016]步骤7)、根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项计算总体损失函数；
[0017]步骤8)、判断迭代次数是否达到设置值，若是，则结束，所述U
‑
Net分割网络即为心脏多目标分割神经网络；若否，则计算整体损失函数关于所述编码
‑
解码的神经网络参数的导数，并根据此调整所述神经网络参数，并返回步骤4)。
[0018]作为本专利技术的进一步方案，步骤1)中，通过仿射变换将标签图像以及所有训练图像对齐，包括通过仿射变换将标签图像左心室中心对齐且左、右心室中心连线对齐，以及通过仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐。
[0019]进一步的，步骤1)中，以图像互信息最大化为目标函数，通过旋转、平移的仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐，以保证所有训练图像与先验的解剖位置相对应。
[0020]进一步的，步骤2)中，获取少量的心脏图像及对应分割结果的标记数据，无需依赖大量标注数据来训练网络，避免训练过程依赖大量标注数据导致需要耗费大量的时间和专业知识，利用少量心脏图像和对应分割结果作为标记数据，预训练即可获得条件生成网络。
[0021]步骤2)中，利用少量心脏图像和对应的语义分割图通过生成对抗的方式预训练条
件生成网络，所述条件生成网络以所述语义分割图为条件输入生成对应的重构图像，由鉴别器对心脏图像和对应的重构图像进行鉴别生成损失函数，根据所述损失函数计算损失函数关于条件生成网络和鉴别器网络参数的梯度并根据所述梯度更新条件生成网络和鉴别器的网络参数，从而通过生成对抗的方式预训练条件生成网络。
[0022]进一步的，步骤4)中，所述U
‑
Net分割网络进行图像分割的所述心脏图像为心脏MR图像，即心脏核磁共振检查图像；并基于gumbel
‑
softmax的采样对所述预测概率图进行随机采样得到预测分割结果。
[0023]进一步的，步骤4)中，设所述惩罚损失项为L
p
...

【技术保护点】

【技术特征摘要】
1.一种分割网络半监督训练方法，其特征在于，包括：步骤1)、通过仿射变换将标签图像以及所有训练图像对齐，并计算所述标签图像每个像素的概率分布以生成先验；步骤2)、获取心脏图像及对应分割结果的标记数据，以生成对抗的方式预训练得到条件生成网络；步骤3)、构建U
‑
Net分割网络与所述条件生成网络组成编码
‑
解码的神经网络；步骤4)、通过所述U
‑
Net分割网络对所述心脏图像进行图像分割，计算得到预测概率图和所述先验之间的KL散度损失项，并根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，对所述预测概率图进行随机采样得到预测分割结果；步骤5)、将所述预测分割结果输入所述条件生成网络，以生成重构图像；步骤6)、根据所述先验计算所述重构图像和所述心脏图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项；步骤7)、根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项计算总体损失函数；步骤8)、判断迭代次数是否达到设置值，若是，则结束，所述U
‑
Net分割网络即为心脏多目标分割神经网络；若否，则计算整体损失函数关于所述编码
‑
解码的神经网络参数的导数，并根据此调整所述神经网络参数，并返回步骤4)。2.如权利要求1所述的分割网络半监督训练方法，其特征在于：所述通过仿射变换将标签图像以及所有训练图像对齐，包括通过仿射变换将标签图像左心室中心对齐且左、右心室中心连线对齐，以及通过仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐；其中，步骤1)中，以图像互信息最大化为目标函数，通过旋转、平移的仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐。3.如权利要求1或2所述的分割网络半监督训练方法，其特征在于：步骤2)中，利用少量心脏图像和对应的语义分割图通过生成对抗的方式预训练条件生成网络，所述条件生成网络以所述语义分割图为条件输入生成对应的重构图像，由鉴别器对心脏图像和对应的重构图像进行鉴别生成损失函数，根据所述损失函数计算损失函数关于条件生成网络和鉴别器网络参数的梯度并根据所述梯度更新条件生成网络和鉴别器的网络参数，从而通过生成对抗的方式预训练条件生成网络。4.如权利要求1所述的分割网络半监督训练方法，其特征在于：步骤4)中，所述U
‑
Net分割网络进行图像分割的所述心脏图像为心脏MR图像，即心脏核磁共振检查图像；并基于gumbel
‑
softmax的采样对所述预测概率图进行随机采样得到预测分割结果。5.如权利要求4所述的分割网络半监督训练方法，其特征在于：步骤4)中，设所述惩罚损失项为L
p
，计算公式如下：其中，ε是超参数，所述惩罚损失项用于惩罚所述U
‑
Net分割网络预测的不合理像素以保证所述U
‑
Net分割网络生成具有解剖学意义的分割结果。6.如权利要...

【专利技术属性】
技术研发人员：李少捷，杨烜，杨博乾，
申请(专利权)人：深圳大学，
类型：发明
国别省市：