一种半监督心脏语义分割算法制造技术

本发明专利技术公开了一种半监督心脏语义分割算法，克服现有有标注的心脏数据稀缺的局限性，实现精确的半监督心脏语义分割。该方法分别使用粗粒度特征提取分支及细粒度特征提取分支，结合Unet及Swin

【技术实现步骤摘要】
一种半监督心脏语义分割算法


[0001]本专利技术属于计算机图像处理
，具体地说，是涉及一种半监督心脏语义分割算法。

技术介绍

[0002]在中枢神经系统中，脑瘤是最常见的癌症之一，占所有中枢神经系统肿瘤的40％
‑
50％。由于磁共振图像(MRI)可以用于从视觉上检查解剖结构的特征，医生通常利用MRI来促进心脏的诊断和处理过程。此外，利用心脏分割方法，临床医生可以获得更详细的信息，如大小和位置。因此，心脏核磁共振图像语义分割技术对于心脏恶化程度以及病人生命周期预测等计算机辅助诊断来说无疑具有重要意义。
[0003]近年来，研究者们提出了许多基于深度学习的方法来实现医学图像语义分割。相比于传统方法，深度学习方法可以有效地克服传统方法在特征提取过程中存在的局限性和人为偏好等问题，在识别准确度和自动化程度上有大的优势。因此，深度学习方法被广泛应用于图像语义分割领域。Havaei等人引入了一种新的双通道深度卷积网络，从心脏核磁共振图像中提取更多的上下文信息，并建议采用两阶段训练步骤来解决数据集分布不平衡的问题。
[0004]另一方面，经验丰富的临床医生根据其专业知识从核磁共振图像中手工分割心脏区域，不仅需要大量的人力，而且主要取决于医生的专业能力和经验，因此获取大量有标注的心脏核磁共振图像并不现实，有标注数据稀缺的现状极大地限制了基于数据驱动的深度学习模型的应用。为了解决有标注医学数据的稀缺问题，目前存在若干解决思路：(1)通过数据增强提升模型的表达能力，即通过数据增强方法对原有数据集进行扩充。但是，由于数据增强方法通常是基于随机方法进行，无法更准确地代表真实数据，因而对模型分割能力的提升有限，无法减少模型对有标注数据的依赖。(2)构建半监督学习网络，将无标注数据加入深度学习模型中训练以增强模型的泛化能力，即利用有标注数据学习到的模型对无标注数据进行预测，再将无标注数据的预测结果当做有标注数据加入监督学习。相比于数据增强方法，半监督学习方法能够使深度学习模型获得更精确的泛化方向，进而提升模型对于无标注数据的表达能力。因此，基于半监督学习思想的模型被广泛应用于医学图像分割。现有技术提出了一种不确定性感知半监督框架(UAMT)，用于从三维MR图像中分割左心房。该框架可以有效地利用未标记的数据，通过鼓励在不同的扰动下对相同的输入进行一致的预测。但还是存在以下问题：
[0005](1)心脏核磁共振图像由于受心脏舒张、收缩以及血液的流动等影响，会导致心脏MRI图像出现弱边界、伪影、局部梯度极大值区域等现象，人们感兴趣的目标组织如肿瘤水肿区域及肿瘤核心区域灰度相似，相互连通等，很难精确提取特定组织。
[0006](2)由于心脏区域中脑部纹理的形状、大小多变的特性，现有方法往往会产生一些不符合目标器官相对位置特性的异常点。

技术实现思路

[0007]本专利技术的目的在于提供一种半监督心脏语义分割算法，克服现有有标注的心脏数据稀缺的局限性，实现精确的半监督心脏语义分割。
[0008]为实现上述目的，本专利技术采用的技术方案如下：
[0009]一种半监督心脏语义分割算法，包括如下步骤：
[0010]S1：采集心脏超声数据集，将病例的心脏超声视频解码为高分辨率图像，将解码清晰的心脏图像挑选出来并重新裁剪为标准的超声图像数据，由专业医师采用标注工具对对裁剪后的超声图像数据进行标注；并利用标注工具将图像的标注信息自动转换为计算机进行识别的json格式文件；
[0011]S2：构建一个由一个粗粒度特征提取分支和一个细粒度特征提取分支构成的基于交叉学习的半监督心脏语义分割框架；将标注后具有标签的心脏核磁共振图像和无标签的心脏核磁共振图像作为半监督心脏语义分割框架的输入，每个输入图像分别通过粗粒度特征提取分支和细粒度特征提取分支来生成预测掩码；
[0012]S3：根据预测掩码结合标准Dice损失函数得到半监督心脏语义分割框架的整体训练目标损失函数，对心脏半监督语义分割模型进行训练；
[0013]S4：将已经完成训练的心脏半监督语义分割模型进行保存，将未参与深度学习框架训练的心脏图像数据输入模型中进行测试，输出框架的预测结果，保存至数据库中，作为医学诊疗中一个初步的结果。
[0014]进一步地，在本专利技术中，在所述步骤S2中，对于有标签的心脏核磁共振图像，粗粒度特征提取分支和细粒度特征提取分支分别由图像标签进行监督；对于无标签的心脏核磁共振图像，框架使用粗粒度特征提取分支和细粒度特征提取分支分别生成图像的预测掩码，并使用预测掩码分别更新粗粒度特征提取分支和细粒度特征提取分支的模型参数。
[0015]进一步地，在本专利技术中，所述粗粒度特征提取分支由基于transformer的编码器及解码器构成；所述编码器由使用patch partition层、linear embeding层、swin transformer模块、patch expanding层和patch merging层组成；所述编码器用于将输入的心脏核磁共振图像转化为序列，使用patch partition层将心脏核磁共振图像分割成大小为4
×
4不重叠的patch，同时每个patch的特征维数变为48，所述编码器利用linear embeding层将patch的特征维数进行线性映射，线性映射后的token被输入至swin transformer模块和patch merge层用来生成不同尺度的特征信息；所述解码器由多个swin transformer模块、patch expanding层、patch embeding层及linear projection层构成；其中，所述swin transformer模块用于负责学习图像特征，所述patch expanding层则负责上采样操作，将该层特征图分辨率扩大两倍，最后通过linear projection层进行逐像素预测。
[0016]进一步地，在本专利技术中，所述细粒度特征提取分支为一个对称的四层Unet。
[0017]进一步地，在本专利技术中，所述半监督心脏语义分割框架采用双源注意力模块对位置特征进行建模；所述双源注意力模块由位置注意力模块和通道注意力模块构成的；其中，所述位置注意力模块引入自注意力机制来捕获心脏核磁共振图像中的任意两个位置之间的空间依赖性；对于某个具体位置的特征，通过加权求和在所有位置聚合特征来更新，其中权重由相应两个位置之间的特征相似性决定。
[0018]进一步地，在本专利技术中，所述步骤S3中，整体训练目标损失函数的构建方法包括以下步骤：
[0019]S31：输入一个输入心脏核磁共振图像x，利用半监督心脏语义分割框架的unet模型和swin
‑
unet模型分别产生两个预测掩码F
Unet
(x)，F
Swin
(x)；
[0020]S32：根据预测掩码F
Unet
(x)和F
Swin
(x)采用公式：
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种半监督心脏语义分割算法，其特征在于，包括如下步骤：S1：采集心脏超声数据集，将病例的心脏超声视频解码为高分辨率图像，将解码清晰的心脏图像挑选出来并重新裁剪为标准的超声图像数据，由专业医师采用标注工具对对裁剪后的超声图像数据进行标注；并利用标注工具将图像的标注信息自动转换为计算机进行识别的json格式文件；S2：构建一个由一个粗粒度特征提取分支和一个细粒度特征提取分支构成的基于交叉学习的半监督心脏语义分割框架；将标注后具有标签的心脏核磁共振图像和无标签的心脏核磁共振图像作为半监督心脏语义分割框架的输入，每个输入图像分别通过粗粒度特征提取分支和细粒度特征提取分支来生成预测掩码；S3：根据预测掩码结合标准Dice损失函数得到半监督心脏语义分割框架的整体训练目标损失函数，对心脏半监督语义分割模型进行训练；S4：将已经完成训练的心脏半监督语义分割模型进行保存，将未参与深度学习框架训练的心脏图像数据输入模型中进行测试，输出框架的预测结果，保存至数据库中，作为医学诊疗中一个初步的结果。2.根据权利要求1所述的一种半监督心脏语义分割算法，其特征在于，在所述步骤S2中，对于有标签的心脏核磁共振图像，粗粒度特征提取分支和细粒度特征提取分支分别由图像标签进行监督；对于无标签的心脏核磁共振图像，框架使用粗粒度特征提取分支和细粒度特征提取分支分别生成图像的预测掩码，并使用预测掩码分别更新粗粒度特征提取分支和细粒度特征提取分支的模型参数。3.根据权利要求2所述的一种半监督心脏语义分割算法，其特征在于，所述粗粒度特征提取分支由基于transformer的编码器及解码器构成；所述编码器由使用patch partition层、linear embeding层、swin transformer模块、patch expanding层和patch merging层组成；所述编码器用于将输入的心脏核磁共振图像转化为序列，使用patch partition层将心脏核磁共振图像分割成大小为4
×
4不重叠的patch，同时每个patch的特征维数变为48，所述编码器利用linear embeding层将patch的特征维数进行线性映射，线性映射后的token被输入至swintransformer模块和patch merge层用来生成不同尺度的特征信息；所述解码器由多个swin transformer模块、patch expanding层、patch embeding层及linear projection层构成；其中，所述swin transformer模块用于负责学习图像特征，所述patch expanding层则负责上采样操作，将该层特征图分辨率扩大两倍，最后通过linear projection层进行逐像素预测。4.根据权利要求3所述的一种半监督心脏语义分割算法，其特征在于，所述细粒度特征提取分支为一个对称的四层Unet。5.根据权利要求4所述的一种半监督心脏语义分割算法，其特征在于，所述半监督心脏语义分割框架采用双源注意力模块对位置特征进行建模；所述双源注意力模块由位置注意力模块和...

【专利技术属性】
技术研发人员：丁熠，邱泸谊，周尔强，邓伏虎，曹明生，赵洋，秦臻，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：