【技术实现步骤摘要】
本专利技术涉及一种深度神经网络，是一种基于u-net结合transformer的mri脑肿瘤分割方法，属于语义分割领域。
技术介绍
1、脑肿瘤是人脑内生长的异常细胞，是一种常见的神经系统疾病，是由于颅脑内部组织出现癌变而导致的高危害疾病，对人体健康危害极大。恶性脑肿瘤可导致高死亡率。由于脑肿瘤组织的复杂性和种类繁多，导致诊断过程十分繁琐。其中，最常见的恶性脑肿瘤是胶质母细胞瘤(glioblastoma,gbm)，gbm细胞浸没在健康的脑组织中并浸润周围的组织，会在蛋白质纤维附近迅速生长扩散，恶化过程非常迅速，患者平均生存期仅1年，五年生存率不足5％。脑肿瘤通常具有高发病率，高死亡率，高复发率，术后治愈难的特点，严重威胁人类健康。因此，早期诊断并给予及时的辅助治疗有着至关重要的作用。
2、医学影像是临床疾病筛查、诊断、治疗引导和评估的重要工具，其中磁共振成像(mri)作为一种典型的非侵入性脑肿瘤成像技术，能产生高分辨率、非侵入性、无颅骨伪影的多模态脑图像，为临床医生诊断脑肿瘤提供全面准确的信息，是鉴别脑肿瘤的重要技术手段。
3、正常的脑组织包括灰质(grey matter)、白质(white matter)和脑脊液(cerebrospinal fluid，csf)三部分。灰质是由神经元细胞体及树组成，颜色较深，是大脑和脊髓中信息处理的主要区域；白质由神经元轴突和胶质细胞组成，颜色较浅，其主要负责传递神经冲动，将大脑不同区域的信息传递和连接起来；脑脊液存在于脑和脊髓周围，是无色透明的液体，主要功能包括缓冲和保
4、此外，mri可以在不同的成像技术下提供同一组织的不同结构可视化。共有四种常见模式:t1加权，t1ce(对比度增强t1加权)，t2加权和flair(流体衰减反转恢复)。不同的mri序列关注脑肿瘤图像不同的特征信息，从而，从不同方面去分析脑肿瘤的所展示的病理特征。
5、医学影像是临床诊断的重要辅助工具，且90％的临床数据都是源自于医学影像数据。因此，充分挖掘并借助医学影像信息，将对临床智能诊断以及疾病预防起到至关重要的作用。随着深度学习的兴起，利用卷积神经网络进行医学影像分析已渐渐成为主流。而且由于卷积神经网络(convolutional neural networks，cnn)对图像的噪声、和对比度等问题不敏感，这使得基于cnn的方法在医学图像分割中取得较好的分割结果。cnn也因此成为图像处理和计算机视觉领域内最热门的研究课题。诸如alexnet、segnet和resnet等经典的深度神经网络已经普遍应用于计算机视觉任务，并在医学图像领域显示出巨大优势。深度学习方法不仅可以解决人工分割方法耗时、耗力的问题，同时也弥补了传统分割算法面临的精度低的缺点。
6、在多模态的脑肿瘤图像分割任务，它通常需要更复杂的网络结构才能获得理想的分割结果，先前的研究者已经提出了多种算法。kamnitsas等人结合3d-cnn和条件随机场(conditional random fields,crf)应用于三维的脑肿瘤图像分割。soltaninejad使用并行的两条肿瘤处理路径，第一条路径使用标准的3d u-net模型进行局部特征提取，第二条路径使用修改的3d u-net模型加强对全局特征的处理。myronenko等人沿用了编码-解码结构分割脑肿瘤图像，在解码路径上添加变分自动编码器分支，对解码器施加额外约束。jiang z等人使用两个级联的u-net网络来实现脑肿瘤分割，其中第一个u-net网络进行肿瘤区域的粗分割，再将粗分割的结果作为第二个u-net网络的输入，以此完成精细化的分割。isensee等人通过引入数据预处理以及基于区域的训练，提出了一种基于2d u-net、3du-net和u-net cascade的自适应框架：nnu-net。该模型可以自动根据图像几何结构调整自身结构，实现全自动分割流程。通过以上大量cnn的应用成功，足以证明cnn特征提取的有用性，但其更多的是表现在对局部细节信息的提取。受cnn感受野的限制，模型始终不能很好地利用全局信息，或者需要经过深层网络才能得到抽象的全局信息，因此vaswani等人提出了transformer，transformer是完全基于自注意力机制的新网络结构，自注意力机制使序列中每个元素都得到各自的关联程度，对全局信息的提取有很好的效果。在不依赖cnn的情况下，在自然语言处理任务中，达到了很高的评测分数。因为transformer在处理序列对序列的任务中有着非常优秀的表现，dosovitskiy等人将标准的transformer直接应用于图像处理任务中，因为transformer在提取全局信息上天然的优势，作者通过实验证明visiontransformer(vit)在图像识别方面或优于此前先进的卷积网络。
技术实现思路
1、为了解决脑肿瘤分割目前存在的问题，本专利技术提供了一种基于u-net结合transformer的mri脑肿瘤分割方法，该方法能够有效地提高mri脑肿瘤图像的分割精度，具有良好的分割性能，本专利技术的具体方案如下：
2、基于u-net结合transformer的脑肿瘤分割方法，包括以下步骤：
3、s1：数据获取与数据预处理；
4、s2：构建基于u-net结合transformer的脑肿瘤分割模型；
5、s3：定义混合损失函数，并对改进u-net模型进行训练，同时保存训练中最优模型以进行预测；
6、s4：使用最优模型进行预测，保存预测结果，并进行在线验证，同时计算评价指标，最后进行结果对比。
7、进一步，步骤s1中实验数据集采用国际医学图像计算和计算机辅助干预协会(medical image computing and computer assisted intervention society,miccai)提供的脑胶质瘤公共数据集brats2020。其中标签数据分别为背景、坏死肿瘤核心区域、肿瘤周围水肿区域、增强肿瘤区域；对脑肿瘤数据集进行预处理，去除多模态mri脑肿瘤图像数据的噪声信号。有益效果：可以消除脑肿瘤图像中存在的灰度不均匀以及异常点，从而显著提高输出图像的质量。
8、进一步，步骤s2中在基础u-net结构上的改进，具体为：
9、s21、采用残差模块替代原始u-net网络中编码器与解码器中普通的卷积模块；
10、s22、采用多个残差模块分支，并且每个分支中使用不同采样率的膨胀卷积，将多个分支结合组成多尺度残差卷积模块；
11、s23、在u-net编码器最后一层的底部连接加入完全基于自注意力机制的transformer架构。
12、s24、使用深度过参数化卷积代替网络中所使用的卷积方式。
13、本专利技术在u-net网络结构的基础上进行改进，u-net结构主要由编码阶段和解码阶段两部分构成。针对脑肿瘤形状本文档来自技高网...
【技术保护点】
1.基于U-Net结合Transformer的MRI脑肿瘤分割方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于U-Net结合Transformer的MRI脑肿瘤分割方法，其特征在于：所述步骤S1中，实验数据集采用国际医学图像计算和计算机辅助干预协会(MICCAI)提供的脑胶质瘤公共数据集BraTS2020,其中标记数据分为label0：背景，label1：坏死肿瘤核心区域，label2：肿瘤周围水肿区域，label4：增强肿瘤区域；对脑肿瘤数据集进行预处理，旨在消除脑肿瘤多模态图像中的噪声信号并降低其灰度不均匀性。
3.根据权利要求1所述的基于U-Net结合Transformer的MRI脑肿瘤分割方法，其特征在于：所述步骤S2在基础的U-Net网络结构上进行改进，具体为：
4.根据权利要求3基于U-Net结合Transformer的MRI脑肿瘤分割方法，其特征在于：所述步骤S21和S22，在U-Net模型的编码和解码阶段，分别将原始的卷积模块替换为多尺度残差卷积模块，该模块具有多个分支，每个分支在残差连接的基础上，经过批量归一化，
5.根据权利要求3所述的基于U-Net结合Transformer的MRI脑肿瘤分割方法，其特征在于：所述步骤S23，在U-Net编码器末尾的底部连接中添加Transformer架构，Transformer建立在多头自注意力机制(Multi head SelfAttention,MHSA)模块上，MHSA是由多个自注意力机制(Self-Attention,SA)组成的；得益于Transformer中的Self-Attention，其将输入序列中的每个元素作为Query,Key和Value，并使用每个元素之间的相互作用确定权重，得到每个元素之间的关联程度。具体公式如下：
6.根据权利要求3所述的基于U-Net结合Transformer的MRI脑肿瘤分割方法，其特征在于：所述步骤S24中为了提升精度和加速模型训练，改进的U-Net模型中的普通卷积，全部替换为深度过参数化卷积，实验证明，该卷积在不添加过多额外参数量的条件下，能有效提高分割精度。
7.根据权利要求1所述的基于U-Net结合Transformer的MRI脑肿瘤分割方法，其特征在于：所述步骤S3中定义混合损失函数来针对脑肿瘤分割存在的类别不平衡问题，混合损失函数包括广义Dice损失函数和类别交叉熵损失函数。
8.根据权利要求1所述的基于U-Net结合Transformer的MRI脑肿瘤分割方法，其特征在于：所述步骤S4中完成模型搭建后，将BraTS2020训练集用于模型进行训练，且保存的最优模型用于预测。
9.根据权利要求8所述的基于U-Net结合Transformer的MRI脑肿瘤分割方法，其特征在于：将BraTS2020验证集上最优模型进行预测，然后将预测结果进行在线验证，获取各项评价指标，最后进行实验结果对比。
...【技术特征摘要】
1.基于u-net结合transformer的mri脑肿瘤分割方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于u-net结合transformer的mri脑肿瘤分割方法，其特征在于：所述步骤s1中，实验数据集采用国际医学图像计算和计算机辅助干预协会(miccai)提供的脑胶质瘤公共数据集brats2020,其中标记数据分为label0：背景，label1：坏死肿瘤核心区域，label2：肿瘤周围水肿区域，label4：增强肿瘤区域；对脑肿瘤数据集进行预处理，旨在消除脑肿瘤多模态图像中的噪声信号并降低其灰度不均匀性。
3.根据权利要求1所述的基于u-net结合transformer的mri脑肿瘤分割方法，其特征在于：所述步骤s2在基础的u-net网络结构上进行改进，具体为：
4.根据权利要求3基于u-net结合transformer的mri脑肿瘤分割方法，其特征在于：所述步骤s21和s22，在u-net模型的编码和解码阶段，分别将原始的卷积模块替换为多尺度残差卷积模块，该模块具有多个分支，每个分支在残差连接的基础上，经过批量归一化，再经过激活函数层，这里将relu激活函数替换为prelu激活函数。最后进行不同采样率的膨胀卷积。此外，在u-net模型解码阶段的多尺度残差卷积模块中多添加了一个1×1卷积来保持维度一致。
5.根据权利要求3所述的基于u-net结合transformer的mri脑肿瘤分割方法，其特征在于：所述步骤s23，在u-net编码器末尾的底部连接中添加transforme...
【专利技术属性】
技术研发人员：黄同愿，何昀泽，赖思宇，柳春源，余潜江，胡传新，黄柏雄，闵婕，吴梓鹏，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。