【技术实现步骤摘要】
本专利技术涉及深度学习和医学图像智能分析，具体涉及一种融合区域上下文和高低阶语义特征的前视觉通路分割方法。
技术介绍
1、前视觉通路是视觉生理基础，负责将所有视觉信号从视网膜传输到大脑。它由一对视神经(我们最重要的脑神经)、视交叉以及一对视路组成。精确而稳健的前视觉通路分割可以帮助神经外科医生进行术前规划，防止医生无意识地穿透关键的视觉系统，并且在视神经胶质瘤等疾病的诊断和治疗中可以提供有效的参考信息。
2、磁共振成像(magnetic resonance imaging，mri)是一种重要的非入侵性成像技术，可产生三维详细的解剖图像，也是医生在对前视觉通路相关疾病分析诊断、手术方案规划时用到的重要工具。但在mri图像中的前视觉通路分割存在三个挑战：首先，前视觉通路具有细长的形状、沿着路径不断变化的结构以及缺乏与相邻解剖结构的明显结合；其次，在磁共振图像中前视觉通路结构普遍呈现出低对比度和边界模糊等特点；第三，视觉通路占整个头部的体积数据的比例很小。传统图像处理算法应用到该领域效果不佳，通常存在分割边界不够清晰、欠分割和过分割等问题。因此，使用人工智能算法从mri图像中自动分割出前视觉通路成为当前主流方法。
3、近些年，深度学习作为人工智能的一个重要分支，它以数据为驱动，不需要人工干预，自动高效地提取原始图像的特征。在医学影像分析领域，因其能够在医生诊断疾病之前检测成像特征的细微差异，为治疗提供信息而广泛应用于医学影像的分割等任务中。卷积神经网络(cnn)在医学图像分割领域已经取得了巨大的成功，相比于传统
4、目前，基于深度学习的mri前视觉通路分割方法考虑到了图像强度信息与形状和位置先验信息的结合，以及不同模态数据对网络分割精度的影响。但本申请的专利技术人经过研究发现，当前基于深度学习的mri前视觉通路分割方法还存在以下不足：(1)采用重复、连续和尺寸单一的小卷积核使网络对长距离依赖关系建模仍有极大地提升空间；(2)采用没有可学习参数的池化层，在跳跃式平移过程中，势必会忽视或丢失细节特征从而导致分割图的细小结构模糊；(3)网络深度比较深，网络参数量较大，使得占用计算资源多，分割速度较慢。
技术实现思路
1、针对现有基于深度学习的mri前视觉通路分割方法中出现的前视觉通路细小结构丢失，分割结果中前视觉通路出现不连续、断裂和分割速度较慢的技术问题，本专利技术提供一种融合区域上下文和高低阶语义特征的前视觉通路分割方法，该方法通过搭建深度学习混合模型，以交替方式使用带有大卷积核的深度可分离卷积层建模长距离依赖关系和常规卷积层进行细节信息的捕获，以融合不同区域的上下文信息，跳跃连接器则进行高低阶语义信息的融合。同时采用常规卷积操作代替池化操作来进行下采样从而减少前视觉通路分割图中细小结构的丢失。
2、为了解决上述技术问题，本专利技术采用了如下的技术方案：
3、一种融合区域上下文和高低阶语义特征的前视觉通路分割方法，包括以下步骤：
4、s1、编码解码全卷积网络结构的3d mri前视觉通路分割网络模型搭建：
5、s11、编码解码全卷积网络结构的3d mri前视觉通路分割网络包括特征编码器、特征解码器、跳跃连接器和分类器，所述特征编码器先通过非重叠卷积进行图像特征的粗提取，再通过带有大卷积核的深度可分离卷积层和常规卷积层交替卷积来进行图像特征在不同尺度下的逐层提取得到高阶语义特征和低阶语义特征，完成远距离依赖关系和局部信息这两种不同区域大小的上下文交替提取并融合；所述特征解码器通过转置卷积和跳跃连接器，将高阶语义特征与低阶语义特征逐层融合，达到与原始待分割图像一样大小；所述分类器将特征解码器输出的多通道特征图进行类别映射即映射到需要的分割的类别数和生成像素级的分割结果；
6、s12、所述特征编码器包括顺序设置的一个非重叠投影层和四个特征编码层组，第一个特征编码层组由一个带有大卷积核的深度可分离卷积层组成，第二、第三和第四个特征编码层组由顺序设置的一个常规卷积层和一个带有大卷积核的深度可分离卷积层组成；所述跳跃连接器包括顺序设置的五个跳跃连接层组，第一个跳跃连接层组由一个卷积层组成，第二、第三、第四和第五个跳跃连接层组由顺序设置的两个卷积层组成；所述特征解码器包括顺序设置的四个特征解码层组，每个特征解码层组由一个转置卷积层组成；所述分类器由一个类别预测层和一个softmax回归层组成，softmax回归层将类别预测分值转换成概率分布；
7、s2、网络模型训练与参数优化：
8、s21、数据集准备：将从医院采集到的原始dicom格式mri脑部图像尺寸从224×256×192裁剪为224×256×32的三维mri数据，并使用itk-snap软件转换保存为nifti格式；然后由专家在此数据集上对前视觉通路的形态特征进行标记，并将每个标记好的标签单独保存为nifti格式的三维图像，以此完成对采集mri脑部图像的预处理；
9、s22、训练数据集划分：将带有标签的数据集按4：1比例分为训练集和验证集，采用5折交叉验证法来对分割网络模型进行训练；
10、s23、网络参数初始化：采用xavier方法对步骤s1搭建的3d mri前视觉通路分割网络模型参数进行初始化；
11、s24、将预处理后的mri脑部图像作为单通道输入网络，通过网络前向计算生成特征向量；
12、s25、采用骰子损失函数和交叉熵损失函数的组合作为分割网络目标优化函数，定义如下：
13、ldicece＝λ1·ldice+λ2·lce
14、
15、lce(vgt,vseg)＝-vgt log vseg
16、其中，ldicece是分割网络学习过程中的混合分割损失函数即分割网络目标优化函数，ldice代表骰子损失函数，lce代表交叉熵损失函数，λ1代表骰子损失的权重值，λ2代表交叉熵损失的权重值，vgt和vseg分别代表真实标签和自动分割结果；
17、s26、以求ldicece最小值为优化目标，采用随机梯度下降和反向传播算法求解网络模型参数θ，得到最优网络模型参数θbest；
18、s3、前视觉通路的自动语义分割：
19、s31、用学习得到的最优网络模型参数θbest，搭建3d mri前视觉通路自动语义分割网络；
20、s32、将mri脑部图像原始尺寸为224×256×192裁剪为224×256×32，作为单通道输入3d mri前视觉通路自动语义分割网络；
21、s33、通过网络前向计算产生像素类别预测概率分布图，使用分类器对像素类别进行预测，产生两幅大小为224×256×32的像素级标签预测概率分布图，分别代表每个像素在前视觉通路和背景这两个类别的概率；
22、s34、取每个像素最大概率所在分量的下标作为像素类别标签，形成最终mri前视觉通路分割图。
23、进一步，所述本文档来自技高网...
【技术保护点】
1.融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，所述步骤S12中非重叠投影层的卷积核大小为2×2×2，步长为2；带有大卷积核的深度可分离卷积层由一个卷积核大小为9×9×9，步长为1，padding为4的深度卷积层和两个卷积核大小为1×1×1，步长为1的逐点卷积层组成，带有大卷积核的深度可分离卷积层首先将n个大小为9×9×9的卷积核分别对通道数为n的特征图进行逐通道卷积，进行空间信息的融合，然后按通道维度进行拼接，并使用4×n个卷积核大小为1×1×1的卷积核进行逐点卷积操作将通道数扩张为原通道数的四倍，再通过n个卷积核大小为1×1×1的卷积核进行逐点卷积，将通道数收缩至原始通道数n，进行通道信息的融合；常规卷积层的卷积核大小为3×3×3，步长为2，padding为1，进行2倍下采样，通过可学习的方式降低分辨率和去除冗余特征；第一个跳跃连接层组由一个卷积核大小为3×3×3，步长为1，padding为1的卷积层组成，该卷积层负责特征编码并增加特征图的通
3.根据权利要求1所述的融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，所述步骤S22中，对训练集中训练图像使用随机翻转、随机旋转和改变图像的强度来进行数据增强。
4.根据权利要求1所述的融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，所述步骤S24中通过网络前向计算包括卷积操作、非线性激活、批量归一化和概率值转换。
5.根据权利要求4所述的融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，所述卷积操作运算中，任意一个卷积核所对应的输出特征图Zi采用下式进行计算：
6.根据权利要求4所述的融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，所述非线性激活采用高斯误差线性单元GELU作为特征图x的非线性激活函数，所述高斯误差线性单元GELU定义如下：
7.根据权利要求4所述的融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，所述批量归一化用于计算每个mini-batch的均值和方差，并将其拉回到均值为0方差为1的标准正态分布，具体定义如下：
8.根据权利要求4所述的融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，所述概率值转换使用softmax函数将类别预测分值转换成概率分布，softmax函数定义如下：
9.根据权利要求1所述的融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，所述步骤S26中采用随机梯度下降优化器迭代时，每次迭代使用的样本数即批大小设为4，初始学习率设为1e-4，采用早停技术，在验证集的损失30轮不下降的情况下训练停止。
...【技术特征摘要】
1.融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合区域上下文和高低阶语义特征的前视觉通路分割方法，其特征在于，所述步骤s12中非重叠投影层的卷积核大小为2×2×2，步长为2；带有大卷积核的深度可分离卷积层由一个卷积核大小为9×9×9，步长为1，padding为4的深度卷积层和两个卷积核大小为1×1×1，步长为1的逐点卷积层组成，带有大卷积核的深度可分离卷积层首先将n个大小为9×9×9的卷积核分别对通道数为n的特征图进行逐通道卷积，进行空间信息的融合，然后按通道维度进行拼接，并使用4×n个卷积核大小为1×1×1的卷积核进行逐点卷积操作将通道数扩张为原通道数的四倍，再通过n个卷积核大小为1×1×1的卷积核进行逐点卷积，将通道数收缩至原始通道数n，进行通道信息的融合；常规卷积层的卷积核大小为3×3×3，步长为2，padding为1，进行2倍下采样，通过可学习的方式降低分辨率和去除冗余特征；第一个跳跃连接层组由一个卷积核大小为3×3×3，步长为1，padding为1的卷积层组成，该卷积层负责特征编码并增加特征图的通道数；第二、第三、第四和第五个跳跃连接层组由两个卷积核大小为3×3×3，步长为1，padding为1的卷积层组成，第一个卷积层负责特征编码并增加特征图的通道数，第二个卷积层负责特征解码并减少经过通道维度拼接后的特征图的通道数；转置卷积层的卷积核大小为2×2×2，步长为2，进行2倍上采样，提高特征图分辨率，输出通道数降为原来的一半，并与迁移过来的相同分辨率特征编码图进行级联；类别预测层的卷积核大小为1×1×1，步长为1。
3...
【专利技术属性】
技术研发人员：王涛，王海祥，崔少国，宋豪杰，王锐，张乐迁，
申请(专利权)人：重庆师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。