一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法技术

本发明专利技术涉及一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法。本发明专利技术基于深度学习充分地利用了多任务之间关系，极大地改善了由于椎体间相似及图像质量造成的挑战。对于脊柱的自动分析，提供了一种有效的多任务学习框架。这种框架可以很容易地推广到其它图像的应用，为图像的定位、识别和分割这三种任务的有效解决提供了通用的框架。

A multi task relationship learning method for vertebral body localization, recognition and segmentation in MRI

【技术实现步骤摘要】
一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法
本专利技术涉及一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法，属于医学图像处理的

技术介绍
在计算机辅助脊柱手术的背景下，确切的知道单个椎体的形状是非常重要的，例如，用于脊活组织检查、植入物或椎弓根螺钉的插入等。但在大多数情况下，不仅要求精确分割得到椎体的形状而且还需要定位椎体，识别椎体。在计算机断层扫描(CT)或磁共振成像(MRI)脊柱成像中自动分割，定位和标记椎体，已成为一种临床任务的重要工具，包括病理诊断，手术计划和术后评估。具体应用如骨折检测、肿瘤检测。配准和统计形状分析也可以受益于有效的椎体定位、识别和分割算法。因此，自动定位、识别和分割椎体是建立一个脊椎诊断和治疗计算机系统的基本需要。近年来，MRI已成为诊断腰椎间盘突出等腰椎疾病的重要工具。MRI与CT相比，在腰区诊断中具有较高的可靠性，这是由于其在描述软组织结构方面的价值。MRI是诊断常见脊柱疾病潜在原因的首选方法。此外，MRI不像X射线或CT那样使患者受到有害的辐射。然本文档来自技高网...

【技术保护点】
1.一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法，其特征在于，包括步骤如下：/n(1)图像预处理/n通过对核磁共振图像和语义分割标签进行预处理操作，使最终得到的数据结构符合多任务关系学习网络模型的输入和损失函数计算的要求；/n(2)构建多任务关系学习网络模型/n多任务关系学习网络模型包括Seg-Loc网络、异或操作和判别网络；/nSeg-Loc网络利用任务互关注模块，通过网络参数学习，端对端学习语义定位和语义分割之间的关系，输出语义定位结果和语义分割结果；/n异或操作将Seg-Loc网络输出的语义定位结果和语义分割结果进行异或操作，得到异或预测；/n通过异或操作得到的异或预...

【技术特征摘要】
1.一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法，其特征在于，包括步骤如下：
(1)图像预处理
通过对核磁共振图像和语义分割标签进行预处理操作，使最终得到的数据结构符合多任务关系学习网络模型的输入和损失函数计算的要求；
(2)构建多任务关系学习网络模型
多任务关系学习网络模型包括Seg-Loc网络、异或操作和判别网络；
Seg-Loc网络利用任务互关注模块，通过网络参数学习，端对端学习语义定位和语义分割之间的关系，输出语义定位结果和语义分割结果；
异或操作将Seg-Loc网络输出的语义定位结果和语义分割结果进行异或操作，得到异或预测；
通过异或操作得到的异或预测作为判别网络的输入，同时，通过异或操作得到的异或预测来计算损失函数；
判别网络用于和Seg-Loc网络共同构成对抗训练，给符合异或标签分布的输入给予高奖励，促使Seg-Loc网络得到的异或预测更接近异或标签；从而得到更好的定位、识别和分割结果。
(3)训练多任务关系学习网络模型
将经过步骤(1)预处理后得到的数据输入经步骤(2)构建好的多任务关系学习网络模型中，进行Seg-Loc网络和判别网络的对抗训练；设定步骤(1)预处理后得到的N张核磁共振图像，是指：
首先，随机取出其中3N/4张核磁共振图像，依次输入Seg-Loc网络进行训练；
然后，将Seg-Loc网络的输出经过异或操作得到异或预测；
最后，依次将异或预测和异或标签输入判别网络；
交替训练Seg-Loc网络和判别网络直到训练收敛；
(4)测试
除去步骤(3)训练时随机选取的3N/4张核磁共振图像,将剩余的N/4张核磁共振图像作为测试集，输入步骤(3)已经训练好的Seg-Loc网络，输出语义定位结果和语义分割结果；
由语义定位结果及其对应的定位标签通过定位误差和识别率来衡量多任务关系学习网络模型的定位识别性能，由语义分割结果和其对应的分割标签通过Dice系数来衡量多任务关系学习网络模型的分割性能。


2.根据权利要求1所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法，其特征在于，所述步骤(1)中，包括步骤如下：
A、先将所有的核磁共振图像调整为512*512；
B、利用ITK-SNAP软件对所有的核磁共振图像进行椎体分割标签的标注：利用ITK-SNAP软件的工具箱将核磁共振图像中的椎体进行掩膜标记，从最下方的椎骨开始，沿着椎体边缘画出闭合曲线，填充闭合曲线内部，生成与椎体形状位置一致的掩膜标记为1，对其它椎体也执行相同的操作，并按照标签值递升次序依次标记，进行掩膜标记后，得到与分割的核磁共振图像等大的分割标签，背景的分割标签是0；
C、利用已存在的分割标签来产生定位标签：包括步骤如下：
①利用分割标签来找出每块椎体的质心；
②将质心转换为服从高斯分布的定位标签；具体过程为：
根据公式(Ⅰ)计算能量标签，即椎体的定位标签Yi：



式(Ⅰ)中，μi代表标签为i的椎体的质心，σ代表从质心向周围扩散的半径，k代表高斯分布在质心处的值，x代表位置，Yi代表x处的高斯函数值；
背景的定位标签是由其他类计算出来的：Y0＝1-max(Yi)；
③将分割标签和定位标签进行one-hot运算，即进行二值化，将得到的one-hot分割标签和one-hot定位标签，在512*512维度上进行异或运算，得到异或标签。


3.根据权利要求1所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法，其特征在于，所述步骤(2)中，Seg-Loc网络的架构为一个encoder-decoder网络，encoder-decoder网络包括一个encoder、两个decoder、两个任务互关注模块，两个decoder共用一个encoder，两个decoder之间设有两个任务互关注模块；
两个decoder分别输出语义定位结果和语义分割结果；任务互关注模块用于学习语义定位和语义分割之间的关系；
encoder包括卷积层、LSTM、孔洞卷积群、批标准化层、ReLU激活层和最大池化层；卷积层用于提取图片信息，同时也达到降维效果；LSTM用于学习图像中椎骨的顺序关系；孔洞卷积群在没有损失信息的情况下，增大了感受野；批标准化层对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布；最大池化层在尽量不丢失图像特征前期下，对图像进行下采样；
所述孔洞卷积群是包括扩张率分别为2、4、8、16的4层孔洞卷积，一维孔洞卷积如公式...

【专利技术属性】
技术研发人员：李玉军，张冉冉，刘治，张文真，李邦军，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37