基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置制造方法及图纸

本发明专利技术公开一种基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置。脑龄估计和和异常检测方法中，首先，利用临床常规采集的孕妇子宫内T2加权像建立正常胎儿大脑T2加权磁共振图像的数据集。其次，利用U型网络将胎儿大脑从子宫中分割出，再利用基于注意力机制的深度残差网络预测胎儿脑龄，并生成脑龄的不确定度和胎儿脑龄估计的可信度。最后，根据实际胎龄和预测脑龄的差异、不确定度、可信度等指标构建分类器，判断胎儿大脑发育是否异常。本发明专利技术可以同时对胎儿大脑年龄进行估计，并生成不确定性、估计可信度等指标用于检测大脑发育异常的胎儿，具有较高的准确度和精确性以及较高的临床应用前景和价值。

【技术实现步骤摘要】
基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置
本申请涉及脑磁共振图像处理领域，尤其涉及深度学习的应用与大脑分割和脑龄估计。
技术介绍
基于磁共振神经影像的大脑年龄被广泛应用于刻画正常大脑的发展过程，偏离正常大脑发展轨迹的程度可以作为衡量大脑异常的征兆和指标。近十年来的研究表明，预测脑龄和实际生理年龄的差值(predictedagedifference,PAD)可以衡量早产儿童大脑的异常发育、阿兹海默症患者和脑外伤患者大脑萎缩程度和精神分裂症患者的加速老化的程度。胎儿脑成像已经逐步成为评估早期大脑正常发育的重要工具，然而，脑龄预测方法尚未应用于胎儿的神经影像中。作为一种稳定的新型指标，脑龄预测可以潜在地评估胎儿大脑的发育程度并检测发育异常，对产前诊断有非常重要的意义和价值。常规的脑龄估计方法包括支持向量回归、相关向量回归和高斯过程回归等机器学习算法，详见文献1：Frankeetal.,2010，Coleetal.,2015，Liemetal.,2017。近些年来，深度学习的技术被广泛应用于医学图像处理领域，其相较于传统方法具有更多的优势和更好的准确性，详见文献2：Litjensetal.,2017；Shenetal.,2017。最近，脑龄的估计也逐渐开始采用深度学习的方法，并取得了很好的预测结果，详见文献3：Coleetal.,2017；Jonssonetal.,2019；Wangetal.,2019。但脑龄模型中用PAD单个指标用做大脑异常的检测具有明显的不足，一方面，PAD属于回归残差，模型的变化会直接影响PAD大小，导致不同模型计算结果不能统一；另一方面，脑龄预测模型基本建立在正常群体的数据上，而异常发育的大脑含有非大脑正常发育过程中的特征，导致利用PAD单个指标难以检出以及PAD机制可解释性的降低。此外，精确分割出胎儿大脑也有利于准确衡量胎儿脑龄，因此，开发有效精确的胎儿大脑分割和大脑年龄回归模型，不仅能为临床和科研提供一种有效的参考指标，也可以进一步提高产前诊断的准确性。
技术实现思路
为了提供更加有效的方法并克服现有技术的不足，本专利技术提出利用深度学习分割胎儿大脑，并建立一种基于注意力机制的深度集成学习的模型预测胎儿大脑年龄且进行异常检测。该方法基于在当地医院采集的不同妊娠期子宫内T2加权像的大数据样本，构建改进版U型网络分割胎儿大脑；同时结合注意力机制，建立了深度残差概率型网络，对胎儿的大脑年龄进行准确的估计；在网络训练的同时对于脑龄预测的不确定性进行估计，得到预测脑龄的可信度，并通过这些指标来检测胎儿大脑异常。为了达到上述目的，本专利技术采用以下技术方案予以实现：第一方面，本专利技术提供了一种基于深度集成学习的胎儿脑龄估计方法，其包括以下步骤：S1：获取正常胎儿大脑T2加权磁共振图像数据集，所述图像数据集中包含不同胎龄正常胎儿的大脑多层T2加权磁共振图像，且每张图像均标记有对应胎儿临床的胎龄估计值；S2：建立基于注意力机制的深度残差网络，并利用S1中的图像数据集对其进行训练；所述基于注意力机制的深度残差网络由若干注意力网络模块连接而成，所述注意力模块包含一个主干分支和一个掩膜分支，主干分支的输出与掩膜分支的输出经过以下计算后得到注意力网络模块的输出图像：xl＝Tl(xl-1)+Ml(xl-1)·Tl(xl-1)其中，Ml和Tl分别表示第l个注意力网络模块中掩膜分支和主干分支的输出，xl表示第l个注意力网络模块的输出图像；最后一个注意力网络模块的输出图像通过平均池化和全连接层，得到输入图像中的胎儿脑龄预测结果；S3：将待估计的胎儿大脑多层T2加权磁共振图像作为网络输入，利用S2中训练完毕的基于注意力机制的深度残差网络，对其脑龄进行估计。基于上述第一方面的方案，各步骤还可以进一步提供以下优选的实现方式。作为优选，所述基于注意力机制的深度残差网络中共含有N个注意力网络模块；其中前N-1个注意力网络模块中，主干分支由两个以上的残差模块连接形成，其中每个残差模块包含连续的1×1、3×3和1×1的卷积层，批量标准化层和线性整流函数层，每个主干支路的第一个残差模块后增加掩膜分支；掩膜分支包括一个最大池化层紧接着多个残差模块进行降采样，然后紧跟着一个对称的结构进行过采样形成编码-解码结构，再经过两个1×1的卷积层，对输出进行sigmoid函数处理，得到掩膜分支最后的输出；同时，编码-解码结构中添加跨越的连接；最后一个注意力网络模块的中，主干分支直接由多个1×1卷积层连接；掩膜分支中，将编码-解码结构替换成多个残差模块连接，输出经过sigmoid激活；。作为优选，所述的S1和S3中，所述的大脑多层T2加权磁共振图像均利用训练后的U-Net网络从胎儿的临床子宫内T2加权磁共振图像中分割得到；所述U-Net网络包括一条收缩路径和一条扩张路径；在收缩路径中，先连续进行4次重复，每次重复时，先进行2个卷积操作后接着进行2×2的最大池化同时通道数增加一倍，第4次重复中完成最大池化后输出的特征图再依次通过2个卷积操作后，进入扩张路径；在扩张路径中，也连续进行4次重复，每次重复时，先将特征图进行2×2的上采样操作后，将其与收缩路径中对应输出的相同图像大小的特征图合并拼接，然后再对拼接结果连续进行2个卷积操作；在收缩路径和扩张路径的卷积操作中，最后一次最大池化之前的卷积操作以及第一次上采样操作之前的卷积操作均采用2×2卷积操作并增加一个dropout操作，其余均采用3×3卷积操作；在扩张路径最后一次重复完成后，通过3×3卷积操作将特征转为概率值，并通过1×1的卷积操作生成0-1掩膜；所述U-Net网络在模型训练时，用Softmax函数输出0-1掩膜中每个像素的值，通过和真值标签对应像素的互信息的大小作为网络训练的损失函数。进一步的，选取正常胎儿的临床子宫内T2加权磁共振图像，对数据进行质控，选取的数据应保证胎龄分布规则且连续；对临床子宫内T2加权磁共振图像中的胎儿大脑进行人工分割标注后，作为U-Net的训练集和测试集。进一步的，对胎儿的临床子宫内T2加权磁共振图像进行分割时，先利用所述U-Net网络生成其胎儿大脑的0-1掩膜，将胎儿的大脑图像从其他组织图像中分割出来；定义多层图像中的胎儿大脑面积最大的2D层面为中间层，将每层胎儿大脑图像周边像素都补零形成的相同大小的图像，并将每个个体图像幅值进行归一化；选取包括中间层的连续数层图像，用于建立正常胎儿大脑T2加权磁共振图像数据集。第二方面，本专利技术提供了一种基于深度集成学习的胎儿大脑异常检测方法，其包括以下步骤：S1：获取正常胎儿大脑T2加权磁共振图像数据集，所述图像数据集中包含不同胎龄正常胎儿的大脑多层T2加权磁共振图像，且每张图像均标记有对应胎儿临床的胎龄估计值；S2：建立基于注意力机制的深度残差网络，所述深度残差网络由若干注意力网络模块连接而成，所述注意力模块包含一个主干分支和一个掩膜分支，主干分支的输出与掩膜分支的输出本文档来自技高网...

【技术保护点】
1.一种基于深度集成学习的胎儿脑龄估计方法，其特征在于，包括以下步骤：/nS1：获取正常胎儿大脑T2加权磁共振图像数据集，所述图像数据集中包含不同胎龄正常胎儿的大脑多层T2加权磁共振图像，且每张图像均标记有对应胎儿临床的胎龄估计值；/nS2：建立基于注意力机制的深度残差网络，并利用S1中的图像数据集对其进行训练；/n所述基于注意力机制的深度残差网络由若干注意力网络模块连接而成，所述注意力模块包含一个主干分支和一个掩膜分支，主干分支的输出与掩膜分支的输出经过以下合并计算后得到注意力网络模块的输出图像：/nx

【技术特征摘要】
1.一种基于深度集成学习的胎儿脑龄估计方法，其特征在于，包括以下步骤：
S1：获取正常胎儿大脑T2加权磁共振图像数据集，所述图像数据集中包含不同胎龄正常胎儿的大脑多层T2加权磁共振图像，且每张图像均标记有对应胎儿临床的胎龄估计值；
S2：建立基于注意力机制的深度残差网络，并利用S1中的图像数据集对其进行训练；
所述基于注意力机制的深度残差网络由若干注意力网络模块连接而成，所述注意力模块包含一个主干分支和一个掩膜分支，主干分支的输出与掩膜分支的输出经过以下合并计算后得到注意力网络模块的输出图像：
xl＝Tl(xl-1)+Ml(xl-1)·Tl(xl-1)
其中，Ml和Tl分别表示第l个注意力网络模块中掩膜分支和主干分支的输出，xl表示第l个注意力网络模块的输出图像；
最后一个注意力网络模块的输出图像通过平均池化和全连接层，得到输入图像中的胎儿脑龄预测结果；
S3：将待估计的胎儿大脑多层T2加权磁共振图像作为网络输入，利用S2中训练完毕的基于注意力机制的深度残差网络，对其脑龄进行估计。


2.如权利要求1所述的基于深度集成学习的胎儿脑龄估计方法，其特征在于，所述基于注意力机制的深度残差网络中共含有N个注意力网络模块；
其中前N-1个注意力网络模块中，主干分支由两个以上的残差模块连接形成，其中每个残差模块包含连续的1×1、3×3和1×1的卷积层，批量标准化层和线性整流函数层，每个主干支路的第一个残差模块后增加掩膜分支；掩膜分支包括一个最大池化层紧接着多个残差模块进行降采样，然后紧跟着一个对称的结构进行过采样形成编码-解码结构，再经过两个1×1的卷积层，对输出进行sigmoid函数处理，得到掩膜分支最后的输出；同时，编码-解码结构中添加跨越的连接；
最后一个注意力网络模块的中，主干分支直接由多个1×1卷积层连接；掩膜分支中，将编码-解码结构替换成多个残差模块连接，输出经过sigmoid激活。


3.如权利要求1所述的基于深度集成学习的胎儿脑龄估计方法，其特征在于，所述的S1和S3中，所述的大脑多层T2加权磁共振图像均利用训练后的U-Net网络从胎儿的临床子宫内T2加权磁共振图像中分割得到；
所述U-Net网络包括一条收缩路径和一条扩张路径；在收缩路径中，先连续进行4次重复，每次重复时，先进行2个卷积操作后接着进行2×2的最大池化同时通道数增加一倍，第4次重复中完成最大池化后输出的特征图再依次通过2个卷积操作后，进入扩张路径；在扩张路径中，也连续进行4次重复，每次重复时，先将特征图进行2×2的上采样操作后，将其与收缩路径中对应输出的相同图像大小的特征图合并拼接，然后再对拼接结果连续进行2个卷积操作；在收缩路径和扩张路径的卷积操作中，最后一次最大池化之前的卷积操作以及第一次上采样操作之前的卷积操作均采用2×2卷积操作并增加一个dropout操作，其余均采用3×3卷积操作；在扩张路径最后一次重复完成后，通过3×3卷积操作将特征转为概率值，并通过1×1的卷积操作生成0-1掩膜；
所述U-Net网络在模型训练时，用Softmax函数输出0-1掩膜中每个像素的值，通过和真值标签对应像素的互信息的大小作为网络训练的损失函数。


4.如权利要求2所述的基于深度集成学习的胎儿脑龄估计方法，其特征在于，对胎儿的临床子宫内T2加权磁共振图像进行分割时，先利用所述U-Net网络生成其胎儿大脑的0-1掩膜，将胎儿的大脑图像从其他组织图像中分割出来；定义多层图像中的胎儿大脑面积最大的2D层面为中间层，将每层胎儿大脑图像周边像素都补零形成的相同大小的图像，并将每个个体图像幅值进行归一化；选取包括中间层的连续数层图像，用于建立正常胎儿大脑T2加权磁共振图像数据集。


5.一种基于深度集成学习的胎儿大脑异常检测方法，其特征在于，包括以下步骤：
S1：获取正常胎儿大脑T2加权磁共振图像数据集，所述图像数据集中包含不...

【专利技术属性】
技术研发人员：吴丹，施文，邹煜，颜国辉，李浩天，张祎，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33