融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法技术

本发明专利技术属于计算机辅助医疗领域，具体涉及一种融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法。本发明专利技术旨在解决目前深度学习技术在进行脑肿瘤分割时无法保证分割结果在外观以及空间上的连续性问题。为此目的，本发明专利技术的方法包括下列步骤：步骤1，采用不均匀偏移校正以及亮度规整化方法，对包含脑肿瘤图像的磁共振图像进行处理，生成第二磁共振图像；步骤2，采用融合全卷积神经网络和条件随机场的神经网络，对所述第二磁共振图像进行脑肿瘤分割，并输出脑肿瘤分割结果。本发明专利技术的方法在测试时可以逐切片端对端进行脑肿瘤分割，具有更高的运算效率。

An automatic segmentation method for brain tumors based on full convolution neural network and conditional random fields

The invention belongs to the field of computer aided medical treatment, in particular relates to a method for automatic segmentation of brain tumors, which is integrated with a full convolution neural network and conditional random fields. The invention aims at solving the problem that the depth learning technology can not guarantee the continuity of the appearance and the space of the segmentation results when the brain tumor is segmented. For this purpose, the method of the invention comprises the following steps: 1, using uneven offset correction and brightness normalization methods, processing of magnetic resonance images including brain tumor images, generate second magnetic resonance image; step 2, the integration of the entire convolutional neural network and neural network conditions with the airport, on the second magnetic resonance imaging of brain tumor segmentation, and the output of brain tumor segmentation results. The method of the invention can divide the brain tumors at the end of the slice by slice, and has higher operation efficiency.

【技术实现步骤摘要】

本专利技术涉及一种图像分割方法，具体涉及一种融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法。
技术介绍
脑肿瘤具有较高的发病率，尤其在儿童易患的恶性病变中，脑肿瘤仅次于白血病，排在第二位。对于脑肿瘤，不论其形式是良性还是恶性，都会使颅内压升高，压迫脑组织，导致中枢神经受损，危及患者生命。脑肿瘤病变组织的定位以及量化计算(如计算肿瘤的体积、直径等)对于脑肿瘤的诊断、制定治疗计划、疗效监测等都非常重要。在临床中，放射科医师通常通过多模态磁共振图像手动分割肿瘤，这是一件十分繁琐且耗时的工作。而脑肿瘤的计算机自动分割技术可以将医生从这件工作中解放出来，并且有效避免因为疲劳而产生的错误。因此，脑肿瘤自动分割技术对于脑肿瘤的辅助治疗具有十分重要的意义。其中，神经胶质瘤是最常见的脑肿瘤，目前的绝大多数脑肿瘤自动分割算法主要针对神经胶质瘤。基于磁共振图像的神经胶质瘤分割是一件十分具有挑战性的工作。它的难度体现在以下几个方面：(1)在磁共振图像上，神经胶质瘤与其他病症，如神经胶质过多症、中风等，具有相似的外观；(2)神经胶质瘤可能以任意的形状和大小存在于大脑的任意位置，因此，分割过程中可利用的先验知识非常少；(3)神经胶质瘤通常浸润周围组织而不是替代周围组织，使得肿瘤在磁共振图像中边界模糊；(4)磁共振成像设备不完善，磁共振图像中总是不可避免存在一定程度的亮度不均匀场，这也增加了脑肿瘤分割的难度。尽管实现脑肿瘤的自动精确分割存在很大困难，但是由于其具有巨大的辅助医疗意义，在过去几十年里吸引了众多研究人员致力于对它的研究。目前已有的脑肿瘤分割方法大体分为两类：一类基于产生式模型，一类基于判别式模型。产生式模型依赖于专业领域内的先验知识，一种常用的获取先验知识的方法是使用脑图谱。该方法在最大化信息图像匹配准则基础上，将脑图谱配准到目标图像上，从而得到目标图像中白质、灰质、脑脊液的概率图，然后依据概率图以及纹理、亮度等其他特征使用活动轮廓等方法分割出肿瘤。Gooya等人通过使用肿瘤生长模型来得到更加准确的概率图谱，进而提高肿瘤分割的精度。然而，如果肿瘤较大或脑部接受过切除手术，整个脑结构会发生变形，此时匹配得到的概率图谱往往不可靠。判别式模型通常通过提取体素特征，如局部直方图、纹理等，再依据特征对体素进行分类实现肿瘤分割。SVM、随机森林等分类器都曾用于脑肿瘤分割。判别式模型的分割精度依赖于手工设计特征的好坏，而到目前为止，还没有一种既简单又能使健康组织和病变组织具有足够区分度的特征。目前深度学习已经成功应用于包括脑肿瘤自动分割在内的多个领域。Havaei等人用二支路以及串联结构的卷积神经网络进行肿瘤分割。Pereira等人在肿瘤分割神经网络中使用多个小卷积核卷积层代替大卷积核卷积层的技术并获得成功。然而，目前基于深度学习的脑肿瘤分割技术很难保证分割结果在外观以及空间上的连续性，为解决这一问题有必要将深度学习与概率图模型结合起来。
技术实现思路
为了解决现有技术中的上述问题，即为了解决目前深度学习技术在进行脑肿瘤分割时无法保证分割结果在外观以及空间上的连续性问题，本专利技术提供了一种融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法。本专利技术提出的一种融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法，包括下列步骤：步骤1，采用不均匀偏移校正以及亮度规整化方法，对包含脑肿瘤图像的磁共振图像进行处理，生成第二磁共振图像；步骤2，采用融合全卷积神经网络和条件随机场的神经网络，对所述第二磁共振图像进行脑肿瘤分割，并输出脑肿瘤分割结果。上述步骤1中对包含脑肿瘤图像的磁共振图像进行处理的步骤包括：步骤11，使用N4ITK算法对包含脑肿瘤图像的磁共振图像进行不均匀场偏移校正，生成磁共振图像f1；步骤12，对磁共振图像f1进行亮度规整化处理。上述步骤12中具体包括：步骤121，线性调整磁共振图像f1的亮度，使其对应的灰度值落入预设的灰度值区间，生成磁共振图像f2；步骤122，计算所述磁共振图像f2的亮度直方图；步骤123，利用所述磁共振图像f2的亮度直方图的峰值处对应的亮度I和脑所在区域的体素亮度相对于I的方差对磁共振图像f2进行归一化，生成磁共振图像f3；步骤124，对所述磁共振图像f3的亮度范围进行调整，使其对应的灰度值落入所述预设的灰度值区间，生成磁共振图像f4，磁共振图像f4即为第二磁共振图像。在上述方法中，所述第二磁共振图像包含Flair、T1c和T2三种模式的磁共振图像。在上述方法中，所述融合全卷积神经网络和条件随机场的神经网络为全卷积神经网络和条件随机场融合后构成的深度神经网络；所述的条件随机场为CRF-RNN网络。在上述方法中，所述全卷积神经网络为串联结构的卷积神经网络，由第一卷积神经网络和第二卷积神经网络串联构成，所述全卷积神经网络具有第一尺度输入和第二尺度输入，具体为：第一尺度输入经过第一卷积神经网络生成特征图，将所述特征图与所述第二尺度输入进行合并作为第二卷积神经网络的输入；所述特征图与所述第二尺度输入大小相同。在上述方法中，对所述第二磁共振图像进行脑肿瘤分割的步骤包括：步骤21，依次获取第二磁共振图像三个模式图像的各个轴向切片；所述轴向切片大小为w*h*3，3个通道的数据依次取自Flair、T1c、T2；步骤22，对步骤21中所获取的轴向切片进行周围补零的操作，生成大小为(w+64)*(h+64)*3和(w+32)*(h+32)*3的两种尺寸的图片；步骤23，将步骤22中补零操作后生成图片输入融合全卷积神经网络和条件随机场的神经网络进行脑肿瘤分割，并输出脑肿瘤分割结果图片。在上述方法中，所述的融合全卷积神经网络和条件随机场的神经网络，通过如下步骤进行参数训练：步骤S1，使用取自第二磁共振图像轴向切片的小块对全卷积神经网络进行训练；所述取自第二磁共振图像轴向切片的小块，具体为以特定像素为中心的Flair、T1c、T2三种模式磁共振图像上正方形的块，其分类标签为该像素的标签；步骤S2，使用取自磁共振图像的轴向切片，输入步骤S1训练好的全卷积神经网络并将全卷积网络的输出作为条件随机场的输入，条件随机场网络将输出对该轴向切片的肿瘤分割结果，该结果将与真值图像对比并计算softmax损失，然后误差反传训练条件随机场的网络参数，该步骤中固定全卷积神经网络参数；步骤S3，使用取自磁共振图像的轴向切片，对融合全卷积神经网络和条件随机场的神经网络进行参数的优化。在上述方法中，步骤2输出脑肿瘤分割结果之后，还包括脑肿瘤分割结果筛选的步骤，具体为通过滤除小体积肿瘤区域和通过阈值过滤法对脑肿瘤分割结果进行筛选。进一步，所述的阈值过滤法为：Flair、T1c、T2三种模式磁共振图像对应的脑肿瘤分割结果中，如果分割结果中VFlair(x,y,z)<0.8*MeanFlair，VT1c(x,y,z)<125，VT2(x,y,z)<0.9*MeanT2，Result(x,y,z)<4，令Result(x,y,z)＝0；如果分割结果中vole/volt<0.05，VT1c(x,y,z)<85，并且Result(x,y,z)＝2，另Result(x,y,z)＝3；如果VT1c(x,y,z)<100，且本文档来自技高网...

【技术保护点】
一种融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法，其特征在于，包括以下步骤：步骤1，采用不均匀偏移校正以及亮度规整化方法，对包含脑肿瘤图像的磁共振图像进行处理，生成第二磁共振图像；步骤2，采用融合全卷积神经网络和条件随机场的神经网络，对所述第二磁共振图像进行脑肿瘤分割，并输出脑肿瘤分割结果。

【技术特征摘要】
1.一种融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法，其特征在于，包括以下步骤：步骤1，采用不均匀偏移校正以及亮度规整化方法，对包含脑肿瘤图像的磁共振图像进行处理，生成第二磁共振图像；步骤2，采用融合全卷积神经网络和条件随机场的神经网络，对所述第二磁共振图像进行脑肿瘤分割，并输出脑肿瘤分割结果。2.根据权利要求1所述的方法，其特征在于，步骤1中对包含脑肿瘤图像的磁共振图像进行处理的步骤包括：步骤11，使用N4ITK算法对包含脑肿瘤图像的磁共振图像进行不均匀场偏移校正，生成磁共振图像f1；步骤12，对磁共振图像f1进行亮度规整化处理。3.根据权利要求2所述的方法，其特征在于，步骤12具体包括：步骤121，线性调整磁共振图像f1的亮度，使其对应的灰度值落入预设的灰度值区间，生成磁共振图像f2；步骤122，计算所述磁共振图像f2的亮度直方图；步骤123，利用所述磁共振图像f2的亮度直方图的峰值处对应的亮度I和脑所在区域的体素亮度相对于I的方差对磁共振图像f2进行归一化，生成磁共振图像f3；步骤124，对所述磁共振图像f3的亮度范围进行调整，使其对应的灰度值落入所述预设的灰度值区间，生成磁共振图像f4，磁共振图像f4即为第二磁共振图像。4.根据权利要求3所述的方法，其特征在于，所述第二磁共振图像包含Flair、T1c和T2三种模式的磁共振图像。5.根据权利要求1所述的方法，其特征在于，所述融合全卷积神经网络和条件随机场的神经网络为全卷积神经网络和条件随机场融合后构成的深度神经网络；所述的条件随机场为CRF-RNN网络。6.根据权利要求5所述的方法，其特征在于，所述全卷积神经网络为串联结构的卷积神经网络，由第一卷积神经网络和第二卷积神经网络串联构成，所述全卷积神经网络具有第一尺度输入和第二尺度输入，具体为：第一尺度输入经过第一卷积神经网络生成特征图，将所述特征图与所述第二尺度输入进行合并作为第二卷积神经网络的输入；所述特征图与所述第二尺度输入大小相同。7.根据权利要求1所述的方法，其特征在于，所述步骤2对所述第二磁共振图像进行脑肿瘤分割的步骤包括：步骤21，依次获取第二磁共振图像三个模式图像的各个轴向切片；所述轴向切片大小为w*h*3，3个通道的数据依次取自Flair、T1c、T2；步骤22，对步骤21中所获取的轴向切片进行周围补零的操作，生成大小为(w+64)*(h+64)*3和(w+32)*(h+32)*3的两种尺寸的图片；步骤23，将步骤22中补零操作后生成图片输入融合全...

【专利技术属性】
技术研发人员：吴毅红，赵晓梅，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11