基于神经网络的危及器官自动勾画方法、设备和存储介质技术

本发明专利技术属于医学影像技术领域，涉及一种基于三级联卷积神经网络的危及器官自动勾画方法、设备和存储介质。包括步骤：将三维医学影像预处理后输入到训练好的三级联卷积神经网络的第一、第二、第三级网络中依次进行识别待分割器官所存在的横断面、粗定位待分割器官的感兴趣区域、对感兴趣区域中的所有像素点进行分类，随后输出三维的二值分割结果；对二值分割结果进行后处理、边缘提取及边缘平滑后，得到自动勾画的危及器官。其中，本发明专利技术的三级联卷积神经网络模型由第一级网络、第二级网络和第三级网络三个卷积神经网络级联而成。本发明专利技术的三级联神经网络具有不需要先验知识，算法泛化能力好，鲁棒性强，速度快，全自动，分割准确率高的优点。

Method, equipment and storage medium for automatic delineation of endangered organs based on Neural Network

【技术实现步骤摘要】
基于神经网络的危及器官自动勾画方法、设备和存储介质
本专利技术属于医学影像和计算机
，涉及一种基于三级联卷积神经网络的危及器官自动勾画方法、设备和存储介质。
技术介绍
放射治疗是癌症治疗的三大手段之一，它能够通过电离辐射来破坏癌细胞的DNA链，进而导致癌细胞的死亡。为了降低治疗过程中射线对正常组织的影响，医生需要在放疗前制定一个周密的放疗计划。CT影像由于具有成像速度快，空间精度和分辨率高等特点，通常被用于放疗计划的制定，医生需要在每张CT切片中精确勾画出每个危及器官，这是一个费时费力的过程，另外，由于软组织在CT影像中的对比度较低，例如：腮腺没有清晰的边界且形态复杂，这使得医生手工勾画时容易出错和费时，因此需要一个准确和快速的危及器官全自动分割算法，来辅助医生勾画危及器官，减少计划制定过程中的体力劳动和时间。目前市面上的产品都是采用基于Multi-Atlas(多图谱)配准的方法，这种方法的分割准确率取决于模板的选择，鲁棒性较差，无法适应不同医院具有不同分辨率的CT影像数据，并且，由于采用了形变配准而导致分割时间较长。另一方面，为了提高分割的准确率，会尽量多的选择模板，但是分割的时间也会随着模板的增多而增加，并且目前的很多方法使用了大量的先验知识，泛化能力差。深度学习是一个复杂的机器学习算法，其中的卷积神经网络近年来在图像识别和医学影像处理方面取得的效果，远远超过先前的相关技术。深度学习的核心是特征学习，旨在通过分层网络自动获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。
技术实现思路
本专利技术的目的在于为克服上述现有技术的缺陷而提供一种基于三级联卷积神经网络的危及器官自动勾画方法、设备和存储介质。为实现上述目的，本专利技术采用以下技术方案：本专利技术基于深度学习技术，设计了一种三级联卷积神经网络，用于准确和快速的全自动分割医学影像中的危及器官，本专利技术经过临床试验，被证明能够有效的在临床中辅助医生进行危及器官的勾画。一种基于三级联卷积神经网络的危及器官自动勾画方法，适于在计算设备中执行，包括如下步骤：(1)输入三维医学影像；(2)对三维医学图像进行预处理；(3)将预处理的三维医学影像输入到训练好的三级联卷积神经网络的第一级网络中识别待分割器官所存在的横断面；(4)将第一级网络筛选出的横断面输入到训练好的三级联卷积神经网络的第二级网络中粗定位待分割器官的感兴趣区域；(5)对第二级网络输出的感兴趣区域进行标准化，随后输入到训练好的三级联卷积神经网络的第三级网络中，对感兴趣区域中的所有像素点进行分类，输出三维的二值分割结果；(6)对三维的二值分割结果进行后处理；(7)对经过后处理的二值分割结果进行边缘提取，经过边缘平滑后，得到自动勾画的危及器官；其中，所述的三级联卷积神经网络模型由第一级网络、第二级网络和第三级网络三个卷积神经网络级联(cascade，串联)而成。本专利技术中进一步优选地，步骤(1)中，所述的医学影像选自CT影像、核磁共振影像或PET影像(正电子发射型计算机断层显像)。所述的医学影像为DICOM格式或非DICOM格式。步骤(2)中，所述的预处理包括以下步骤：(i)将医学影像插值成统一的空间分辨率；(ii)将截取后的三维医学影像的灰度值进行Min-Max标准化；优选地，所述的预处理还包括在步骤(i)与(ii)之间进行截取医学影像有效数据的步骤。步骤(5)中，所述的标准化为Z-score标准化。步骤(6)中，所述的后处理包括腐蚀、膨胀、空洞填充、提取联通区域、并将分辨率恢复到与原医学影像初始空间分辨率相同中的一种或一种以上。所述的第一级网络为二维的卷积神经网络，包括卷积层、BatchNormalization层、ReLU激活层和最大池化层，最后连接有全连接层并通过Softmax函数产生预测概率值。所述的第二级网络为三维卷积神经网络，包括三维卷积层、ReLU激活层和三维池化层，深层网络产生的高维特征通过全连接层和Softmax函数产生对三维小块预测概率值，从而定位待分割器官的感兴趣区域。所述的第三级网络为全卷积网络，用于对第二级网络产生的感兴趣区域中的每一个像素做识别分类，包括卷积层、最大池化层、拼接层、反卷积层，通过sigmoid函数产生对每个像素的预测概率值，对概率值做阈值处理，得到最终分割的二值结果。所述的三级联卷积神经网络模型的各级网络分开训练。所述的第一级网络的训练步骤包括：(a1)将原始三维医学影像进行插值，使x，y，z方向的分辨率为n×n×m，其中x，y方向的空间分辨率相同；(a2)以含有待分割器官的横断面为正样本，其他横断面为负样本，将插值后的三维医学影像分别切割为n×n大小的二维切片；若插值后导致横断面边长大小小于n，则进行四周补零操作；(a3)将所有切割下的二维切片输入到第一级网络中进行训练，得到训练好的第一级网络；所述的第二级网络的训练步骤包括：(b1)将原始三维医学影像进行插值，使x，y，z方向的分辨率为n×n×m，其中x，y方向的空间分辨率相同；并进行Min-Max标准化；(b2)根据医生勾画的三维医学影像结果，以器官所在位置的质心为中心，从步骤(b1)得到的标准化三维医学影像中切割尺寸为n×m×k的三维小块作为网络的正样本，其中正样本中包含待分割器官，从其他不含待分割器官的区域中切割数量正样本小块n倍的三维小块作为网络的负样本；进一步优选地，负样本的数量为正样本数量的2～5倍；(b3)对切割后的正负样本进行数据增强，所述的数据增强是指以三维小块的质心为中心在三个维度上进行平移；(b4)将增强后的数据输入到第二级网络中进行训练，得到训练好的第二级网络；所述的第三级网络的训练步骤包括：(c1)在含有医生勾画待分割器官的各层横断面及其Z方向的邻近横断面中，以医生勾画的质心为中心，从原始三维医学影像中切割n×m大小的二维切片作为训练图像，从医生勾画的二值掩模的对应位置切割同样大小的二维切片作为训练标签；(c2)对所有的n×m大小的图像切片及训练标签进行数据增强，所述的数据增加是在横断面的两个维度方向进行平移；(c3)对增强后的所有切片分别进行Z-score标准化；(c4)将标准化后的所有训练图像和训练标签对应的输入到第三级网络中进行训练，得到训练好的第三级网络。本专利技术还提供一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于上述基于三级联卷积神经网络的危及器官自动勾画方法的指令。本专利技术还提供一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述基于三级联卷积神经网络的危及器官自动勾画方法。本专利技术具有以下有益效果：本专利技术经过临床试验，被证明具有不需要先验知识，算法泛化能力好，鲁棒性强，速度快，全自动，分割准确率高的优点，对不同医院不同设备产生的CT影像都具有良好的分割效果，可以在放疗过程中辅助医生进行危及器官的自动勾画。附图说明图1为本专利技术实施例中三级联卷积神经网络算法流程图。图2为本专利技术实施例中第一级神经网络效果示意图。图3为本专利技术实施例中第二级神经网络结构示意图。图4为本专利技术实施例中第二级神经网络本文档来自技高网...

【技术保护点】
1.一种基于三级联卷积神经网络的危及器官自动勾画方法，适于在计算设备中执行，其特征在于：包括步骤：(1)输入三维医学影像；(2)对三维医学图像进行预处理；(3)将预处理的三维医学影像输入到训练好的三级联卷积神经网络的第一级网络中识别待分割器官所存在的横断面；(4)将第一级网络筛选出的横断面输入到训练好的三级联卷积神经网络的第二级网络中粗定位待分割器官的感兴趣区域；(5)对第二级网络输出的感兴趣区域进行标准化，随后输入到训练好的三级联卷积神经网络的第三级网络中，对感兴趣区域中的所有像素点进行分类，输出三维的二值分割结果；(6)对三维的二值分割结果进行后处理；(7)对经过后处理的二值分割结果进行边缘提取，经过边缘平滑后，得到自动勾画的危及器官；其中，所述的三级联卷积神经网络模型由第一级网络、第二级网络和第三级网络三个卷积神经网络级联而成。

【技术特征摘要】
1.一种基于三级联卷积神经网络的危及器官自动勾画方法，适于在计算设备中执行，其特征在于：包括步骤：(1)输入三维医学影像；(2)对三维医学图像进行预处理；(3)将预处理的三维医学影像输入到训练好的三级联卷积神经网络的第一级网络中识别待分割器官所存在的横断面；(4)将第一级网络筛选出的横断面输入到训练好的三级联卷积神经网络的第二级网络中粗定位待分割器官的感兴趣区域；(5)对第二级网络输出的感兴趣区域进行标准化，随后输入到训练好的三级联卷积神经网络的第三级网络中，对感兴趣区域中的所有像素点进行分类，输出三维的二值分割结果；(6)对三维的二值分割结果进行后处理；(7)对经过后处理的二值分割结果进行边缘提取，经过边缘平滑后，得到自动勾画的危及器官；其中，所述的三级联卷积神经网络模型由第一级网络、第二级网络和第三级网络三个卷积神经网络级联而成。2.根据权利要求1所述的基于三级联卷积神经网络的危及器官自动勾画方法，其特征在于：步骤(1)中，所述的医学影像选自CT影像、核磁共振影像或PET影像。3.根据权利要求1所述的基于三级联卷积神经网络的危及器官自动勾画方法，其特征在于：所述的预处理包括以下步骤：(i)将医学影像插值成统一的空间分辨率；(ii)将医学影像的灰度值进行Min-Max标准化；优选地，所述的预处理还包括在步骤(i)与(ii)之间进行截取医学影像有效数据的步骤。4.根据权利要求1所述的基于三级联卷积神经网络的危及器官自动勾画方法，其特征在于：步骤(5)中，所述的标准化为Z-score标准化。5.根据权利要求1所述的基于三级联卷积神经网络的危及器官自动勾画方法，其特征在于：步骤(6)中，所述的后处理包括腐蚀、膨胀、空洞填充、提取联通区域、并将分辨率恢复到与原医学影像初始空间分辨率相同中的一种或一种以上。6.根据权利要求1所述的基于三级联卷积神经网络的危及器官自动勾画方法，其特征在于：所述的第一级网络为二维的卷积神经网络，包括卷积层、BatchNormalization层、ReLU激活层和最大池化层，最后连接有全连接层并通过Softmax函数产生预测概率值；所述的第二级网络为三维卷积神经网络，包括三维卷积层、ReLU激活层和三维池化层，深层网络产生的高维特征通过全连接层和Softmax函数产生对三维小块预测概率值，从而定位待分割器官的感兴趣区域；所述的第三级网络为全卷积网络，用于对第二级网络产生的感兴趣区域中的每一个像素做识别分类，包括卷积层、最大池化层、拼接层、反卷积层，通过sigmoid函数产生对每个像素的预测概率值，对概率值做阈值处...

【专利技术属性】
技术研发人员：孙鑫龙，崔德琪，章桦，
申请(专利权)人：北京连心医疗科技有限公司，
类型：发明
国别省市：北京,11