一种基于深度学习的CT图像中肾脏分割方法技术

本发明专利技术公开了一种基于深度学习的CT图像中肾脏分割方法，包括以下步骤：输入CT图像组；对图像组中各图像进行归一化处理；生成肾脏的位置编码图，并将带有位置编码图与各图像进行叠加；对各图像进行卷积，确定感兴趣位置区域，与处理后的各图像进行像素哈达码积，获得分割后的图像；输出端二值化图像；将得到的图像与归一化处理后的各图像进行哈达码积，确定输出分割出肾脏部分的图像。本发明专利技术通过在神经网络训练图像的时候加入了位置编码，能够很好地区分和解决脾脏和肾脏难以区分的问题；另外，使用了注意力机制，不仅能够让网络拟合收敛速度更快，更使网络能够注意到肾脏位置区域，从而排除了脾脏的干扰。

Kidney segmentation in CT image based on deep learning

【技术实现步骤摘要】
一种基于深度学习的CT图像中肾脏分割方法
本专利技术涉及图像分割
，具体涉及一种基于深度学习的CT图像中肾脏分割方法。
技术介绍
随着互联网上图像数据的大规模增长，图像分割技术受到广泛的关注和应用。尤其是在医学领域的分割上，医生的分割成本高分割效率低，以及分割标准参差不齐，现有的医学分割技术普遍基于传统计算机视觉技术，将CT值(-1000Hu,1000Hu)投射到RGB空间(0～255)上，手动提取特征，根据医生的经验采用启发式算法，用提取出来的特征进行降维和机器学习算法等操作。这样的方法有很多优点，例如医生的经验能够很好地实现自动化，又如，以随机森林和SVM为代表的以系列机器学习算法具有可解释性和具有相对最优解，并且对于数据量的要求不是很高，大概几十条或者几百条就能够得到表现优良的模型，但对于新数据的预测上表现极为不理想，尤其是在多中心验证上取得的成绩很不理想。从目前的研究来看，近年来解决这些问题的方法已经从传统的计算机视觉领域，转移到深度学习与计算机视觉相结合，深度学习方法具有很多优点，高鲁棒性就是其中重要一条。例如，神经网络Unet做分割确实有一定效果，但是对于形状类似，CT值类似的图像，如图1所示，肾脏、脾脏会出现混淆，有鉴于此，亟需提供一种对于CT图片可准确识别分割出肾脏的方法。
技术实现思路
为了解决上述技术问题，本专利技术所采用的技术方案是提供了一种基于深度学习的CT图像中肾脏分割方法，包括以下步骤：S1、输入CT图像组；S2、对图像组中各图像进行归一化处理；S3、生成肾脏的位置编码图，并将带有位置编码图与步骤S2中各图像进行叠加；S4、对步骤S3中的各图像进行卷积，确定感兴趣位置区域，并对感兴趣位置区域与处理后的各图像进行像素HadmardProduct，获得分割后的图像或特征图像；S5、输出端二值化图像；S6、将步骤S5得到的图像与步骤S2中的各图像进行HadmardProduct，确定输出分割出肾脏部分的图像。在上述方法中，还包括步骤：设定损失函数，选取多个模型进行训练，将训练好的模型建立模型集合，通过模型集合中模型分别对图像组进行分割，使用模型融合技术，将多个模型的结果进行以投票的方式进行融合，得到最终的分割结果。在上述方法中，所述对图像组中各图像进行归一化处理计算如下式：式中，Iorigin代表原始图像，Inormal表示归一化后的图像。在上述方法中，所述位置编码生成具体如下：PE(i,j)＝cos(β*ei)+sin(β*ej),i∈(0,511),j∈(0,511)其中，(i,j)代表肾脏像素点坐标，PE函数是关于(i,j)的位置函数；β为超参数，用来调整不同位置的频率大小；将所述位置编码图与处理后的各图像相加，计算式为：Inew＝Inormal(i,j)+α*PE(i,j)其中，α为用来调整归一化处理后的原图像和位置信息的比例。在上述方法中，所述感兴趣区域(ROI)与处理后的各图像进行像素HadmardProduct计算如下：f1up＝concat(f2up,f2down)*f2attention；f2up＝concat(f3up,f3down)*f3attention；f3up＝concat(f4up,f4down)*f4attention；其中，f1～4up是上采样1～4层卷积输出特征图像；f2～4down是下采样2～4层输出图像；f2～4attention是经过了一层卷积和池化的特征图像。在上述方法中，所述二值化图像具体为：勾勒出肾脏轮廓的二值化图像用0与1值进行区分。在上述方法中，所述CT图像组为3张连续CT图像。本专利技术通过在神经网络Unet训练图像的时候加入了positionalencoding(位置编码)，能够很好地区分和解决脾脏和肾脏难以区分的问题；另外，使用了attention注意力机制，让神经网络通过反向传播(back-propagation)过程中，网络会根据PE信息调整ROI进而达到感兴趣区域注意效果，不仅能够让网络拟合收敛速度更快，更使网络能够注意到肾脏位置区域，从而排除了脾脏的干扰。附图说明图1为本专利技术提供的
技术介绍
中现有分割方法分割的结果示意图；图2为本专利技术提供的方法流程；图3为本专利技术提供的神经网络结构示意图；图4为本专利技术提供的加入位置编码和区域注意力机制后的神经网络框架示意图；图5为本专利技术提供的通过本专利技术CT图像分割的效果图。具体实施方式本专利技术提供了一种加入位置编码和注意力机制，让神经网络通过反向传播(back-propagation)，在分割肾脏的时候不会跟脾脏或者其他器官混淆的肾脏CT图像分割网络的方法。下面结合附图对本专利技术作出详细的说明。如图2-3所示，本专利技术提供了一种基于深度学习的CT图像中肾脏分割方法，包括以下步骤：S1、输入CT图像组；本实施例中，CT图像组可为3张连续CT图像，长宽为512*512，像素值范围-1000～2000HU，训练时可以传入多组图像进行训练，3张连续图像具有上下层的信息，让模型通过上下层的信息一并预测中间层的mask。S2、对图像组中各图像进行归一化处理；由于实际测量的肾脏像素值一般是分布在25～50之间，而脾脏像素值一般是分布在35～60之间，因此，对输入CT图像组进行归一化处理，具体通过如下公式处理：其中，Iorigin代表原始图像，Inormal表示归一化后的图像。S3、生成肾脏的位置编码图(Positionalencoding)，并将带有位置编码图与步骤S2中各图像进行叠加；实现步骤具体如下：如图4所示，为加入了位置编码及注意力机制后的神经网络，位置编码生成具体如下：PE(i,j)＝cos(β*ei)+sin(β*ej),i∈(0,511),j∈(0,511其中，(i,j)代表肾脏像素点坐标，PE函数是关于(i,j)的位置函数,β为超参数，用来调整不同位置的频率大小。将该位置编码图与处理后的各图像相加，相当于将位置信息用频率的形式加以表达，并且把信息叠加到处理后的各图像上，公式为：Inew＝Inormal(i,j)+α*PE(i,j)其中，α为用来调整归一化处理后的原图像和位置信息的比例，为了不让α影响归一化处理后的原图像，取值为0.1；S4、对步骤S3中的各图像进行卷积，确定感兴趣位置区域(ROI)，并对感兴趣位置区域(ROI)与处理后的各图像进行像素哈达码积(HadmardProduct)，获得分割后的图像或特征图像，具体为：本实施例由于加入了PE，即位置信息，在卷积过程中位置信息一直参与计算，从而卷积过程中网络对于位置信息有一定的敏感性，对敏感位置有‘注意’的效果。将步骤S3中的各图像进行卷积操作之后将会找到位置本文档来自技高网...

【技术保护点】
1.一种基于深度学习的CT图像中肾脏分割方法，其特征在于，包括以下步骤：/nS1、输入CT图像组；/nS2、对图像组中各图像进行归一化处理；/nS3、生成肾脏的位置编码图，并将带有位置编码图与步骤S2中各图像进行叠加；/nS4、对步骤S3中的各图像进行卷积，确定感兴趣位置区域，并对感兴趣位置区域与处理后的各图像进行像素Hadmard Product，获得分割后的图像或特征图像；/nS5、输出端二值化图像；/nS6、将步骤S5得到的图像与步骤S2中的各图像进行Hadmard Product，确定输出分割出肾脏部分的图像。/n

【技术特征摘要】
1.一种基于深度学习的CT图像中肾脏分割方法，其特征在于，包括以下步骤：
S1、输入CT图像组；
S2、对图像组中各图像进行归一化处理；
S3、生成肾脏的位置编码图，并将带有位置编码图与步骤S2中各图像进行叠加；
S4、对步骤S3中的各图像进行卷积，确定感兴趣位置区域，并对感兴趣位置区域与处理后的各图像进行像素HadmardProduct，获得分割后的图像或特征图像；
S5、输出端二值化图像；
S6、将步骤S5得到的图像与步骤S2中的各图像进行HadmardProduct，确定输出分割出肾脏部分的图像。


2.如权利要求1所述的方法，其特征在于，还包括步骤：设定损失函数，选取多个模型进行训练，将训练好的模型建立模型集合，通过模型集合中模型分别对图像组进行分割，使用模型融合技术，将多个模型的结果进行以投票的方式进行融合，得到最终的分割结果。


3.如权利要求1所述的方法，其特征在于，所述对图像组中各图像进行归一化处理计算如下式：



式中，Iorigin代表原始图像，Inormal表示归一化后的图像。


4.如权利要求1所述的方法，其特征在于，所述位置编码生成具体如下：
PE(i，j)＝cos(β*ei)+...

【专利技术属性】
技术研发人员：杜强，李剑楠，郭雨晨，聂方兴，张兴，
申请(专利权)人：北京小白世纪网络科技有限公司，
类型：发明
国别省市：北京;11