一种基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法技术

本发明专利技术公开了一种基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法。包括：一种基于卷积运算3*3*3的3D降采样模块；一种放大倍数为2的上采样模块；以及基于上述两种模块构成的特征通道数分别为16，32，48，64，96的3D‑UNet模型；将处理好的数据送入网络进行训练；并在像素级标签的测试集上验证分割效果。本发明专利技术提出了对于腹部CT图像中肝肿瘤病变区域分割的自动化标注方法，这将大大减小标注数据的成本，在一定程度上辅助医生医生对肝肿瘤的临床诊断。

【技术实现步骤摘要】
一种基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法
本专利技术涉及一种针对患者腹部CT中肝部肿瘤病变的基于卷积神经网络的病变分割方法。
技术介绍
肝脏是人体新陈代谢，维持生命的重要器官，同时肝脏也是人体腹部中重量最大的实质性器官。近年来，由于不良饮食习惯及不规律作息等因素，越来越多的人患有肝脏疾病。同时，肝脏是原发性或继发性肿瘤的高风险器官，肝肿瘤恶性度高，死亡率高。WHO的发布的数据显示，2018年有78万人死于肝癌，我国部分地区也属于世界上肝癌高发地区之一；国家癌症中心发布的最新全国癌症报告显示，2015年全国肝癌新发病例约为37万，发病率为26.92/十万，位居2015年恶性肿瘤发病率第四位，2015年全国肝癌死亡率为23.69/十万，位居恶性肿瘤死亡第二位。从上述数据及统计可以看出，肝癌正严重威胁人类的生命健康。深度学习算法是指根据先验知识从有限的观测数据中学习一般性规律，并将这些规律应用到待观测的样本上并给出预测结果的算法，其具有强大的数据分析及学习能力。近年来，随着算力和数据的增长，深度学习在过去7年中得到了巨大发展。同时，因为该领域生成海量的数据，使得医疗行业从深度学习中受益良多，其中自然语言处理主要涉及电子健康档案数据，强化学习方面主要讨论机器人辅助手术，通过深度学习方法进行基因组学相关研究，以及计算机视觉方面集中关注了医疗图像处理，尤其是在本次新型冠状病毒疫情当中，阿里达摩研究院将计算机视觉技术应用于新冠肺炎CT影像辅助诊断当中，在不到20秒的诊断时间内识别准确率高达96％，一定程度上减少了影像科医生的工作量，而本项目正是希望将计算机视觉领域的研究应用到肝肿瘤CT诊断中。卷积神经网络在图像处理方面具有显著效果，因而被广泛的应用于医疗成像中，LitjensG.等在其调查的2012-2017年医疗影像处理相关领域的文章中，大多数性能优异的网络几乎都采用了卷积神经网络。在图像分类问题上，大多人科研人员采用两种策略，第一，用已经训练好的网络进行特征提取，第二，在医学数据上对基于自然图像训练的模型进行微调：Antony等同时运用两种方法对膝关节炎症图像进行分类，在前一种方法中取得了57.6％的准确率，在后一种方法中取得了53.4％的准确率。Brosch等用DBN和SAE对阿尔兹海默症患者的MRI影像进行了分类，取得了较好的成果。总而言之，在医学图像的分类问题中，CNN依然是最被广泛使用的网络，其在某些医学图像分类问题上堪比“人类专家”。在目标及病灶分类问题中，对兴趣目标或病灶区域进行检测是临床诊断中最重要也是医生劳动最密集的部分，由于给影像进行标注的时间成本过高，YanXu等创新性的使用了MIL框架与监督/非监督特征学习方法进行训练，以应对标注成本过高这一问题，但在目标检测问题中，给数据进行标注的负担同样是一个非常需要考虑的问题，HwangandKim等采用了弱监督训练来检测胸部X光片中的结节和乳腺病变。器官与子结构分割方面，2015年Ronneberger等提出了医学图像分割问题中最著名的U-net，这一结构在2015年的EMsegmentationchallenge中获得了最优表现(warpingerror＝0.000353)，iek等的工作表明一个完整的三维分割可以通过从相同的体积中给u-net一些2d注释切片来实现，Milletari等提出基于U-net结构的三维卷积网络V-net，Drozdzal等研究了在常规U-net中使用。Resnet以及longskip-connection的效果。病灶分割问题结合了目标检测和器官与子结构分割在深度学习算法中的一些挑战，如通常需要全局信息和局部信息来执行精确的分割，因此需要使用具有不同尺度或非均匀采样的多流网络，如Kamnitsa等和Ghafoorian等人的工作，WangC等使用了类似于U-net中的由相同下采样和上采样路径的结构，但去掉了U-net中的skip-connection，Brosch等使用了类似于U-net的结构，但他们仅仅在第一个最后一个卷积层之间用了skipconnection同时使用了3D卷积，在病灶分割问题中，另一个挑战是类不平衡问题，因为图像中大多数像素或体素并非是病灶，在这个二分类问题中两个种类的样本数据数量悬殊，使得模型难以训练，Brosch等调整了损失函数的计算规则，定义损失函数为敏感性和特异性的加权组合，并对特异性赋予更大权重，使其对数据的不平衡性不敏感，而Kamnitsas等Litjens等，Pereira等则通过对病灶样本进行数据增强来平衡数据集。
技术实现思路
对于肝部肿瘤病变出现位置、形状、尺寸高度随机的特点，目前在医学图像处理领域比较常用的办法是使用U-net进行分割，U-net能较好的采用各个尺度的特征，充分考虑到病灶形状、位置、尺寸不固定的特点，从而达到较好的效果。本专利技术提供了一种改进U-net的神经网络，在U-net中添加SegSE模块与Recombination模块，提高网络的分割效果。为了实现对腹部CT中的肝肿瘤病变进行更精确的分割，本专利技术提出的卷积神经网络结构如下：(1)基于原有2DU-net结构，将2D卷积改为3D卷积。(2)用带SegSE模块和Recombination模块的卷积层代替原有网络的降采样卷积层。(3)网络的非线性激活单元选用Relu6函数，对输出的最大幅度进行限制，有效的限制了梯度爆炸的问题。本专利技术的技术方案：步骤1：数据离线预处理，将每个训练数据对应的CT影像和医生的分割结果读入显存中。由于CT扫描文件每个像素点的灰度值差异较大(如背景设被设置为最低值)，所以需要对读进来的CT扫描文件进行阈值截断。步骤2：数据在线预处理。为了防止网络过拟合，对经过步骤1离线预处理后的数据进行随机翻转，随机旋转，随机剪裁，随机噪声处理。步骤3：设计3DU-Net的降采样模块，将卷积层，BN层，SegSE层，Recombination层级联，该模块是3DU-Net中降采样的基本模块。步骤4：设计3DU-Net的反卷积模块，采用三次样条插值的办法进行反卷积。步骤5：将步骤3步骤4中设计好的模块组合设置参数，构建完整的3DU-Net卷积神经网络。步骤6：将步骤2中的数据集送进网络中进行训练。步骤7：在像素级标签的测试集上验证步骤6中训练好的卷积神经网络，并输出分割结果。【本专利技术的优点和积极效果】本专利技术提出的基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法相对于传统CT图像分割方法有以下优点：(1)本专利技术针对肝肿瘤CT影像的分割方法，提出一种深度学习卷积神经网络，网络内部包括3D卷积模块，SegSE空洞卷积模块，Recombination特征图扩充模块。可以有效地实现对CT图像中的肝肿瘤进行有效分割，减少了医生标注的时间。(2)带有SegSE模块和Recombination模块的3D卷积提升了特征图数，并且不局限于传统卷积，提高了网络的分割精度和泛化能力。【附图说本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法，其特征在于，包括以下步骤：/n(1)设计一种基于卷积运算3*3*3的3D降采样模块，其中包括一种卷积像素间隔为1的3*3*3空洞卷积SegSE模块，以及一种能对卷积操作后的图像进行特征图扩充的Recombination模块。/n(2)设计一种放大倍数为2的上采样模块。/n(3)基于(1)～(2)中的4个降采样模块与4个上采样模块进行级联，得到特征通道数分别为16，32，48，64，96的3D-UNet模型。/n(4)准备训练集、测试集、验证集，输入网络训练前进行数据预处理与数据增强。/n(5)将(4)中预处理好的数据输入3D-UNet模型中进行训练。/n(6)在像素级标签的测试集上验证(4)中得到的分割结果，并输出分割结果。/n

【技术特征摘要】
1.一种基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法，其特征在于，包括以下步骤：
(1)设计一种基于卷积运算3*3*3的3D降采样模块，其中包括一种卷积像素间隔为1的3*3*3空洞卷积SegSE模块，以及一种能对卷积操作后的图像进行特征图扩充的Recombination模块。
(2)设计一种放大倍数为2的上采样模块。
(3)基于(1...

【专利技术属性】
技术研发人员：黎鸿儒，马皓钰，沈哲韬，崔涵旭，
申请(专利权)人：黎鸿儒，
类型：发明
国别省市：天津;12