基于深度学习胃癌病理切片的计算机辅助模型构建方法技术

本发明专利技术公开了基于深度学习胃癌病理切片的计算机辅助模型构建方法，属于人工智能技术领域。本方法使用了一个121层稠密连接卷积神经网络进行图像的识别。DenseNet中的稠密块结构让网络的高层部分获取到浅层特征，很好地减轻过拟合现象。同时该模型层数较多，能拟合出更为复杂、更加光滑的决策函数。尽管层数很多，但该模型的参数数量并不多，很好地节约了资源占用。为进一步避免过拟合，采用了迁移学习的训练机制。模型会先在ImageNet数据集上进行预训练，让模型获得很强的图像特征提取能力，在正式训练时模型的主要优化就能更好地集中在如何提取患病区域的特征，极大地提高数据的利用效率。

【技术实现步骤摘要】
基于深度学习胃癌病理切片的计算机辅助模型构建方法
本专利技术属于人工智能
，主要是一种基于深度学习算法，并使用了注意力机制增强效果的胃癌病理切片计算机辅助识别模型构建方法。
技术介绍
胃癌是世界上第四大常见癌症，其死亡率在所有癌症中更是高居第二。因此胃癌逐渐成为了全民普遍关注的一个公共卫生问题。而如果在胃癌肿瘤产生的早期,患者就能被确诊，那么对于胃癌患者的治疗将取得显著的效果，极大降低胃癌疾病的死亡率。胃癌病理切片图像就是通过穿刺活检取得胃部组织之后，对组织切片用苏木精&伊红(Hematoxylin&Eosin,H&E)染色，再用数码相机通过显微镜拍摄取得的图像。胃癌病理切片可以为临床医师的治疗与诊断提供重要的指导作用。然而在病理医师的分析与诊断过程中，医生需要结合自己长期积累的临床诊断经验来判断胃癌病理切片中是否有癌变，这种人工的诊断方法，对医生的专业知识和从业经验都有极高的要求，而且也易受阅片者主观情绪和疲劳阅片等因素的影响，所以这种高度依赖人为因素的诊断过程具有主观差异性，医生的一小点失误都可能会给病人带来严重的后果。计算机辅助诊断(Computer-AidedDiagnosis,CAD)是当前人工智能在医学领域重要应用，已经成为当前的一大研究热点。近几年来，随着大数据技术的不断发展，人们可以轻松地获取有效的医学信息，并且现如今计算能力大幅提升，计算机对病理图像有着非常强大的处理与分析能力。病理学家已经认识到CAD对病理组织图像的评价分析具有很高的鲁棒性与高效性，这些结果可以很好地支持病理学家对疾病的判断，并为进一步治疗提供了更准确的参考。因此，借助现代计算机的强大计算能力，构建一个高鲁棒性的胃癌病理切片CAD模型是可行的，并且具有重要意义。目前，CAD在该领域上的研究还非常稀少。现存方法中主要是使用支持向量机(SupportVectorMachine,SVM)进行分类。Cosatto等人基于感兴趣区域(Regions-of-Interest,ROI)对每个胃癌病理切片的不同区域进行分割、标注，根据切片的颜色手动提取特征，构建训练集，然后使用多示例的方式进行半监督训练，使用SVM对样本进行分类。这些传统方法还是拥有一定的缺陷。首先，在进行病理图像分割以及特征提取时，会要求研究人员拥有相关领域的专业知识，否则很难对样本切片中的的形态学特征、纹理特征以及相关结构进行描述。同时，病理图像往往十分复杂，传统方法可能难以提取出有区分性的高质量特征，导致识别精度较为一般。
技术实现思路
本专利技术运用人工智能技术，实现基于深度学习的胃癌病理切片的识别，辅助医生临床诊断。首先收集胃癌病理切片真实数据集，经由专业医师进行数据标注，分析数据集质量，并进行数据增强与数据预处理。然后构建出高效提取出胃癌病理切片图像特征的卷积神经网络(ConvolutionalNeuralNetwork,CNN)，最终使用建立好的数据集对模型进行训练并测试，完成对胃癌病理切片的识别。本专利技术主要面对的问题有如下几点：1、高质量的胃癌病理图像十分珍贵，图像内容极其复杂，数据少、难度大，在训练过程中模型很容易出现过拟合的状况；2、图像尺寸较大，都在百万级像素，难以计算，直接进行分析识别会占用大量的计算资源，考虑到实际使用，模型必须有较高的识别效率以及较低的资源占用；3、一幅胃癌病例切片图像中可能有很大片的区域都是正常区域，这可能会干扰模型对患病特征的提取；4、在实际诊断过程中，医生与患者会更希望诊断时对患病样本有更细致的检测，以减少医疗事故，将病人误诊为正常人的损失远大于将正常人误诊为病人，因此模型要对患病的胃癌病理切片，即正样本有较高的敏感度。针对上述问题，本专利技术使用了一个121层稠密连接卷积神经网络(DenselyConnectedConvolutionalNetwork,DenseNet)进行图像的识别。DenseNet中的稠密块(DenseBlock)结构可以让网络的高层部分获取到浅层特征，很好地减轻过拟合现象。同时该模型层数较多，能拟合出更为复杂、更加光滑的决策函数。尽管层数很多，但该模型的参数数量并不多，很好地节约了资源占用。为进一步避免过拟合，本专利技术还采用了迁移学习的训练机制。模型会先在ImageNet数据集上进行预训练，让模型获得很强的图像特征提取能力，在正式训练时模型的主要优化就能更好地集中在如何提取患病区域的特征，极大地提高数据的利用效率。得力于该模型强大地特征提取能力，将输入图像压缩到了224×224的尺寸，大幅减少模型参数数量，加快计算。同时由于在ImageNet数据集上的预训练，胃癌切片数据集的数据分布越接近ImageNet数据集，则会有越好的训练成果，因此所有数据在进入模型前都使用了ImageNet数据集的平均值与方差进行标准化处理。训练时也对数据进行了随机的水平、竖直翻转以及15°的旋转进行数据增强。为了进一步强调图像中患病区域中所包含的信息，本方法将注意力机制引入DenseNet之中。医生在对病理切片进行诊断时也过多关注正常部分，而是会将更多精力集中于有患病嫌疑的区域。因此在模型的第一个、第二个、第三个稠密块之间的过渡层(TransitionLayer)后加入了注意力模块(AttentionModule)。进入该模块的特征图(FeatureMap)通过两次连续的上采样与下采样，即通过训练时的上下文自发地让模型学习特征图中每一点代表患病特征的概率，之后再根据概率大小加强特征图中的患病相关信息。两次上采样与下采样即先通过两次卷积操作以及池化操作增大感受野，压缩特征图，再通过两次反卷积操作以及上池化操作还原输入尺寸。在第一次上采样之后，其输出会通过一个跳跃式连接(SkipConnection)与第一次下采样的结果相加，这会促使网络从多个感受野提取信息。由于特征图在经过DenseNet的卷积结构之后会与原输入进行拼接，因此数据每经过一次卷积就会膨胀一次，很不利于特征图的压缩。因此本专利技术在注意力模块中改用ResNet的残差结构进行卷积，以此来继续保留底层部分中提取出的特征。本专利技术在训练过程中使用了交叉熵函数，为了增强模型对患病切片的敏感度，本专利技术在交叉熵函数中正样本的部分加上了一个大于1的权重。综上所述，基于深度学习胃癌病理切片的计算机辅助模型构建方法，该方法包括以下步骤：步骤1、构建一个121层的DenseNet模型，如图8所示，该模型的主干部分是由4个逐渐加深的稠密结构与4个过渡层交替拼接而成。其中的过渡层结构以及组成稠密结构的基本卷积结构分布如图2与图1。每个稠密结构内，每次卷积操作开始前，都会将之前每一次卷积的结果在通道方向上拼接，实现跳跃式的特征传递。模型的最后一层为一个Sigmoid单输出的全连接层，输出模型分类的结果。除最后一层外，所有层的参数均初始化为该模型结构在ImageNet数据集上预训练好的参数；步骤2、对胃癌病理切片数据集进行相关预处理；具体包括以下步骤：步骤2.1、将每张胃癌病理切片的图像使用二线性插值的方式压缩至224×224的尺寸；步骤2.2、使用ImageNet数据集的平均值与方差对胃癌病理切片数据集进行标准化处理；步骤2.3、将胃癌病理切片数据集中胃癌病本文档来自技高网...

【技术保护点】
1.基于深度学习胃癌病理切片的计算机辅助模型构建方法，其特征在于：该方法包括以下步骤：步骤1、构建一个121层的DenseNet模型，该模型的主干部分是由4个逐渐加深的稠密结构与4个过渡层交替拼接而成；每个稠密结构内，每次卷积操作开始前，都会将之前每一次卷积的结果在通道方向上拼接，实现跳跃式的特征传递；模型的最后一层为一个Sigmoid单输出的全连接层，输出模型分类的结果；除最后一层外，所有层的参数均初始化为该模型结构在ImageNet数据集上预训练好的参数；步骤2、对胃癌病理切片数据集进行相关预处理；具体包括以下步骤：步骤2.1、将每张胃癌病理切片的图像使用二线性插值的方式压缩至224×224的尺寸；步骤2.2、使用ImageNet数据集的平均值与方差对胃癌病理切片数据集进行标准化处理；步骤2.3、将胃癌病理切片数据集中胃癌病理切片图像随机地分为三组：训练集、验证集以及测试集，训练集中的数据占所有数据的80％，验证集与测试集中的数据占所有数据的80％；步骤3、使用预处理好的数据集对模型进行训练；步骤3具体包括以下步骤：步骤3.1、模型的训练算法调为使用标准的Adam优化算法对模型进行训练，损失函数设为在正样本部分添加了值1.5权重的交叉熵函数，训练时batch size为10；步骤3.2、训练时，胃癌病理切片图像进入模型前，有20％的几率会进行如下操作中的其中一种以进行数据增强：随机地进行水平、竖直翻转，以及15°的正时针或逆时针旋转，其中超出边界的点会被替换为白色，即胃癌病理切片的背景颜色；步骤3.3、模型在胃癌病理切片数据集上训练2个epoch，使其获得提取胃癌病理切片特征的基本能力；步骤3.4、在模型的第一个、第二个、第三个稠密块之间，添加注意力模块；继续训练60个epoch，让模型在接下来的训练过程中自发地将更多注意力集中于患病部分；在每训练一个epoch之后，让模型对验证集进行预测，同时记录模型预测的正确率；最终选择验证集损失值最小的模型作为最终结果；步骤3.5、保存最优模型，并使用测试集数据测量该模型分类的准确率。...

【技术特征摘要】
1.基于深度学习胃癌病理切片的计算机辅助模型构建方法，其特征在于：该方法包括以下步骤：步骤1、构建一个121层的DenseNet模型，该模型的主干部分是由4个逐渐加深的稠密结构与4个过渡层交替拼接而成；每个稠密结构内，每次卷积操作开始前，都会将之前每一次卷积的结果在通道方向上拼接，实现跳跃式的特征传递；模型的最后一层为一个Sigmoid单输出的全连接层，输出模型分类的结果；除最后一层外，所有层的参数均初始化为该模型结构在ImageNet数据集上预训练好的参数；步骤2、对胃癌病理切片数据集进行相关预处理；具体包括以下步骤：步骤2.1、将每张胃癌病理切片的图像使用二线性插值的方式压缩至224×224的尺寸；步骤2.2、使用ImageNet数据集的平均值与方差对胃癌病理切片数据集进行标准化处理；步骤2.3、将胃癌病理切片数据集中胃癌病理切片图像随机地分为三组：训练集、验证集以及测试集，训练集中的数据占所有数据的80％，验证集与测试集中的数据占所有数据的80％；步骤3、使用预处理好的数据集对模型进行训练；步骤3具体包括以下步骤：步骤3.1、模型的训练算法调为使用标准的Adam优化算法对模型进行训练，损失函数设为在正样本部分添加了值1.5权重的交叉熵函数，训练时batchsize为10；步骤3.2、训练时，胃癌病理切片图像进入模型前，有20％的几率会进行如下操作中的其中一种以进行数据增强：随机地进行水平、竖直翻转，以及15°的正时针或逆时针旋转，其中超出边界的点会被替换为白色，即胃癌病理切片的背景颜色；步骤3.3、模型在胃癌病理切片数据集上训练2个epoch，使其获得提取胃癌病理切片特征的基本能力；步骤3.4、在模型的第一个、第二个、第三个稠密块之间，添加注意力模块；继续训练60个epoch，让模型在接下来的训练过程中自发地将更多注意力集中于患病部分；在每训练一个epoch之后，让模型对验证集进行预测，同时记录模型预测的正确率；最终选择验证集损失值最小的模型作为最终结果；步骤3.5、保存最优模型，并使用测试集数据测量该模型分类的准确率。2.根据权利要求1所述的基于深度学习胃癌病理切片的计算机辅助模型构建方法，其特征在于：模型的整体训练平台是基于云端的，Keras框架搭建于Linux系统上,后端使用TensorFlow；训练的GPU为GTX1080，使用CUDA作为显卡计算的运算驱动，并使用cuDNN对深度学习进行加速。3.根据权利要求1所述的基于深度学习胃癌病理切片的计算机辅助模型...

【专利技术属性】
技术研发人员：刘博，赵业隆，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11