一种基于深度学习的食管癌病理图像处理方法技术

本发明专利技术的基于深度学习的食管癌病理图像处理方法，包括：a).病理切片扫描；b).圈注上皮区类型，将上皮区的正常区域、低级别和高级别癌前病变区域圈注出来；c).图像预处理，获取上皮小图像；d).卷积神经网络将每个上皮小图像沿其纵向均分为n个图像块，对每个图像块进行特征提取；e).长短期记忆网络LSTM，获取上皮小图像的特征向量；f).分类器分类；g).模型建立和调优，h).准确率计算。本发明专利技术的食管癌病理图像处理方法，经CNN、LSTM网络和分类器的处理后，获取每个上皮小图像为正常、低级别和高级别癌前病变类型的概率，为病理科食管癌全切片的科学利用提供了一种行之有效的数字图像处理方法，有益效果显著，适于应用推广。

A Pathological Image Processing Method for Esophageal Cancer Based on Deep Learning

The method of esophageal cancer pathological image processing based on in-depth learning includes: a). pathological section scanning; b). circle injection of epithelial area type, circle normal area, low-level a n d high-level precancerous lesion area of epithelial area; c). image preprocessing, obtain small epithelial image; d). Convolutional neural network divides each small epithelial image into n image blocks along its longitudinal direction, for each of them. Feature extraction of image blocks; e). LSTM, a long-term and short-term memory network, to obtain the feature vectors of small epithelial images; f). Classifier classification; g). Model establishment and optimization, h). Accuracy calculation. The method of pathological image processing for esophageal cancer of the present invention, after being processed by CNN, LSTM network and classifier, obtains the probability that each epithelial small image is normal, low-level and high-level precancerous lesion type, and provides an effective digital image processing method for scientific utilization of the whole section of esophageal cancer in pathology department, with remarkable beneficial effect, and is suitable for application and popularization.

【技术实现步骤摘要】
一种基于深度学习的食管癌病理图像处理方法
本专利技术涉及一种食管癌病理图像处理方法，更具体的说，尤其涉及一种的基于深度学习(CNN+LSTM)的食管癌病理图像处理方法。
技术介绍
食管癌(esophagealcancer,EC)是起源于食管黏膜上皮的消化道恶性肿瘤，全世界每年约有30万人死于食管癌。我国是世界上食管癌高发、高死亡率的国家之一，《中国肿瘤登记年报》2017年数据显示，食管癌居恶性肿瘤死亡率的第四位。目前我国超过90％的食管癌患者确诊时已进展至中晚期，预后较差，生活质量低，各分期食管癌总的5年生存率大概在14％左右，严重威胁着患者的身体健康和生命安全。而早期食管癌通常经内镜下微创治疗即可根治，取得与外科手术相当的疗效，患者5年生存率可超过95％。因此，对早期食管癌的临床表现及病理进行分析，做到早诊断、早治疗，是临床研究的重点之一，对提高生存率十分重要。随着医学成像设备的飞速发展和普及应用，医学病理图像数据开始呈现指数式增长，人工检查速度慢，人力物力耗费较大，而大数据、人工智能技术的飞速发展，使得深度学习技术在计算机视觉领域获得巨大成功。深度学习技术也成为解决医学图像分析任务的主要研究方向。在癌症诊断方面，深度学习已在皮肤癌、乳腺癌、胃癌、结肠癌等的病理诊断中取得一定成果，并能够从X光、CT扫描和MRI图像中发现病变异常，但是在食管癌癌前病变病理诊断中并没有进展。医院病理科存储有大量的食管癌全病理切片，这些食管癌病理切片就形成了食管癌病理样本，要运用这些样本来为食管癌的诊断和筛查提供科学的参考，以便辅助医生工作、提高癌前病变筛查精准度，就要对食管癌病理切片进行科学的图像分析，通过对图像进行有效的特征提取以区分正常与癌前病变，但目前还没有一种有效的图像处理方法可对病理科的现有食管癌切片进行有效处理。
技术实现思路
本专利技术为了克服上述技术问题的缺点，提供了一种基于深度学习的食管癌病理图像处理方法。本专利技术的基于深度学习的食管癌病理图像处理方法，其特征在于，具体通过以下步骤来实现：a).病理切片扫描，利用扫描仪对病理科足够数量的食管癌病理切片进行扫描，以获取食管癌的数字化病理图像；b).圈注上皮区类型，在步骤a)获取的食管癌数字化病理图像上，医生将上皮区的正常区域、低级别癌前病变区域和高级别癌前病变区域分别圈注出来，并在圈注区域添加对应的类型标签；c).图像预处理，为了降低病理切片染色和扫描过程的影响，首先对食管癌数字化病理图像进行染色标准化处理；然后，将上皮区的每个圈注区域按照“基底层位于下方、上皮层位于上方”进行方向调整，再将每个圈注区域沿横向切分为若干小图像，记为上皮小图像；最后，将有效信息不足的上皮小图像丢弃掉，余下的上皮小图像划归为训练集、验证集和测试集；d).卷积神经网络CNN的特征提取，卷积神经网络的数据输入层将上皮小图像沿其纵向均分为n个图像块，并按照从基底层至上皮层的方向顺序对图像块依次进行1至n的编号；卷积层把每个上皮小图像的n个图像块均作为独立的图像，对每个图像块进行特征提取；e).长短期记忆网络LSTM的特征提取，基底层与上皮层之间具有强关联性，同一上皮小图像的n个图像块中相邻编号的图像块之间具有强链接，利用长短期记忆网络LSTM提取同一上皮小图像中两相邻图像块之间的隐含关系；对于同一上皮小图像，经长短期记忆网络LSTM后，获取行列为1×3的特征向量；f).分类器分类，经步骤e)中获取的1×3的特征向量经过分类器分类，得到每个上皮小图像判别为正常区域、低级别癌前病变区域或高级别癌前病变区域的概率，并以最高概率对应的类型作为该图像的判别类型；g).模型建立和调优，步骤d)、e)和f)是持续迭代调优的过程，在模型建立时，设置loss值和模型的迭代次数，利用训练集中的图像数据建立模型，并利用验证集中的图像数据对卷积神经网络CNN和长期段记忆网络LSTM的参数持续调整，直到模型的loss值和迭代次数达到设定的阈值为止；h).准确率计算，在模型训练完成之后，利用测试集中的上皮小图像，统计圈注的类型与判别类型相一致的概率，即为模型的精度。本专利技术的基于深度学习的食管癌病理图像处理方法，步骤c)中的图像预处理通过以下步骤来实现：c-1).染色标准化处理，在H&E染色过程和数字化过程中，不同的实验室和不同的扫描仪会使得数字化病理图像颜色不一，或浅或深、或紫或粉，通过染色标准化将原始的病理切片图像的颜色统一，以提高模型的泛化水平；c-2).圈注区域的切分，由于医生圈注的区域大小不一，因此需要对圈注区域进行切分处理，以获取尺寸一致的上皮小图像，作为CNN网络模型的输入；圈注区域的切分通过以下步骤来实现：c-2-1).调整圈注区域方向，利用梯度信息，将圈注区域图像的方向做调整，使得调整后的每个圈注区域的下方是基底层、上方是上皮层；c-2-2).圈注图像切分，为统一输入图像的尺寸并增加训练样本的数量，按照50％的重复率，将调整方向后的圈注区域沿横向切分为高×宽为640像素×300像素的多个小图像，小图像记为上皮小图像；c-2-3).图像底部微调，找到每个上皮小图像中基底层最下方的像素点位置，以该位置为图像底部的初始像素点位置，使得所有上皮小图像的基底层都紧贴图像底部，丢弃图像底部的空白区域；c-2-4).图像上部微调，经过步骤c-2-3)得到的上皮小图像中的有效信息一般位于图像的中下部，上部留有空白区域，为降低空白区域对整体模型的影响，以最下方像素点向上数515个像素点作为最终的图像尺寸，即上皮小图像的尺寸调整为高×宽为515像素×300像素；c-3).图像过滤处理，为保证输入图像的有效信息足够，将切分形成的上皮小图像进行滤波，丢弃有效信息不足60％的图像，保留有效信息超过60％的图像，作为最终模型的输入图像。本专利技术的基于深度学习的食管癌病理图像处理方法，步骤d)中的卷积神经网络CNN的特征提取，按照数据处理的前后顺序依次包括数据输入层、3个卷积层、1个池化层、1个局部响应归一化层、2个卷积层、1个池化层、1个局部响应归一化层；数据输入层将图像预处理输出的515像素×300像素的上皮小图像，沿纵向均分为5个高×宽为103像素×300的图像块，并按照从基底层到上皮层的方向顺序对图像块从1到5进行编号；卷积层把同一上皮小图像的5个图像块均看作独立的图像进行特征提取，每个卷积层按照公式(1)提取图像块的特征，式中，l标示当前卷积所处的卷积层数，表示连接第l-1层的第i个特征图像和第l层的第j特征图像的卷积核，为第l层的第j个特征图像，为第l-1层的第i个特征图像，表示第l层的偏置项，f()表示非线性激活函数；5个卷积层的卷积核分别设置为11×11、1×7、7×1、3×3、1×1，非线性激活函数均使用ReLU，第一层卷积层的步幅设置为2，其余卷积层的步幅均设置为1；2层池化层均采用max_pooling方式，局部感受野均为3×3，步幅均为2；2个局部响应归一化层的学习率和迭代次数分别设置为0.00001和60次。本专利技术的基于深度学习的食管癌病理图像处理方法，步骤e)所述的长短期记忆网络LSTM的特征提取通过公式(2)和公式(3)来实现：ht＝ot⊙tanh(Ct)(3)其中，ht-1表示上一个记本文档来自技高网...

【技术保护点】
1.一种基于深度学习的食管癌病理图像处理方法，其特征在于，具体通过以下步骤来实现：a).病理切片扫描，利用扫描仪对病理科足够数量的食管癌病理切片进行扫描，以获取食管癌的数字化病理图像；b).圈注上皮区类型，在步骤a)获取的食管癌数字化病理图像上，医生将上皮区的正常区域、低级别癌前病变区域和高级别癌前病变区域分别圈注出来，并在圈注区域添加对应的类型标签；c).图像预处理，为了降低病理切片染色和扫描过程的影响，首先对食管癌数字化病理图像进行染色标准化处理；然后，将上皮区的每个圈注区域按照“基底层位于下方、上皮层位于上方”进行方向调整，再将每个圈注区域沿横向切分为若干小图像，记为上皮小图像；最后，将有效信息不足的上皮小图像丢弃掉，余下的上皮小图像划归为训练集、验证集和测试集；d).卷积神经网络CNN的特征提取，卷积神经网络的数据输入层将上皮小图像沿其纵向均分为n个图像块，并按照从基底层至上皮层的方向顺序对图像块依次进行1至n的编号；卷积层把每个上皮小图像的n个图像块均作为独立的图像，对每个图像块进行特征提取；e).长短期记忆网络LSTM的特征提取，基底层与上皮层之间具有强关联性，同一上皮小图像的n个图像块中相邻编号的图像块之间具有强链接，利用长短期记忆网络LSTM提取同一上皮小图像中两相邻图像块之间的隐含关系；对于同一上皮小图像，经长短期记忆网络LSTM后，获取行列为1×3的特征向量；f).分类器分类，经步骤e)中获取的1×3的特征向量经过分类器分类，得到每个上皮小图像判别为正常区域、低级别癌前病变区域或高级别癌前病变区域的概率，并以最高概率对应的类型作为该图像的判别类型；g).模型建立和调优，步骤d)、e)和f)是持续迭代调优的过程，在模型建立时，设置loss值和模型的迭代次数，利用训练集中的图像数据建立模型，并利用验证集中的图像数据对卷积神经网络CNN和长期段记忆网络LSTM的参数持续调整，直到模型的loss值和迭代次数达到设定的阈值为止；h).准确率计算，在模型训练完成之后，利用测试集中的上皮小图像，统计圈注的类型与判别类型相一致的概率，即为模型的精度。...

【技术特征摘要】
1.一种基于深度学习的食管癌病理图像处理方法，其特征在于，具体通过以下步骤来实现：a).病理切片扫描，利用扫描仪对病理科足够数量的食管癌病理切片进行扫描，以获取食管癌的数字化病理图像；b).圈注上皮区类型，在步骤a)获取的食管癌数字化病理图像上，医生将上皮区的正常区域、低级别癌前病变区域和高级别癌前病变区域分别圈注出来，并在圈注区域添加对应的类型标签；c).图像预处理，为了降低病理切片染色和扫描过程的影响，首先对食管癌数字化病理图像进行染色标准化处理；然后，将上皮区的每个圈注区域按照“基底层位于下方、上皮层位于上方”进行方向调整，再将每个圈注区域沿横向切分为若干小图像，记为上皮小图像；最后，将有效信息不足的上皮小图像丢弃掉，余下的上皮小图像划归为训练集、验证集和测试集；d).卷积神经网络CNN的特征提取，卷积神经网络的数据输入层将上皮小图像沿其纵向均分为n个图像块，并按照从基底层至上皮层的方向顺序对图像块依次进行1至n的编号；卷积层把每个上皮小图像的n个图像块均作为独立的图像，对每个图像块进行特征提取；e).长短期记忆网络LSTM的特征提取，基底层与上皮层之间具有强关联性，同一上皮小图像的n个图像块中相邻编号的图像块之间具有强链接，利用长短期记忆网络LSTM提取同一上皮小图像中两相邻图像块之间的隐含关系；对于同一上皮小图像，经长短期记忆网络LSTM后，获取行列为1×3的特征向量；f).分类器分类，经步骤e)中获取的1×3的特征向量经过分类器分类，得到每个上皮小图像判别为正常区域、低级别癌前病变区域或高级别癌前病变区域的概率，并以最高概率对应的类型作为该图像的判别类型；g).模型建立和调优，步骤d)、e)和f)是持续迭代调优的过程，在模型建立时，设置loss值和模型的迭代次数，利用训练集中的图像数据建立模型，并利用验证集中的图像数据对卷积神经网络CNN和长期段记忆网络LSTM的参数持续调整，直到模型的loss值和迭代次数达到设定的阈值为止；h).准确率计算，在模型训练完成之后，利用测试集中的上皮小图像，统计圈注的类型与判别类型相一致的概率，即为模型的精度。2.根据权利要求1所述的基于深度学习的食管癌病理图像处理方法，其特征在于，步骤c)中的图像预处理通过以下步骤来实现：c-1).染色标准化处理，在H&E染色过程和数字化过程中，不同的实验室和不同的扫描仪会使得数字化病理图像颜色不一，或浅或深、或紫或粉，通过染色标准化将原始的病理切片图像的颜色统一，以提高模型的泛化水平；c-2).圈注区域的切分，由于医生圈注的区域大小不一，因此需要对圈注区域进行切分处理，以获取尺寸一致的上皮小图像，作为CNN网络模型的输入；圈注区域的切分通过以下步骤来实现：c-2-1).调整圈注区域方向，利用梯度信息，将圈注区域图像的方向做调整，使得调整后的每个圈注区域的下方是基底层、上方是上皮层；c-2-2).圈注图像切分，为统一输入图像的尺寸并增加训练样本的数量，按照50％的重复率，将调整方向后的圈注区域沿横向切分为高×宽为640像素×300像素的多个小图像，小图像记为上皮小图像；c-2-3).图像底部微调，找到每个上皮小图像中基底层最下方的像素点位置，以该位置为图像底部的初始像素点位置，使得所有上皮小图像的基底层都紧贴图像底部，丢弃图像底部的空白区域；c-2-4).图像上部微调，经过步骤c-...

【专利技术属性】
技术研发人员：葛菁，武鲁，赵志刚，王迪，李娜，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：山东,37