一种跨倍率病理图像特征学习方法技术

本发明专利技术公开了一种跨倍率病理图像特征学习方法，具体包括以下步骤：用切片扫描仪将病理切片扫描到电子计算中，将病理图像在RGB颜色空间中进行表示，得到RGB病理图像；利用所述RGB病理图像，建立CNN模型训练数据集；建立跨分辨率病理图像特征的学习网络结构，对所述CNN模型训练数据集进行训练，得到病理图像特征；利用所述病理图像特征进行病理图像辅助诊断。一种跨倍率病理图像特征学习方法，不仅摆脱对高倍率病理图像的依赖，又不增加CNN计算量，且能满足辅助诊断精度。

【技术实现步骤摘要】
一种跨倍率病理图像特征学习方法
本专利技术涉及图像处理与机器学习领域，更具体的说是涉及一种跨倍率病理图像特征学习方法。
技术介绍
数字病理全切片是通过专用的扫描成像系统将病理切片转换为可供计算机显示、传输及处理的高倍率大规模数字图像。随着数字病理图像成像技术不断成熟，基于数字病理图像的计算机辅助诊断方法发展迅速。近年来，以卷积神经元网络(convolutionalneuralnetwork，CNN)为代表的机器学习方法成为了病理图像特征提取与分析的主流方法。根据现有研究，基于高倍率数字病理图像(如40倍)建立的CNN模型比低倍率(如10倍)下建立的模型有更好的分析精度。然而在高倍率下分析数字病理图像的计算量较低，分辨率高出几倍甚至几十倍，导致辅助诊断时间达不到临床需求。另外，降低算法对高倍率数字病理图像的依赖可以有效的缩短辅助诊断时长，但一般情况下，降低分析倍率会明显降低辅助诊断精度。近期，学者提出了基于生成对抗网络的图像超分辨率重建方法，较大程度上的改善了传统的超分辨率重建方法的效果。虽然该方案降低了对扫描倍率的要求，减少了扫描时间，但是该方案不能减少基于CNN的病理图像特征提取模型的计算量，引入的超分辨率重建部分反而增加了计算量。因此，如何提供一种不依赖高倍率病理图像，又不增加CNN计算量，且能满足辅助诊断精度的病理图像特征学习方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种跨倍率病理图像特征学习方法，不仅摆脱对高倍率病理图像的依赖，又不增加CNN计算量，且能满足辅助诊断精度。为了实现上述目的，本专利技术提供如下技术方案：一种跨倍率病理图像特征学习方法，具体包括以下步骤：S1：用切片扫描仪将病理切片扫描到电子计算中，将病理图像在RGB颜色空间中进行表示，得到RGB病理图像；S2：利用所述RGB病理图像，建立CNN模型训练数据集；S3：建立跨分辨率病理图像特征的学习网络结构，对所述CNN模型训练数据集进行训练，得到病理图像特征；S4：利用所述病理图像特征进行病理图像辅助诊断。本专利技术的技术效果：不仅摆脱对高倍率病理图像的依赖，又不增加CNN计算量，且能满足辅助诊断精度。优选的，在上述的一种跨倍率病理图像特征学习方法中，S1具体步骤包括：数字病理切片是由切片扫描仪将病理切片扫描并存储在计算机中的病理图像，并通过通道分解获取图像每个像素点在R、G、B三个通道的像素值，从而获得了图像的数据信息，这些数据信息是基于病理图像的辅助诊断方法的基础，用到公式如下：其中Ir(x,y)、Ig(x,y)、Ib(x,y)分别表示有雾图像I(x,y)红绿蓝三个颜色通道。本专利技术的技术效果：通过通道分解获取图像每个像素点在R、G、B三个通道的像素值，从而获得了图像的数据信息，为辅助诊断提供基础。优选的，在上述的一种跨倍率病理图像特征学习方法中，S2具体步骤包括：由病理专家筛选适合开发辅助诊断方法的病例，并对病例包含的病理切片中的病变区域进行标注；根据病理专家的标注，在病理切片中裁取带标签的子区域图像，组成训练数据集，用集合X＝{I1,I2,…,IK}表示，其中Ik表示数据集中第k个子区域图像，K表示数据集中图像总数。优选的，在上述的一种跨倍率病理图像特征学习方法中，在S2中建立所述CNN模型训练数据集时建立不同倍率的所述CNN模型训练数据集，高倍率病理图像数据集表示为Xhigh，低倍率病理图像数据集记为Xlow。本专利技术的技术效果：建立不同倍率的数字病理数据集，摆脱对高倍率病理图像的依赖，利用不同倍率的数字病理图像，训练后以满足辅助诊断精度要求。优选的，在上述的一种跨倍率病理图像特征学习方法中，在S3中所述学习网络包括：高倍率特征提取网络、跨倍率特征提取网络、和低倍率特征提取网络；所述高倍率特征提取网络用于训练过程；所述跨倍率特征提取网络和所述低倍率特征提取网络用于进行辅助诊断；其中具体步骤包括：S31：在高倍率病理图像数据集中训练高倍率特征提取网络；S32：利用生成对抗网络训练跨倍率特征提取网络；S33：在低倍率病理图像数据集训练低倍率特征提取网络。本专利技术的技术效果：训练CNN模型包括对高倍率特征提取网络、跨倍率特征提取网络和低倍率特征提取网络的训练，通过学习能够得到依靠低分倍率图像提取出依靠高倍率病理图像提取高质量病理图像特征。优选的，在上述的一种跨倍率病理图像特征学习方法中，S31具体步骤包括：利用高倍率数据集Xhigh训练基于CNN的高倍率病理特征提取模，在高倍率特征提取网络末端添加预测层，添加预测层的高倍率特征提取网络是一个标准的CNN图像分类模型，通过建立预测层和样本标签间建立交叉熵损失函数，利用基于梯度下降法的优化算法(如SGD，SGDM，Adam等)进行迭代训练，直至模型收敛或达到满意效果。将训练完成后的模型记为Fhigh；摘除预测层后，得到高倍率特征提取网络，用于提取所述高质量病理图像特征，在高倍率数据集Xhigh上提取的高质量病理图像特征的过程由以下公式表示：Ahigh＝Fhigh(Xhigh)，其中，Ahigh为在数据集Xhigh提取的高质量病理图像特征，提取后供下述步骤使用。需要了解的是：生成对抗网络(generativeadversarialnetwork，GAN)是近年兴起的一种产生式模型，GAN由一个生成器G(z)和一个判别器D(x)组成，生成器G(z)负责从噪声z中生成“伪造样本”x’，判别器D(x)用于对真实样本x和G生成的伪造样本x’进行辨别，交替训练G(z)和D(x)，可使G(z)生成的样本不断接近真实样本，同时不断提高D(x)判别伪造本和真实样本的能力，最终获得能够生成与真实样本分布几乎一致的样本生成器G(z)。优选的，在上述的一种跨倍率病理图像特征学习方法中，S32具体步骤包括：将跨倍率特征提取网络作为生成器G，并使用低倍率病理图像代替随机噪声作为生成器G的输入，判别器D采用生成对抗网络模型中判别器，包括但不限于CGAN，ACGAN，BEGAN等方法中介绍的判别器；利用生成对抗模型的训练方法完成训练，推荐使用BEGAN模型，BEGAN模型的判别器为自编码网络，使用重建误差构建目标函数，这使生成器G输出的特征更专注于图像内容的描述。，训练后得到生成器G，即跨倍率特征提取网络，使用跨倍率特征提取网络提取从低倍率病理图像提取的特征即为所述跨倍率特征，用公式表示为：Asr＝G(Xlow)其中Asr表示跨倍率特征，提取Asr供以下步骤使用。优选的，在上述的一种跨倍率病理图像特征学习方法中，S33具体步骤包括：建立低倍率特征提取网络，用Flow表示，用Flow提取低倍率特征可用如下公式表示：Alow＝Flow(Xlow)，其中Alow表示网络C输出的低倍率特征；将跨倍率特征提取网络和低倍率特征提取网络在特征层以级联的方式进行合并，得到最终特征提取网络Ffinal；利用图像标签对低倍率特征提取网络进行训练，在最终特征提取网络Ffinal末端添加预测层，训练方法与CNN常规训练方法相同；训练后利用最终特征提取网络Ffinal提取病理图像特征公式表示为：Afinal＝Ffinal(Xlow)。本专利技术的技术效果：最终特征提取网络Ffinal融合了跨倍率特征，与Flow相比，有更本文档来自技高网...

【技术保护点】
1.一种跨倍率病理图像特征学习方法，其特征在于，具体包括以下步骤：S1：用切片扫描仪将病理切片扫描到电子计算中，将病理图像在RGB颜色空间中进行表示，得到RGB病理图像；S2：利用所述RGB病理图像，建立CNN模型训练数据集；S3：建立跨分辨率病理图像特征的学习网络结构，对所述CNN模型训练数据集进行训练，得到病理图像特征；S4：利用所述病理图像特征进行病理图像辅助诊断。

【技术特征摘要】
1.一种跨倍率病理图像特征学习方法，其特征在于，具体包括以下步骤：S1：用切片扫描仪将病理切片扫描到电子计算中，将病理图像在RGB颜色空间中进行表示，得到RGB病理图像；S2：利用所述RGB病理图像，建立CNN模型训练数据集；S3：建立跨分辨率病理图像特征的学习网络结构，对所述CNN模型训练数据集进行训练，得到病理图像特征；S4：利用所述病理图像特征进行病理图像辅助诊断。2.根据权利要求1所述一种跨倍率病理图像特征学习方法，其特征在于，在S1中具体步骤包括：数字病理切片是由切片扫描仪将病理切片扫描并存储在计算机中的病理图像，并通过通道分解获取图像每个像素点在R、G、B三个通道的像素值，获得RGB病理图像的数据信息，用到公式如下：其中Ir(x,y)、Ig(x,y)、Ib(x,y)分别表示有雾图像I(x,y)红绿蓝三个颜色通道。3.根据权利要求1所述一种跨倍率病理图像特征学习方法，其特征在于，在S2中具体步骤包括：由病理专家筛选适合开发辅助诊断方法的病例，并对病例包含的病理切片中的病变区域进行人工标注，在病理切片中勾画出病变区域；根据病理专家的标注，在病理切片中裁取带标签的子区域图像，组成训练数据集，用集合X＝{I1,I2,…,IK}表示，其中Ik表示数据集中第k个子区域图像，K表示数据集中图像总数。4.根据权利要求1所述一种跨倍率病理图像特征学习方法，其特征在于，在S2中建立所述CNN模型训练数据集时建立不同倍率的所述CNN模型训练数据集，高倍率病理图像数据集表示为Xhigh，低倍率病理图像数据集记为Xlow。5.根据权利要求1所述一种跨倍率病理图像特征学习方法，其特征在于，在S3中所述学习网络包括：高倍率特征提取网络、跨倍率特征提取网络、和低倍率特征提取网络；所述高倍率特征提取网络用于训练过程；所述跨倍率特征提取网络和所述低倍率特征提取网络用于进行辅助诊断；其中具体步骤包括：S31：在高倍率病理图像数据集中训练高倍率特征提取网络；S32：利用生成对抗网络训练跨倍率特征提取网络；S33：在低倍率病理图像数据集训练低倍率特征提取网络。6.根据权利要求5所述一种跨倍率病理图像特征学习方法，其特征在于，在S31中具体步骤包括：利用高倍率数据集Xhigh训练基于CNN的高倍率病理特征提取模，在高倍率特征提取网络末端添加...

【专利技术属性】
技术研发人员：姜志国，张浩鹏，郑钰山，谢凤英，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11