一种基于多阶段信息抽取和记忆的病理图像分类方法技术

本发明专利技术公开了一种基于多阶段信息抽取和记忆的病理图像分类方法，包括以下步骤：S1、将病理图像分割出细胞核；S2、利用自然图像预训练权重对细胞核进行特征提取；S3、利用K近邻算法生成细胞核间边连接，将病理图像建模成一张细胞图数据；S4、对细胞图进行卷积，利用TopK抽取代表节点构成新细胞图；S5、将每一阶段细胞图利用LSTM进行记忆学习，将最终细胞图池化进行病理图像分类；该方法可有效解决图神经网络学习过程中存在的信息冗余问题，同时通过利用LSTM进行记忆学习，使得深层次网络也可以保留浅层次信息，有效提高了对病理图像分类的性能，分类准确性高。分类准确性高。分类准确性高。

【技术实现步骤摘要】
一种基于多阶段信息抽取和记忆的病理图像分类方法


[0001]本专利技术涉及生物学
，具体涉及一种基于多阶段信息抽取和记忆的病理图像分类方法。

技术介绍

[0002]医学病理图像是许多疾病诊断分析的金标准，随着社会的发展，癌症的发病率呈现出年轻化的趋势，利用病理图像进行早期的癌症筛查显得至关重要。随着深度学习计算机视觉领域的发展，越来越多研究者将人工智能技术应用在医学病理图像上，辅助医生对癌症进行早期筛查。由于病理图像分辨率巨大，部分病理图像分辨率可达100000
×
100000，无法使用传统的卷积网络处理病理图像，虽然可以将病理图像切分成为互不重叠的小图片，然后对这些小图片进行分析，但是这种直接对病理图像进行暴力切分的做法没有考虑图片的完整的语义信息。
[0003]对于病理图像分析很大程度参考的是病理图像中细胞核的特征，根据细胞核的形态、大小、颜色等特征判断病人的癌症种类。直接暴力切分病理图像会破坏完整的语义信息，为了解决这一问题，可以将病理图像细胞核进行分割，将病理图像的细胞核作为图节点，潜在连接关系作为边，将病理图像用图数据建模，利用图神经网络进行病理图像分类。在图神经网络学习的过程，随着网络的加深，存在部分节点信息冗余问题，同时也存在信息丢失的问题，导致病理图像分类准确性较差，较难满足人们的使用需求。

技术实现思路

[0004]本专利技术的目的在于提供一种基于多阶段信息抽取和记忆的病理图像分类方法，该基于多阶段信息抽取和记忆的病理图像分类方法可以有效的解决图神经网络学习过程中存在的信息冗余问题，同时为了缓解随着网络深度加深，深层次网络比较会丢失比较多浅层次网络信息这一问题，通过利用LSTM进行记忆学习，使得深层次网络也可以保留浅层次信息，有效提高了对病理图像分类的性能，分类准确性高。
[0005]为实现上述目的，本专利技术采用以下技术方案：一种基于多阶段信息抽取和记忆的病理图像分类方法，包括以下步骤：S1、将病理图像分割出细胞核；S2、利用自然图像预训练权重对细胞核进行特征提取；S3、利用K近邻算法生成细胞核间边连接，将病理图像建模成一张细胞图数据；S4、对细胞图进行卷积，利用TopK抽取代表节点构成新细胞图；S5、将每一阶段细胞图利用LSTM进行记忆学习，将最终细胞图池化进行病理图像分类。
[0006]优选地，步骤S1的具体过程为：S11、将一张病理图像利用Hover
‑
net网络分割出细胞，得到细胞核；S12、以细胞核为质心进行周围的膨胀，得到以细胞核为中心的细胞核图像，图像
大小为224
×
224。
[0007]优选地，步骤S2的具体过程为：S21、将自然图像预训练好的权重加载到ResNet
‑
34网络，得到中间层512维度特征，并以512维度的特征作为细胞核节点图像特征；S22、将细胞核节点特征利用图神经网络Pytorch Geometric进行封装。
[0008]优选地，步骤S3的具体过程为：S31、对于每一个节点找到欧式距离内最近的5个点作为邻居，每一个细胞核节点以相同的方法和邻居节点构建边的连接关系；S32、将细胞核节点边的连接关系利用图神经网络Pytorch Geometric进行封装，得到一张完整的图数据，该图数据即为细胞图，完成将病理图像转化为图数据。
[0009]优选地，步骤S4的具体过程为：S41、将细胞图利用GCN卷积进行特征提取，所述GCN卷积的公式为：其中，i 指当前节点，j 指i节点的所有邻居节点，指特征所在的层数，指第层可学习参数矩阵，指节点的邻居在第层的节点特征，指节点邻居个数，指激活函数，指节点聚合邻居之后特征；S42、将每一阶段卷积之后的细胞图利用TopK抽取代表节点，新的代表节点构成新的细胞图。
[0010]优选地，步骤S5的具体过程为：将每一阶段的细胞图利用长短期记忆网络LSTM进行记忆学习，通过长短期记忆网络LSTM记忆每一阶段细胞图的信息，实现时间顺序的信息融合，并将学习后的细胞图进行平局池化用于病理图像分类。
[0011]采用上述技术方案后，本专利技术具有如下有益效果：1、本专利技术将一张病理图像制作成细胞图，利用图神经网络对病人图像进行学习，在学习的过程中利用TopK进行节点抽取，将图数据的信息在训练过程中提纯，解决大分辨率病理图像数据冗余的问题，有效提高了对病理图像分类的性能，分类准确性高。
[0012]2、本专利技术在图神经网络学习的过程中利用LSTM进行记忆学习，随着网络深度的增加，深层次的网络会丢失浅层次网络的特征，造成有效的信息丢失，利用LSTM学习每一个阶段的细胞图，可将每一阶段的信息进行融合记忆，减少信息丢失。
[0013]3、本专利技术采用病理数据和网络设计两方面提升病理图像分类性能，将数据学习在每一个阶段进行信息的提纯，为了解决信息在随着图神经网络卷积的进行导致丢失，在时间维度上进行信息记忆，有效提高了对病理图像分类的性能，分类准确性高。
附图说明
[0014]图1为本专利技术的流程图；图2为本专利技术的病理图像分割出细胞核以及边构建示意图；图3为本专利技术的多阶段信息抽取和记忆模型的结构框图；图4为本专利技术的多阶段信息抽取和记忆模型的流程框图。
具体实施方式
[0015]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0016]如图1至图4所示，一种基于多阶段信息抽取和记忆的病理图像分类方法，包括以下步骤：S1、将病理图像分割出细胞核；步骤S1的具体过程为：S11、将一张病理图像利用Hover
‑
net网络分割出细胞，得到细胞核；S12、以细胞核为质心进行周围的膨胀，得到以细胞核为中心的细胞核图像，图像大小为224
×
224；S2、利用自然图像预训练权重对细胞核进行特征提取；步骤S2的具体过程为：S21、将自然图像预训练好的权重加载到ResNet
‑
34网络，得到中间层512维度特征，并以512维度的特征作为细胞核节点图像特征；S22、将细胞核节点特征利用图神经网络Pytorch Geometric进行封装；S3、利用K近邻算法生成细胞核间边连接，将病理图像建模成一张细胞图数据；步骤S3的具体过程为：S31、对于每一个节点找到欧式距离内最近的5个点作为邻居，每一个细胞核节点以相同的方法和邻居节点构建边的连接关系；S32、将细胞核节点边的连接关系利用图神经网络Pytorch Geometric进行封装，得到一张完整的图数据，该图数据即为细胞图，完成将病理图像转化为图数据；S4、对细胞图进行卷积，利用TopK抽取代表节点构成新细胞图；步骤S4的具体过程为：S41、将细胞图利用GCN卷积进行特征提取，所述GCN卷积的公式为：其中，i 指当前节点，j 指i节点的所有邻居节点，指特征所在的层数，指第层可学习参数矩阵，指节点的邻居在第层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段信息抽取和记忆的病理图像分类方法，其特征在于，包括以下步骤：S1、将病理图像分割出细胞核；S2、利用自然图像预训练权重对细胞核进行特征提取；S3、利用K近邻算法生成细胞核间边连接，将病理图像建模成一张细胞图数据；S4、对细胞图进行卷积，利用TopK抽取代表节点构成新细胞图；S5、将每一阶段细胞图利用LSTM进行记忆学习，将最终细胞图池化进行病理图像分类。2.如权利要求1所述的一种基于多阶段信息抽取和记忆的病理图像分类方法，其特征在于，步骤S1的具体过程为：S11、将一张病理图像利用Hover
‑
net网络分割出细胞，得到细胞核；S12、以细胞核为质心进行周围的膨胀，得到以细胞核为中心的细胞核图像，图像大小为224
×
224。3.如权利要求2所述的一种基于多阶段信息抽取和记忆的病理图像分类方法，其特征在于，步骤S2的具体过程为：S21、将自然图像预训练好的权重加载到ResNet
‑
34网络，得到中间层512维度特征，并以512维度的特征作为细胞核节点图像特征；S22、将细胞核节点特征利用图神经网络Pytorch Geometric进行封装。4.如权利要求3所述的一种基于...

【专利技术属性】
技术研发人员：黄和龙，王连生，
申请(专利权)人：厦门大学，
类型：发明
国别省市：