基于图卷积神经网络构建三阶段的图像处理方法技术

本发明专利技术属于图像处理领域，具体涉及一种基于图卷积神经网络构建三阶段的图像处理方法。本发明专利技术采用的是一个三阶段的算法框架，首先利用传统金字塔网络对感兴趣区进行特征提取，接着对slices构建图结构，并利用GCN对节点进行分类，最后单独的节点特征与slices的全局上下文信息融合通过GCN完成分类预测和回归预测。本发明专利技术公开的一种基于图卷积神经网络构建三阶段的图像处理方法旨在解决对特殊节点造成漏检，使得检测精度不高的问题；另外，本发明专利技术利用单独的节点特征与slices的全局上下文信息融合，充分考虑了各节点的三维空间信息的联系。

【技术实现步骤摘要】
基于图卷积神经网络构建三阶段的图像处理方法
本专利技术属于图像处理领域，具体涉及一种基于图卷积神经网络的肺结节检测装置的建立方法。
技术介绍
在肺结节检测中，常用的深度学习方法有二维卷积神经网络(2D-CNN)、三维卷积神经网络(3D-CNN)和更快速的区域卷积神经网络(FasterR-CNN)。Setio等提出了基于多视角的2D-CNN，将其应用于肺结节的检测中。为避免漏诊，对该网络的第一步提高了灵敏度，但出现了大量假阳性结节，因此需要在第二步进行假阳性去除操作。此网络结构分为两个部分：第一部分由3个探测器对结节进行检测，确定可疑候选结节；第二部分由包含卷积层、最大池化层的2D-CNN和另一个包含全卷积层和softmax层的2D-CNN组成，首先在每个平面上均训练一个2D-CNN，对于每个检测到的候选结节，提取9个不同方向平面上的信息，用于肺结节的假阳性去除操作；将结果输入到4种不同的融合方法中，比较不同融合方法对结构性能的影响。3D-CNN是在2D-CNN的基础上改进的卷积神经网络，2D-CNN的卷积核是二维的，而3D-CN本文档来自技高网...

【技术保护点】
1.一种基于图卷积神经网络构建三阶段的图像处理方法，其特征在于，具体步骤如下：/nCT图像检测出感兴趣区，利用金字塔网络对所述感兴趣区进行特征提取，得到节点特征；/n对所述感兴趣区的slices构建图结构，由所述图结构得到邻接矩阵和特征矩阵；/n对GCN进行训练：将所述邻接矩阵和特征矩阵输入到所述GCN中，对所述图结构中节点根据所述节点特征分类，所述节点分为第一节点和第二节点；/n所述第一节点的所述节点特征与所述slices的全局上下文信息融合，通过所述GCN进行分类预测和回归预测。/n

【技术特征摘要】
1.一种基于图卷积神经网络构建三阶段的图像处理方法，其特征在于，具体步骤如下：
CT图像检测出感兴趣区，利用金字塔网络对所述感兴趣区进行特征提取，得到节点特征；
对所述感兴趣区的slices构建图结构，由所述图结构得到邻接矩阵和特征矩阵；
对GCN进行训练：将所述邻接矩阵和特征矩阵输入到所述GCN中，对所述图结构中节点根据所述节点特征分类，所述节点分为第一节点和第二节点；
所述第一节点的所述节点特征与所述slices的全局上下文信息融合，通过所述GCN进行分类预测和回归预测。


2.根据权利要求1所述的一种基于图卷积神经网络构建三阶段的图像处理方法，其特征在于，
对所述GCN进行训练是由所述GCN从所述图结构中提取特征，利用获得的所述节点特征来实现节点分类任务，所述节点分类任务具体步骤如下：
取所述slices数据，其中有N个所述节点；
把所述节点特征组成一个N×D维的矩阵X，其中，D为所述节点的特征个数，所述矩阵X是特征矩阵，X∈RN×D，Xi∈RD是第i节点的特征；Xij表示所述矩阵X的第i行第j列，即第i节点的第j个特征；
把各个所述节点之间的关系组成一个N×N维的矩阵A，所述矩阵A是邻接矩阵；
将X和A作为输入，得到所述GCN在层与层之间的传播公式为：



在等式中，其中I是单位矩阵；A本身包含了图中每个节点与相邻节点的连接信息，加上I之后，运算操作既包含所述节点自身的信息还包含所述相邻节点的信息；是顶点的度矩阵，对角线上元素值为每个顶点的度，对角线以外元素的值为0；W是可以训练的权重矩阵；H是每一层的特征，对输入层而言，H就是X；σ是非线性激活函数；
感兴趣区的slices输入所述GCN；
构造一个两层的GCN，激活函数分别采用ReLU和SoftMax，得到正向传播的公式为：



W(0)∈R...

【专利技术属性】
技术研发人员：张霖，杨源，任磊，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11