一种基于图神经网络的多模态宫颈癌前病变图像识别方法技术

本发明专利技术公开了一种基于图卷积神经网络的多模态宫颈癌前病变图像识别方法。首先收集阴道镜图像，根据病理诊断报告对每个患者的阴道镜图像进行标注；然后构建神经网络BG‑CNN，包括两个ResNet18构成的图神经网络，以及图卷积神经网络构成关系提取网络。将标记后的阴道镜图像，输入构建的神经网络BG‑CNN来进行训练，损失函数设为交叉熵损失函数，最终得到训练好的模型；本发明专利技术方法充分结合医生的临床诊断经验，结合醋酸实验图像和碘实验图像两种类型的图像，融合卷积网络和图卷积神经网络两种方法，可以自动学习到同一患者的两类图像中的关联信息，联合对阴道镜图像进行判别，在识别精度上，也有明显的提升。

【技术实现步骤摘要】
一种基于图神经网络的多模态宫颈癌前病变图像识别方法
本专利技术属于医学图像领域中，使用深度学习方法来对阴道镜下拍摄的宫颈图像是否为癌前病变图像进行识别。
技术介绍
目前，我国临床上对宫颈癌的筛查大多都是通过活检来确定筛查对象是否出现了宫颈癌及宫颈癌前病变。宫颈癌前病变可以化分为两种状态，其为LSIL和HSIL。HSIL，属于高级别的癌前病变，需要及时的进行切除治疗，才能防止其进一步的发展成为宫颈癌。LSIL,为低级别的癌前病变，仅需要保守的治疗，通过改善生活习惯和卫生条件，就可以通过自身的免疫系统恢复正常。使用阴道镜来进行宫颈癌前病变筛查是多数医院常用的一种手段。阴道镜可以在放大3-7倍的情况下检查子宫颈，在应用稀释至3％的醋酸溶液以及卢戈碘溶液，使得异常病变组织与正常组织出现明显分化。然而，在阴道镜进行癌前病变筛查的操作过程对操作者的要求相对不高，临床检查的准确性还是很大程度上依赖医生的主观判断，部分有经验的医生在临床上也仅有48％的特异性。因此找到一种科学、准确、快速的阴道镜诊断方法可以缓解临床上需要大量的经验丰富医生的尴尬局面。现在，已经有一些深度学习的方法来对宫颈疾病图像进行筛查和分析。然而这些方法大多都是针对使用醋酸实验后的图像，忽略了临床上医生可以结合不同的实验试剂来获得图像进行联合诊断。区别于其他文献的阴道镜下宫颈癌癌前病变图像的识别方法。本专利技术方法充分结合医生的临床诊断经验，结合醋酸实验图像和碘实验图像两种类型的图像，融合卷积网络和图卷积神经网络两种方法，可以自动学习到同一患者的两类图像中的关联信息，联合对阴道镜图像进行判别。在识别精度上，也有了较为明显的提升。
技术实现思路
本专利技术的目的是针对现有技术的不足，为了充分融合卷积神经网络和图神经网络的优点，提高阴道镜下宫颈癌前病变的诊断的准确性，本专利技术提出了一种基于图卷积神经网络的多模态宫颈癌前病变图像识别方法。本专利技术中提出的神经网络BG-CNN主要包含两部分，一部分为两个ResNet18构成的图神经网络，另一部分为图卷积神经网络构成关系提取网络。解决的技术问题所采用的技术方案包含以下步骤：步骤一、收集阴道镜图像，根据病理诊断报告对每个患者的阴道镜图像进行标注。步骤二、构建两个18层的ResNet作为特征提取网络，分别用于提取醋酸实验图像特征图Fa和碘实验图像的特征图Fb。然后再分别经过两个注意力模块产生两个注意力图Aa和Ab；步骤三、将步骤二中提取的对应图像的特征图和注意力图使用基于注意力的双线性池化BilinearAttentionpooling进行结合分别生成生成醋酸实验图像和碘实验图像的二维特征矩阵。步骤四、以步骤三中的特征矩阵的每一行作为图的一个节点，使用K近邻算法找到每个节点的欧式距离最近的k个节点构建邻接矩阵。然后使用一个两层的图卷积神经网络来聚合节点的之间的特征。最终，通过将图卷积层的学习到的特征与ResNet18学习的特征进行元素点乘得到最后的特征表示。步骤五、将步骤一获得的标记后的阴道镜图像，输入至步骤二、三、四所构建的神经网络BG-CNN来进行训练，损失函数设为交叉熵损失函数，最终得到训练好的模型。将阴道镜图像输入训练好的模型中进行图像的检测。本专利技术有益效果如下：本专利技术方法充分结合医生的临床诊断经验，结合醋酸实验图像和碘实验图像两种类型的图像，融合卷积网络和图卷积神经网络两种方法，可以自动学习到同一患者的两类图像中的关联信息，联合对阴道镜图像进行判别。在识别精度上，也有了较为明显的提升。附图说明图1为本专利技术提出的神经网络BG-CNN结构图。具体实施方式以下结合附图对本专利技术方法进行进一步描述步骤一所述的对阴道镜图像标注的具体操作如下：根据每位患者的病理诊断报告将其划分为两类，LSIL-和HSIL+。所述的LSIL-包括正常患者和低度鳞状上皮内病变(LSIL)患者，所述的HSIL+包括高度鳞状上皮内病变(HSIL)患者和宫颈癌患者；从每位患者的阴道镜检查获得的图像中分别取一张醋酸实验图像和碘实验图像作为训练集。步骤二中所描述得获取对应图像得特征图和注意力图得详细过程如下：2-1.定义输入神经网络的醋酸实验图像为X和碘实验图像为Y；ResNet18网络为则醋酸图像特征图和碘实验图像特征图可以如下表示：2-2.注意力模块由一个卷积核为3*3得CNN层和一个BN层组成，其符号描述为Atten(·)。则由醋酸实验图像和碘实验图像的特征图产生的注意力图可以如下表示为：Aa＝relu(Atten(Fa))Ab＝relu(Atten(Fb))每个注意力图A＝[a1，a2，...，am]，其维度大小由CNN层的卷积核数量决定；relu()为激活函数。步骤三中将对应图像的特征图和注意力图通过BilinearAttentionpooling产生的二维特征矩阵的详细过程如下：在注意力图中Aa和Ab中,每个子向量ai都能够抽象的认为是对应的醋酸实验图像和碘实验图像特征的一部分，所以对象的每部分的特征可以用特征图F与第i个注意力子向量ai元素点乘来获得。其公式可以如下表示：Γ(·)表示的是BilinearAttentionpooling。⊙表示的为元素点成符合。ai表示注意力图的第i个子向量。g(·)表示一个全局平均池化函数。步骤四中所描述的使用K-近邻算法构造邻接矩阵的具体过程和使用图卷积进行关系聚合的具体过程如下:4-1由步骤三，对于醋酸实验图像和碘实验图像都获得一个m维的特征向量，所以一共获得2m个特征向量。以每个向量作为图的一个节点，则整个图结构的邻接矩阵K的定义如下：其中KNN(fi)代表节点fi基于欧式距离的k近邻，fj表示除fi以外的其他节点。4-2定义一个节点集合V和一个边集合E，节点集合中包含2m个节点，即fi∈V,当邻接矩阵Kij等于1时，则(fi，fj)∈E,即fi和fj存在一条边，由此得到一个完整的图G＝(V，E)。然后将图G送入一个两层的图卷积神经网络来聚合相邻节点的特征。其更新每个节点的计算公式如下：Hl表示第l层的节点的特征表示，并且当l＝0时，则H0＝[f1，f2，...，f2m]。是标准化后的临界矩阵K。Wl是第l层可学习的权重矩阵。4-3最终的关系特征表示如下：y＝H2[Fa，Fb]其中H2为经过两层图卷积网络后学习到的特征表示。Fa和Fb分别为ResNet18网络得到的醋酸实验图像和碘实验图像的特征图。步骤五、将步骤一获得的标记后的阴道镜图像，输入至步骤二、三、四所构建的神经网络BG-CNN来进行训练，损失函数设为交叉熵损失函数，最终得到训练好的模型。将阴道镜图像输入训练好的模型中进行图像的检测。图1为本专利技术提出的神经网络BG-CNN结构图。本文档来自技高网...

【技术保护点】
1.一种基于图卷积神经网络的多模态宫颈癌前病变图像识别方法，其特征在于，步骤如下：/n步骤一、收集阴道镜图像，根据病理诊断报告对每个患者的阴道镜图像进行标注；/n步骤二、构建两个18层的ResNet作为特征提取网络，分别用于提取醋酸实验图像特征图F

【技术特征摘要】
1.一种基于图卷积神经网络的多模态宫颈癌前病变图像识别方法，其特征在于，步骤如下：
步骤一、收集阴道镜图像，根据病理诊断报告对每个患者的阴道镜图像进行标注；
步骤二、构建两个18层的ResNet作为特征提取网络，分别用于提取醋酸实验图像特征图Fa和碘实验图像的特征图Fb；然后再分别经过两个注意力模块产生两个注意力图Aa和Ab；
步骤三、将步骤二中提取的对应图像的特征图和注意力图使用基于注意力的双线性池化BilinearAttentionpooling进行结合分别生成生成醋酸实验图像和碘实验图像的二维特征矩阵；
步骤四、以步骤三中的特征矩阵的每一行作为图的一个节点，使用K近邻算法找到每个节点的欧式距离最近的k个节点构建邻接矩阵；然后使用一个两层的图卷积神经网络来聚合节点的之间的特征；最终，通过将图卷积层的学习到的特征与ResNet18学习的特征进行元素点乘得到最后的特征表示；
步骤五、将步骤一获得的标记后的阴道镜图像，输入至步骤二、三、四所构建的神经网络BG-CNN来进行训练，损失函数设为交叉熵损失函数，最终得到训练好的模型；将阴道镜图像输入训练好的模型中进行图像的检测。


2.根据权利要求1所述的一种基于图卷积神经网络的多模态宫颈癌前病变图像识别方法，其特征在于，步骤一所述的对阴道镜图像标注的具体操作如下：
根据每位患者的病理诊断报告将其划分为两类，LSIL-和HSIL+；所述的LSIL-包括正常患者和低度鳞状上皮内病变(LSIL)患者，所述的HSIL+包括高度鳞状上皮内病变(HSIL)患者和宫颈癌患者；从每位患者的阴道镜检查获得的图像中分别取一张醋酸实验图像和碘实验图像作为训练集。


3.根据权利要求2所述的一种基于图卷积神经网络的多模态宫颈癌前病变图像识别方法，其特征在于，步骤二中所描述得获取对应图像得特征图和注意力图得详细过程如下：
2-1.定义输入神经网络的醋酸实验图像为X和碘实验图像为Y；ResNet18网络为则醋酸图像特征图和碘实验图像特征图可以如下表示：






2-2.注意力模块由一个卷积核为3*3得CNN层和一个BN层组成，其符号描述为Atten(·)；则由醋酸实验图像和碘实验图像的特征图产生的注意力图可以如下表示...

【专利技术属性】
技术研发人员：申兴发，李树丰，晏菱，赵庆彪，刘立立，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33