基于图卷积神经网络的多模态医学图像分类方法及系统技术方案

本发明专利技术公开了一种基于图卷积神经网络的多模态医学图像分类方法及系统，涉及智能图像处理技术领域。包括步骤：对第一模态的核磁共振图像，使用深度学习网络进行全局特征提取，并利用弱注意力学习思想，获取包含有位置信息的第一模态特征。对第二模态的正电子发射计算机断层显像图像使用补丁提取方法嵌入，进行分割并添加位置嵌入得到包含有位置信息的第二模态特征；然后将第二模态特征与获取的第一模态特征相结合输入进图卷积神经网络得到局部特征，充分利用节点特征和节点与节点之间局部结构关系实现特征融合；最终，将全局特征与局部特征拼接实现分类。本发明专利技术方法考虑了多模态图像间的相关性，在分类的精确度上有一定的优势。势。势。

【技术实现步骤摘要】
基于图卷积神经网络的多模态医学图像分类方法及系统


[0001]本专利技术涉及智能图像处理
，尤其涉及一种基于图卷积神经网络的多模态医学图像分类方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]现在用于实验的医学数据集并不是很庞大，因此研究者们提出各种数据增强的方法来扩大数据集。主要对图像形状、位置、大小进行改变，这使在图像分类上有所提高，但存在后期过拟合现象。由于描述医学图像的数据种类越来越丰富，基于单图像的深度学习方法不能合理利用大量细粒度特征和高噪声中的有用信息。因此，如何减少过拟合现象并把不同模态的图像特征相贯穿，使其保留原始图像的特征以及如何弥补单模态图像的缺陷成为亟待解决的问题。
[0004]为此，在研究医学图像时，有人提出了一种基于分层全卷积网络模型，通过联合学习多尺度特征融合来定位疾病相关区域并给予判断。随后又利用非子采样剪切变换域实现基于局部数据模糊集和修正拉普拉斯的多模态医学融合方法，结果表明在视觉特征上对边缘和轮廓检测有很大的优势。同时，巩睿针对发病率较高的甲状腺肿瘤采用分类器融合的方法，将不同类别的复合加权方式运用到非贝叶斯融合框架上，提高了肿瘤分类的正确性。还将应用扩展到脑部，多模态的影响数据可从不同时空角度对大脑信息进行描述。阳洁等人构建了基于大脑数据的多模态特征选择模型，利用结构空间模态距离约束来测试对象两种模态的最优分类效果。以上这些方法考虑了多模态的优势，但没有结合医学图像以及图像间的联系的特性，这仍然是医学图像分类领域中的挑战。
[0005]目前医学图像分类依旧是计算机辅助诊断领域的一个重要研究方向，该技术通过处理医学影像为医生提供辅助诊断分析，从而提高准确率。在机器学习方法中，医学图像的分类需要依赖人工经验进行预先计算判断，这很难脱离人为处理；加上由于医学图像具有低分辨率、少标记、小数据集的特点，适用于大型数据集的学习方法很难达到最优效果。除此之外，单一图像会丢失分辨率低的隐藏特征或噪声高但信息丰富的突出特征，忽略了在一种疾病上多图像的联系性，因此影响了医学图像的分类效果。

技术实现思路

[0006]针对现有技术存在的不足，本专利技术的目的是提供一种基于图卷积神经网络的多模态医学图像分类方法及系统，考虑单图像全局与局部间的关联性以及多图像间的相关互补性，建立图卷积神经网络模型对多模态医学图像进行分类，相比于现有的图像分类模型具有更高的稳定性和鲁棒性。
[0007]为了实现上述目的，本专利技术是通过如下的技术方案来实现：本专利技术第一方面提供了一种基于图卷积神经网络的多模态医学图像分类方法，包
括以下步骤：获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征；将全局特征和局部特征拼接，输出最后的分类结果。
[0008]进一步的，对核磁共振图像进行全局图像提取获得全局特征的具体步骤为：先使用深度学习网络提取初步全局图像特征，后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。
[0009]更进一步的，基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征的具体步骤为：对标记图进行特征的弱监督学习获得标记图的特征；对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征；通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征，获得初步第一模态特征；池化获得的初步第一模态特征得到最终的第一模态特征。
[0010]更进一步的，对标记图进行特征的弱监督学习获得标记图的特征的具体步骤为：对初步全局图像特征进行注意规则化获得注意力图，利用注意力图代表某一对象区域，使用惩罚函数计算标注图中区域特征的方差从而获得标记图的特征。
[0011]更进一步的，对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征的具体步骤为：通过定位注意力图来预测对象边界框，定义阈值并分割出前景，找到前景像素的边界框，得到注意力图中关键权重的位置标注，将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。
[0012]进一步的，将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征的具体步骤为：对高斯约束的受限玻尔兹曼机进行预训练得到优化后的模型参数，将正电子发射计算机断层显像图像输入预训练后的受限玻尔兹曼机得到初步第二模态特征；使用统计显著性检验来选择区域，选择体素强度作为对象进行分块，正电子发射计算机断层显像图像根据区域分块添加位置信息；添加位置信息后与初步第二模态特征进行拼接获得最终的包含有位置信息的第二模态特征。
[0013]进一步的，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征的具体步骤为：使用典型相关分析计算不同模态特征间的相似性，以此来确定特征与特征间的联系，之后将第一模态特征和第二模态特征相结合输入进图卷积神经网
络，利用位置信息根据特征与特征间的联系将不同模态特征相连接实现图粗化；然后采用傅里叶变换思想设计汇集算子实现图池化，从而获得最终的局部特征。
[0014]更进一步的，图粗化和图池化的具体过程为：根据第一模态特征和第二模态特征，及第一模态特征和第二模态特征的位置信息将特征表示转换为节点表示，后采用相关性联系将节点表示转换成图表示，完成图粗化过程；在池化过程中使用基于图傅里叶变换的池化算子，充分利用特征信息联系进行汇集，完成图池化过程。
[0015]进一步的，先对全局特征进行最大池化，后对局部特征进行平均池化，再将全局特征和局部特征拼接获得分类结果。
[0016]本专利技术第二方面提供了一种基于图卷积神经网络的多模态医学图像分类系统，包括：全局特征模块，被配置为获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；第一模态特征模块，被配置为对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；第二模态特征模块，被配置为将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；局部特征模块，被配置为利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图卷积神经网络的多模态医学图像分类方法，其特征在于，包括以下步骤：获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征；将全局特征和局部特征拼接，输出最后的分类结果。2.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，对核磁共振图像进行全局图像提取获得全局特征的具体步骤为：先使用深度学习网络提取初步全局图像特征，后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。3.如权利要求2所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征的具体步骤为：对标记图进行特征的弱监督学习获得标记图的特征；对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征；通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征，获得初步第一模态特征；池化获得的初步第一模态特征得到最终的第一模态特征。4.如权利要求3所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，对标记图进行特征的弱监督学习获得标记图的特征的具体步骤为：对初步全局图像特征进行注意规则化获得注意力图，利用注意力图代表某一对象区域，使用惩罚函数计算标注图中区域特征的方差从而获得标记图的特征。5.如权利要求4所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征的具体步骤为：通过定位注意力图来预测对象边界框，定义阈值并分割出前景，找到前景像素的边界框，得到注意力图中关键权重的位置标注，将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。6.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态...

【专利技术属性】
技术研发人员：耿玉水，林雪，程大全，赵晶，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：