基于混合模型网络的多模态影像分类方法技术

本发明专利技术提出了一种混合模型网络的多模态影像分类方法、装置和计算机可读存储介质。通过对来自于多个不同模态的医学影像进行特征级融合，将特征视作节点构建特征图，通过多级粗化模块完成特征选择，并利用混合模型网络对图结构进行自适应学习，寻找特征间的潜在联系，从而得到更可靠、更准确的病灶类别属性信息的方法。利用BraTS2017数据集进行验证，与传统的特征级融合方法相比，基于混合模型网络的多模态影像分类方法具有更好的结果。多模态影像分类方法具有更好的结果。多模态影像分类方法具有更好的结果。

Multimodal image classification method based on hybrid model network

【技术实现步骤摘要】
基于混合模型网络的多模态影像分类方法


[0001]本专利技术属于图像处理与分析
，具体涉及一种基于混合模型网络的多模态影像分类方法、装置和计算机可读存储介质。

技术介绍

[0002]伴随高新技术的迅速发展和医学影像技术数字化的逐步实现，各种影像学检查为疾病的研究提供了宝贵的多模态医学影像数据。由于医学诊断的应用场景较为复杂，单模态影像数据往往难以解释疾病引起的所有可能的微妙变化或异常。因此有效的融合来自多种成像模态的病灶信息，发挥各个单模态数据的互补性优势，对医学临床诊断有着重要的指导意义。
[0003]脑胶质瘤作为一种复发率高、死亡率高的中枢神经系统肿瘤严重威胁着患者的健康和生命。近年来临床研究发现，其分子病理学信息不但能提高诊断准确性，还能对脑胶质瘤临床治疗和预后评估起到重要的指导作用。因此在第四版WHO中枢神经系统肿瘤分类中，整合了基因分子表型，如何利用多模态影像实现脑胶质瘤的分子表型分类成为了当前的热点问题。
[0004]目前通用的多模态影像融合分为：数据层融合、特征层融合、决策层融合。特征层融合是指特征提取后，对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合模型网络的多模态影像分类方法，将所有模态所提特征进行特征图的构建，借助Graclus算法进行粗糙化，最后基于混合模型网络完成预测分类，具体步骤包括：(一)数据预处理：对每个分类对象进行标签的标记；(二)特征提取：首先对图像数据进行感兴趣区域提取，然后以感兴趣区域为掩膜，对各模态影像进行特征提取，分别得到纹理特征、强度直方图特征和形状特征，并对其进行特征归一化处理；(三)构建特征图：将上述单样本所提的每个特征看作为离散节点，并以节点间的欧氏距离为基础，利用K最近邻算法构建初始的特征图结构G0＝(V0,E0)，其中V0为特征图的节点集合，而E0为特征图中所有边的集合；(四)特征图粗糙化：将上述所构建的特征图作为输入，基于Graclus多尺度聚类算法进行多级粗糙化，首先将划分目标设置为归一化切割，即节点的初始权重被设置为节点的度数；然后对特征图中所有节点进行随机访问，若访问的节点x未被标记，且其邻域中所有节点均已标记，则对节点x进行标记，并继续访问下一个节点；若该节点邻域中有尚未被标记的节点，则寻找邻域中未标记顶点y，使得下式最大化：其中e(x,y)是指节点间的边权重，而w(x)和w(y)分别指节点x和y的自身权重，找到最大化的节点y之后，将匹配的两个节点合并为一个新的节点，新节点的权重为原始节点权重之和，当所有节点遍历完成后，特征图的规模可缩小近一倍，即完成了一级粗糙化过程；(五)边权重更新：利用基于混合模型网络的图卷积核，对已粗糙化的特征图进行节点的边权重更新，首先将节点x放入极坐标中进行表示，并通过其邻域中的节点x
′
创建一个d维向量的伪坐标u(x,x
′
)，以确定节点x与其邻居x
′
之间的相对位置：u(x)＝(ρ(x,x
...

【专利技术属性】
技术研发人员：吴强，李璇，何泽鲲，
申请(专利权)人：山东大学，
类型：发明
国别省市：