【技术实现步骤摘要】
本专利技术涉及医学图像处理的，尤其涉及一种基于缺失模态的异构多模态图像分类方法，以及基于缺失模态的异构多模态图像分类装置。
技术介绍
1、当前，图像分类任务在许多应用场景（例如物体识别、自动驾驶、计算机辅助诊断等）中具有重要的作用。异构多模态图像分类是指利用多种不同成像方式得到的图像（例如医学图像中的ct、病理等）来实现图像分类任务。异构多模态图像分类的关键挑战是如何有效地融合多个模态的信息，并学习到模态之间的相关性。现有基于异构多模态的图像分类方法存在缺失模态的问题，以及由于异构模态之间存在的语义差距难以有效融合多种模态的信息等问题；导致无法充分利用异构多模态的特征信息进行准确的图像分类。因此需要开发一种基于缺失模态的异构多模态图像分类方法，使其能够对缺失模态的特征进行补全，同时有效融合多种异构模态间的特征，从而解决模态缺失和异构多模态有效融合问题。
技术实现思路
1、为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种基于缺失模态的异构多模态图像分类方法，其能够对缺失模态的特征进行补全，同时有效融合多种异构模态间的特征，从而解决模态缺失和异构多模态有效融合问题。
2、本专利技术的技术方案是：这种基于缺失模态的异构多模态图像分类方法，包括以下步骤：
3、步骤s1、对多模态图像数据进行样本划分，得到原型样本和目标样本；
4、步骤s2、对多种模态的训练图像分别进行预处理操作，获得预处理后的训练图像；
5、步骤s3、构建多个特征提
6、步骤s4、对于原型样本执行多模态的特征学习，将原型样本数据转换为特征空间中针对不同模态的隐表示；
7、步骤s5、在得到步骤s3、s4的特征的隐表示后，采用相似性度量方法计算不同样本之间的特征的相似性，并最终得到训练样本与原型样本的总体相似度矩阵；
8、步骤s6、根据s5中得到的相似性矩阵以及s3、s4中得到的隐表示，构建相似性图以建模不同样本之间的关系，并通过执行图卷积神经网络获得增强后的特征；
9、步骤s7、利用步骤s6所计算出的增强特征，根据原型样本与目标样本的相似性实现样本中缺失模态的特征补全，对样本中模态完整的特征进行增强
10、步骤s8、利用步骤s7中所得到的补全后的不同模态特征和一个跨模态交互模块，来加强和改善不同模态之间隐表示的交互；
11、步骤s9、在得到步骤s8中跨模态交互后的特征表示后，利用一个自适应注意力多模态融合模块，并根据不同模态重要性的不同为每个增强特征表示分配动态权重，并得到融合后的特征；
12、步骤s10、最后通过应用softmax激活功能，将特征输入分类器，利用训练样本中的类别标签监督分类器预测结果，训练模型；
13、步骤s11、将待分类的多模态数据输入训练好的分类模型中，得到最终的输出分类结果。
14、本专利技术通过挖掘类别原型样本与训练样本之间的特征相似性，有效地建模了目标样本与原型样本之间的相关性；此外提出了一种基于原型的特征补全模块，并通过对原型样本在隐空间中进行组合从而实现缺失模态补全，最后通过新颖的自适应交叉模态注意融合模块进一步有效地融合了来自异构多模态数据的特征。本专利技术方法的优势在于，通过计算与原型样本的特征相似性并构建相似性矩阵从而对缺失模态的特征进行补全，解决了多模态分类任务模态严重缺失的问题，同时也充分利用了多种模态特征相关性信息，并按照特征的重要性不同动态分配权重，进一步促进了特征的融合，提高了分类准确率。
15、还提供了一种基于缺失模态的异构多模态图像分类装置，其包括：
16、样本划分模块，其配置来对多模态图像数据进行样本划分，得到原型样本和目标样本；
17、预处理模块，其配置来对多种模态的训练图像分别进行预处理操作，获得预处理后的训练图像；
18、特征提取模块，其配置来构建多个特征提取网络，将训练图像的多种模态分别输入网络进行特征提取；
19、特征学习模块，其配置来对于原型样本执行多模态的特征学习，将原型样本数据转换为特征空间中针对不同模态的隐表示；
20、相似性模块，其配置来采用相似性度量方法计算不同样本之间的特征的相似性，并最终得到训练样本与原型样本的总体相似度矩阵；
21、建模模块，其配置来构建相似性图以建模不同样本之间的关系，并通过执行图卷积神经网络获得增强后的特征；
22、增强模块，其配置来利用计算出的增强特征，根据原型样本与目标样本的相似性实现样本中缺失模态的特征补全，对样本中模态完整的特征进行增强；
23、交互模块，其配置来利用得到的补全后的不同模态特征和一个跨模态交互模块，来加强和改善不同模态之间隐表示的交互；
24、融合模块，其配置来利用一个自适应注意力多模态融合模块，并根据不同模态重要性的不同为每个增强特征表示分配动态权重，并得到融合后的特征；
25、训练模块，其配置来通过应用softmax激活功能，将特征输入分类器，利用训练样本中的类别标签监督分类器预测结果，训练模型；输出模块，其配置来将待分类的多模态数据输入训练好的分类模型中，得到最终的输出分类结果。
本文档来自技高网...【技术保护点】
1.基于缺失模态的异构多模态图像分类方法，其特征在于：其包括以下步骤：
2.根据权利要求1所述的基于缺失模态的异构多模态图像分类方法，其特征在于：所述步骤S1中样本划分的具体过程为：对于每个类别，随机选取一个拥有完整模态的样本作为原型样本，原型样本不存在缺失的模态，用于辅助对其他模态缺失的样本进行特征补全，其他用作训练和测试的均为目标样本，目标样本中包含缺失模态的样本和其余拥有完整模态的样本。
3.根据权利要求2所述的基于缺失模态的异构多模态图像分类方法，其特征在于：所述步骤S2中对训练图像进行预处理操作，预处理操作包括数据格式转换、数据标准化、提取ROI区域和图像裁剪。
4.根据权利要求3所述的基于缺失模态的异构多模态图像分类方法，其特征在于：所述步骤S3、S4的具体过程为：表示特征提取模型，模态m和原型c的样本隐表示通过以下方式实现：
5.根据权利要求4所述的基于缺失模态的异构多模态图像分类方法，其特征在于：所述步骤S5中相似性计算的具体过程为：
6.根据权利要求5所述的基于缺失模态的异构多模态图像分类方法，其特征在
7.根据权利要求6所述的基于缺失模态的异构多模态图像分类方法，其特征在于：所述步骤S7具体过程为：
8.根据权利要求7所述的基于缺失模态的异构多模态图像分类方法，其特征在于：所述步骤S8中跨模态交互模块的工作过程为：
9.根据权利要求8所述的基于缺失模态的异构多模态图像分类方法，其特征在于：所述步骤S9中自适应注意力多模态融合模块的具体流程为：
10.基于缺失模态的异构多模态图像分类装置，其特征在于：其包括：
...【技术特征摘要】
1.基于缺失模态的异构多模态图像分类方法，其特征在于：其包括以下步骤：
2.根据权利要求1所述的基于缺失模态的异构多模态图像分类方法，其特征在于：所述步骤s1中样本划分的具体过程为：对于每个类别，随机选取一个拥有完整模态的样本作为原型样本，原型样本不存在缺失的模态，用于辅助对其他模态缺失的样本进行特征补全，其他用作训练和测试的均为目标样本，目标样本中包含缺失模态的样本和其余拥有完整模态的样本。
3.根据权利要求2所述的基于缺失模态的异构多模态图像分类方法，其特征在于：所述步骤s2中对训练图像进行预处理操作，预处理操作包括数据格式转换、数据标准化、提取roi区域和图像裁剪。
4.根据权利要求3所述的基于缺失模态的异构多模态图像分类方法，其特征在于：所述步骤s3、s4的具体过程为：表示特征提取模型，模态m和原型c的样本隐表示通过以下方式实现：
5.根据权利要...
【专利技术属性】
技术研发人员：马国林，骆功宁，刘冰，李向宇，韩小伟，于洪伟，邹铭烨，王宽全，
申请(专利权)人：中日友好医院中日友好临床医学研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。