【技术实现步骤摘要】
本专利技术涉及智能分类，尤其涉及一种数据缺失条件下的多模态混合融合分类方法。
技术介绍
1、多模态融合技术是当前热门的研究方向之一，它是指对包含多种模态数据的数据集进行组合分析，通过将这些不同模态的数据进行融合，从而得到更为全面和准确的信息。深度学习的成功已经成为解决日益复杂的机器学习问题的催化剂，这些问题通常涉及多种数据模式，如文字、图像、声音等。如何解决模态缺失问题，以及如何跨越不同模态之间的障碍将底层特征与抽象语义之间的差距联系起来，以挖掘多模态数据之间的相关性是当前亟待解决的问题。
2、在医疗领域众多的多模态融合应用中，按照融合策略主要可以分为三种，及前期融合、晚期融合以及中期融合。
3、(1)、前期融合；
4、前期融合是指在将多个输入模式输入到单个学习模型中进行训练之前，先将多个输入模式加入到单个特征向量的过程，更具体地说，在数据集被用作深度学习算法的输入之前的初始阶段就发生了融合过程。我们可以认为，融合过程直接发生在原始数据上，或者如果执行的不是原始数据，而是预处理特征提取步骤，那么认为合...
【技术保护点】
1.一种数据缺失条件下的多模态混合融合分类方法，其特征在于，所述多模态混合融合分类方法包括文本缺失数据补全和多模态混合融合；
2.根据权利要求1所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述基于KNN进行缺失值补充，具体如下：
3.根据权利要求2所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述提取文本特征具体如下：
4.根据权利要求3所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述注意力编码器包括切片模块、全连接层、归一化层、激活函数、掩码和加权缩放因子层，根据前一个步骤切片模块的部分输出...
【技术特征摘要】
1.一种数据缺失条件下的多模态混合融合分类方法，其特征在于，所述多模态混合融合分类方法包括文本缺失数据补全和多模态混合融合；
2.根据权利要求1所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述基于knn进行缺失值补充，具体如下：
3.根据权利要求2所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述提取文本特征具体如下：
4.根据权利要求3所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述注意力编码器包括切片模块、全连接层、归一化层、激活函数、掩码和加权缩放因子层，根据前一个步骤切片模块的部分输出，经过全连接层和批归一化层后，采用一个残差连接，输入至加权缩放因子层，计算得到当前步骤的掩码结果，输入至特征...
【专利技术属性】
技术研发人员：贾同，朱哲仪，原婧，贾娜娜，王雪莉，赵紫旭，陈东岳，王昊，邓诗卓，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。