一种用于融合多模态数据特征的方法及应用技术

本发明专利技术属于人工智能领域，具体公开了一种用于融合多模态数据特征的方法及应用，首先基于卷积神经网络对结构化数据以及流数据的特征提取：其次构建特征融合神经网络模型，实现结构化数据与流数据的特征融合，通过本发明专利技术的方法能够有效的获取到多模态数据中的特征信息，并进行有效的特征融合，实现对多模态数据的更为全面的分析与处理，提高多模态数据的使用价值，提高人工智能模型的性能。提高人工智能模型的性能。提高人工智能模型的性能。

【技术实现步骤摘要】
一种用于融合多模态数据特征的方法及应用


[0001]本专利技术属于人工智能
，特别涉及一种用于融合多模态数据特征的方法及应用。

技术介绍

[0002]当下大数据时代，数据呈现巨量化、多样化的特点，如何有效存储和处理这些数据，使数据价值最大化的同时又满足合规性的要求，是构建多模态机器智能的核心诉求。传统的人工智能应用，大多数都是基于单模态数据开发，这些应用都是在各自模态数据的基础上对世界产生一定的“感知”，具有明显的局限性，机器若能对世界多个模态的“感知”进行同步和聚合，那将更加的智能化。为了实现机器能智能化处理多模态数据，除了应对日益增长的海量数据和做好每个模态的感知之外，更要做好数据在模态间的转化、多模态数据条件下的数据同步和知识的融合。
[0003]当下人工智能领域常用于处理多模态数据融合的方法主要有三种：数据水平融合、决策水平融合以及中间融合。其中，数据水平融合将多个独立的数据集融合为一个单一的特征向量，再输入到机器学习分类器中，这种方法往往会使得输入数据中包含大量的冗余信息。为了提出冗余信息，通常使用特征提取方法与数据水平本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于融合多模态数据特征的方法，其特征在于，包括：步骤1、基于卷积神经网络对结构化数据以及流数据的特征提取：首先数据处理，将多种流数据的数值转换为波形图绘制在一张图片上用于后续的特征提取任务，将结构化数据转为one
‑
hot编码矩阵形式进行特征提取；步骤2、构建特征融合神经网络模型，实现结构化数据与流数据的特征融合，包括两个阶段：第一阶段，训练两个卷积神经网络模型，用于提取特征映射，模型1用于提取波形图中的特征映射，模型2用于提取矩阵中的特征映射；第二阶段，构建特征融合神经网络模型进行特征融合，通过将图片与文本信息数据分别输入到两个模型中，将输出的特征映射，进行组合构成新的特征映射集合，作为训练所述特征融合神经网络模型的输入数据。2.根据权利要求1所述的一种用于融合多模态数据特征的方法，其特征在于，所述模型1是基于VGG16模型的卷积神经网络模型，模型2是一维卷积神经网络模型。3.权利要...

【专利技术属性】
技术研发人员：殷波，魏志强，吴剑，孙雁，倪金，孙鲁宁，王俏俏，
申请(专利权)人：青岛海尔创新科技有限公司，
类型：发明
国别省市：