一种基于多模态深度迁移学习机制的多源异构数据融合系统技术方案

本发明专利技术公开了一种基于多模态深度迁移学习机制的多源异构数据融合系统，涉及人工智能和信号处理技术领域，包括多组单个异构数据融合整合模块、多源异构数据融合整合模块与数据对比模块；所述多组单个异构数据融合整合模块：用于将细小的数据进行整合融合处理。本发明专利技术首先利用多组单个异构数据融合整合模块的作用，完成对外界较小样品数据的收集与整合，并且配合数据对比模块将重复的数据去除，且将有效的数据保留，并进行数据融合，最后传输至多源异构数据融合整合模块，使其将多组融合数据再次进行融合，并得到融合数据，而此过程多源异构数据融合整合模块所要处理的数据相对较少，从而降低对设备的负荷，进而大大提高设备的使用效率。备的使用效率。备的使用效率。

【技术实现步骤摘要】
一种基于多模态深度迁移学习机制的多源异构数据融合系统


[0001]本专利技术涉及人工智能和信号处理
，具体为一种基于多模态深度迁移学习机制的多源异构数据融合系统。

技术介绍

[0002]目前大多数目标分类与检测研究都涉及到复杂目标，为了充分检测目标信息，就需要采用多源多模态传感器进行信息探测，然后进行融合，便于后续的分类与回归，由于多源多模态传感器因其探测信息机理不同，所探测的信息存在多源异构的特点，且由于大多数情况下目标数据样本较少，因此传统方法难以取得较好的效果，因此如何实现非大样本情况下的多源异构数据融合是一个当前研究的热点和难点。
[0003]目前多源异构数据融合方法方面的研究较少，其主要方法思路是：先对不同模态样本进行时空配准，获取对应感兴趣，然后提取特征，合并特征，对特征进行选择或者转换，形成融合后的多模态特征。
[0004]上述方法思路其缺陷是：(1)现有研究大多处于理论研究阶段，产品化较少；2)现有各种融合方法难以实现对原始信息实现高质量的非线性变换，从而获取高层次特征，以实现对目标的精确完整表征。
[0005](3)现有融合方法需要对多源异构数据进行时空配准等预处理操作，难度大，且需要人工干预，无法实现端到端的处理。
[0006](4)现有融合方法需要根据经验知识进行特征提取，主观性强，稳定性差，自适应性差，难以适应复杂多变情况下的分类和回归要求。
[0007](5)基于传统深度学习的融合方法缺乏对小样本的解决能力，尤其是多模态小样本融合问题。传统的迁移学习不具备对原始信息实现高质量的非线性变换。
[0008]针对上述问题，公告号为CN108734208B的中国专利，提供了一种基于多模态深度迁移学习机制的多源异构数据融合系统，其通过构建多个模态的单模态深度迁移网络模型自动获取目标高层特征矢量，并进行数据融合处理，以便解决数据源少的问题。
[0009]但是经过上述结构，依旧是将多个模态的单模态深度迁移网络模型所获得的数据，全部综合至系统中，进行同一多源异构数据融合，此方法依旧使得系统运算产生较高负担，并且运算难度提高，降低系统整合运算效率。

技术实现思路

[0010]基于此，本专利技术的目的是提供基于多模态深度迁移学习机制的多源异构数据融合系统，以解决现有技术中依旧是将多个模态的单模态深度迁移网络模型所获得的数据，全部综合至系统中，进行同一多源异构数据融合，此方法依旧使得系统运算产生较高负担，并且运算难度提高，降低系统整合运算效率的技术问题。
[0011]为实现上述目的，本专利技术提供如下技术方案：一种基于多模态深度迁移学习机制
的多源异构数据融合系统，包括多组单个异构数据融合整合模块、多源异构数据融合整合模块与数据对比模块；所述多组单个异构数据融合整合模块：用于将细小的数据进行整合融合处理；所述多源异构数据融合整合模块：用于将多组单个异构数据整合模块后的数据进行异构数据融合；所述数据对比模块：用于将收集的到的数据以及融合后的数据进行对比，去除重复，保留有效信息。
[0012]通过采用上述技术方案，利用多组单个异构数据融合整合模块的作用，完成对外界较小样品数据的收集与整合，并且配合数据对比模块将重复的数据去除，且将有效的数据保留，并进行数据融合，最后传输至多源异构数据融合整合模块，使其将多组融合数据再次进行融合，并得到融合数据，而此过程多源异构数据融合整合模块所要处理的数据相对较少，从而降低对设备的负荷，进而大大提高设备的使用效率。
[0013]优选地，所述单个异构数据融合整合模块、多源异构数据融合整合模块的内部皆包括信号采集器、处理器与结果输出模块，所述信号采集器、处理器与结果输出模块，用于对所得到的数据进行整合与输出。
[0014]通过采用上述技术方案，便于保证设备的完整性，更好的完成后续任务。
[0015]优选地，所述信号采集器：用于单源或者多源信息进行收集，所述结果输出模块：用于输出分类器或回归器的判断结果。
[0016]通过采用上述技术方案，利用信号采集器的作用，收集数据种类多样，再利用结果输出模块的作用，将数据进行输出，以便配合后续工作。
[0017]优选地，所述处理器：用于对收集来的数据以及对融合后的数据进行处理整合。
[0018]通过采用上述技术方案，便于对数据进行分析处理。
[0019]优选地，所述信号采集器采集有三个模态的源信息和目标信息，包括人脸信号、步态信号和语音信号。
[0020]通过采用上述技术方案，便于收集设备所需信息，更好的完成任务。
[0021]优选地，所述处理器包括卷积层、激活函数、池化层和全连接层，所述卷积层用于抽取图像特征，所述激活函数用于进行非线性整合，所述池化层用于减少特征图空间尺寸，所述全连接层用于将图像展开进行分类操作。
[0022]通过采用上述技术方案，以便于保证设备的处理数据的能力，以便配合后续工作。
[0023]与现有技术相比，本专利技术的有益效果是：本专利技术在运行时，首先利用多组单个异构数据融合整合模块的作用，完成对外界较小样品数据的收集与整合，并且配合数据对比模块将重复的数据去除，且将有效的数据保留，并进行数据融合，最后传输至多源异构数据融合整合模块，使其将多组融合数据再次进行融合，并得到融合数据，而此过程多源异构数据融合整合模块所要处理的数据相对较少，从而降低对设备的负荷，进而大大提高设备的使用效率。
附图说明
[0024]图1为本专利技术的数据采样处理流程图。
具体实施方式
[0025]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0026]下面根据本专利技术的整体结构，对其实施例进行说明。
[0027]一种基于多模态深度迁移学习机制的多源异构数据融合系统，如图1所示，包括，包括多组单个异构数据融合整合模块、多源异构数据融合整合模块与数据对比模块；多组单个异构数据融合整合模块：用于将细小的数据进行整合融合处理；利用多组单个异构数据融合整合模块的作用，完成对外界较小样品数据的收集与整合。
[0028]数据对比模块：用于将收集的到的数据以及融合后的数据进行对比，去除重复，保留有效信息，配合数据对比模块将重复的数据去除，且将有效的数据保留，并进行数据融合。
[0029]多源异构数据融合整合模块：用于将多组单个异构数据整合模块后的数据进行异构数据融合，传输至多源异构数据融合整合模块，使其将多组融合数据再次进行融合，并得到融合数据，而此过程多源异构数据融合整合模块所要处理的数据相对较少，从而降低对设备的负荷，进而大大提高设备的使用效率；请参阅图1，单个异构数据融合整合模块、多源异构数据融合整合模块的内部皆包括信号采集器、处理器与结果输出模块，信号采集器、处理器与结果输出模块，用于对所得到的数据进行整合与输出，便于保证设备的完整性，更好的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于：包括多组单个异构数据融合整合模块、多源异构数据融合整合模块与数据对比模块；所述多组单个异构数据融合整合模块：用于将细小的数据进行整合融合处理；所述多源异构数据融合整合模块：用于将多组单个异构数据整合模块后的数据进行异构数据融合；所述数据对比模块：用于将收集的到的数据以及融合后的数据进行对比，去除重复，保留有效信息。2.根据权利要求1所述的一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于：所述单个异构数据融合整合模块、多源异构数据融合整合模块的内部皆包括信号采集器、处理器与结果输出模块，所述信号采集器、处理器与结果输出模块，用于对所得到的数据进行整合与输出。3.根据权利要求2所述的一种基于多模态深度迁移学习机制的多源异构数据融合系统...

【专利技术属性】
技术研发人员：刘越，刘晓溪，支雪峰，雷振坤，郭超，陈佳，
申请(专利权)人：江苏新纪翎宇科技有限公司，
类型：发明
国别省市：