一种多系统大数据的处理及融合方法技术方案

本发明专利技术公开了一种多系统大数据的处理及融合方法，属于计算机信息实时处理技术，包括：根据各子系统采集到的多源数据获得真值系统的标准数据，并确定参数的动态赋值方法；剔除各子系统采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源数据实时分级信息融合；本发明专利技术通过建立真值系统获得各种采集方式正确的初始赋值参数，对真实采集到的数据进行异常剔除，缺失数据根据历史数据进行合理填补以保证数据的准确性和完整性，对不同类别的采集方式获得的数据进行分级逐级融合处理以保证数据的可靠性，融合过程的快速性。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了，属于计算机信息实时处理技术，包括：根据各子系统采集到的多源数据获得真值系统的标准数据，并确定参数的动态赋值方法；剔除各子系统采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源数据实时分级信息融合；本专利技术通过建立真值系统获得各种采集方式正确的初始赋值参数，对真实采集到的数据进行异常剔除，缺失数据根据历史数据进行合理填补以保证数据的准确性和完整性，对不同类别的采集方式获得的数据进行分级逐级融合处理以保证数据的可靠性，融合过程的快速性。【专利说明】【
】本专利技术涉及大数据的实时智能融合处理
，尤其涉及。【
技术介绍
】信息融合最早应用于军事领域，是组合多源信息和数据完成目标检测、关联、状态评估的多层次、多方面的过程。这种信息融合的目的是获得准确的目标识别、完整而及时的战场态势和威胁评估。随着传感器技术、计算机科学和信息技术的发展，各种面向复杂应用背景的多传感器系统大量涌现，使得多渠道的信息获取、处理和融合成为可能，并且在金融管理、心理评估和预测、医疗诊断、气象预报、组织管理决策、机器人视觉、交通管制、遥感遥测等诸多领域，人们都认识到把多个数据源中的信息综合起来能够提高工作的成绩。因此，多源信息融合技术在军事领域和民用领域得到了广泛的重视和成功的应用，其理论和方法已成为智能信息处理及控制的一个重要研究方向。现有技术更集中在数据级信息融合，其直接对未经预处理的传感器原始观测数据进行综合和分析。优点是保持了尽可能多的客体信息，基本不发生信息丢失或遗漏；缺点是处理数据太多，耗费时间太长，实时性差。另一种信息融合是特征级信息融合，亦称文件级信息融合，是对已经过传感器初步预处理之后，在传感器实现基本特征提取、提供文件报告的基础上执行的综合分析处理。其优点是既保持足够数量的重要信息，又已经过可容许的数据压缩，大大稀释了数据量，可以提高处理过程的实时性；而且特别有价值的是在模式识另O、图像分析、计算机视觉等现代高技术应用中，实际都以特征提取为基础，都已在这方面开展大量工作。特征级信息融合的缺点是，不可避免地会有某些信息损失，因而需对传感器预处理提出较严格的要求。由于数据的多源性，必须运用一种有效的方法合理协调多源数据，充分综合有用信息，提高在多变环境中正确决策的能`力。数据融合技术是一种可满足该要求的良好工具。数据的多源性和复杂性要求信息处理必须拥有数据融合技术，这样才能提供信息的稳健性。现有的数据融合技术更集中在数据级信息融合，融合过程未对数据根据传感器的稳定性进行分级，并且未对传感器采集到的数据进行校验剔除，数据逐级融合。因此，有必要提出一种新的技术方案来解决上述缺点。【
技术实现思路
】本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。本专利技术的目的在于提供，包括:根据各子系统采集到的多源数据获得真值系统的标准数据，并确定参数的动态赋值方法；剔除所述各子系统采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源数据实时分级信息融合。本专利技术通过建立真值系统获得各种采集方式正确的初始赋值参数，对真实采集到的数据进行异常剔除，缺失数据根据历史数据进行合理填补以保证数据的准确性和完整性，对不同类别的采集方式获得的数据进行分级逐级融合处理以保证数据的可靠性，融合过程的快速性。经该融合过程，实现融合的快速、准确、可靠等效果，真值系统解决了现有技术初始参数赋值不准确的问题；对异常数据剔除、缺失数据填补克服了现有技术采集终端性能不稳定，以及采集终端损坏的难题；采用D-S理论对处理后的数据进行分级融合处理，解决了数据融合的多源性问题。【【专利附图】【附图说明】】 结合参考附图及接下来的详细描述，本专利技术将更容易理解，其中:图1为本专利技术实施例提供的多系统大数据的处理及融合方法流程图；图2为本专利技术实施例中对参数动态赋值的方法流程图。【【具体实施方式】】本专利技术的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接或间接地模拟本专利技术技术方案的运作。为透彻的理解本专利技术，在接下来的描述中陈述了很多特定细节。而在没有这些特定细节时，本专利技术则可能仍可实现。所属领域内的技术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换句话说，为避免混淆本专利技术的目的，由于熟知的方法、程序、成分和电路已经很容易理解，因此它们并未被详细描述。此处所称的“一个实施例”或“实施例”是指可包含于本专利技术至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本专利技术的限制。本专利技术实施例提供的数据融合过程能够实现融合的快速、准确、可靠等效果，真值系统解决了现有技术初始参数赋值不准确的问题；对异常数据剔除、缺失数据填补克服了现有技术采集终端性能不稳定，以及采集终端损坏的难题；采用D-S理论对处理后的数据进行分级融合处理，解决了数据融合的多源性问题。图1为本专利技术实施例提供的多系统大数据的处理及融合方法流程图，包括以下步骤:步骤101、获得真值系统,并确定D-S (Dempster-Sharer证据理论多源数据融合方法)中参数的动态赋值方法。所述真值系统标准数据是通过多个系统在不同时段多次测试，并获得时段t的平均值，作为标准值:【权利要求】1.，其特征在于，包括: 根据各子系统采集到的多源数据获得真值系统的标准数据，并确定参数的动态赋值方法；剔除所述各子系统采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源数据实时分级信息融合。2.根据权利要求1所述的多系统大数据的处理及融合方法，其特征在于，所述获得真值系统的标准数据的步骤具体包括: 通过多个系统在不同时段多次测试，并获得时段t的平均值，作为标准值: 3.根据权利要求2所述的多系统大数据的处理及融合方法，其特征在于，所述确定参数的动态赋值方法的步骤具体包括: 将时段t各子系统采集到的数据，拆分出红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据，作为时段t的各类信息数据。 分别以红外数据、烟感数据、加速度数据、微波/线圈数据、视频监控数据以及人脸和车牌识别数据在时段t的平均值为标准值计算其标准差:4.根据权利要求3所述的多系统大数据的处理及融合方法，其特征在于，所述剔除各子系统采集到的数据集合中的异常数据的步骤具体包括: 分别计算时段t对应分类信息数据X与历史信息数据H，计算X、H的数学期望E (X)、E (H)，计算时段t各类信息数据X与历史信息数据H的标准差D (X)、D (H)，如果: 数学期望E(X)与数学期望E(H)差值在设定阀值th范围内，且D(X)与D(H)差值同样在设定阀值th'内，则该时刻数据没有发生异常； 数学期望E(X)与数学期望E(H)超本文档来自技高网...

【技术保护点】
一种多系统大数据的处理及融合方法，其特征在于，包括：根据各子系统采集到的多源数据获得真值系统的标准数据，并确定参数的动态赋值方法；剔除所述各子系统采集到的数据集合中的异常数据，并进行历史数据的补偿；对完成数据补偿的多源数据实时分级信息融合。

【技术特征摘要】

【专利技术属性】
技术研发人员：徐钰青，
申请(专利权)人：恒东信息科技无锡有限公司，
类型：发明
国别省市：