基于多传感器的多元异构数据流自动入库方法技术

本发明专利技术实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明专利技术方法，包括：处理器接收由至少两个传感器采集的多元异构数据流；所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中，若是，则判断所述多元异构数据是否匹配所述传感器格式信息表，若是，则存储所述多元异构数据至本地流数据库；若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中，则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明专利技术实施例实现了多元异构数据的全自动规范化入库，提高了数据统计分析处理效率，降低人力、时间、成本耗费。

【技术实现步骤摘要】

本专利技术实施例涉及数据处理领域，尤其涉及一种基于多传感器的多元异构数据流 自动入库方法。
技术介绍
对于工程项目而言，实施某项监测往往由许多传感器共同采集数据，从而需要处 理器根据多个传感器采集的数据解决工程项目所面对的问题。 由于传感器的种类和型号多种多样，所采集的监测数据格式、范围、标准都不相 同，导致不能统一自动识别并处理多个传感器的多元异构数据流的入库，需要针对每种传 感器生成的数据流开发专门的入库程序进行处理，同时由于使用环境的影响，传感器的稳 定性可能会下降，比如，传感器所应用的工作环境复杂多变、数据传输环境恶劣、通信距离 较远、网络环境不稳定等情况，传感器所采集的数据会出现丢失、错误、无序等异常问题。目 前，对于多个传感器所采集的多元异构数据流的处理办法多采用预先制定标准化规范，之 后分别开发针对某一系列传感器的转换程序对该数据流进行入库。 但是，该种数据处理方式需要开发针对每种传感器的一套程序来处理数据进行入 库，因此存在着扩展性差，开发成本高，需要专业人员维护等不足，并且使多个处理程序同 时运行竞争系统资源，可能影响整个数据采集系统的稳定性。
技术实现思路
本专利技术实施例提供一种，以克服现 有技术的问题。提出一种数据格式信息表保存所有传感器数据信息，通过数据格式信息表 的维护来实现多个新传感器数据流的扩展。提出统一自动处理多传感器的多元异构数据流 入库的方法。提出多元异构数据的丢失、错误、无序等异常情况自动修复的方法。 本专利技术实施例传感器的多元异构数据流自动入库处理方法，包括： 处理器接收由至少两个传感器采集的多元异构数据流； 所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息 表中，若存在，则根据所述传感器格式信息表存储所述多元异构数据至本地流数据库，若 不存在，则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表 中，并根据添加后的传感器格式信息表存储所述多元异构数据。 进一步地，所述根据所述传感器格式信息表存储所述多元异构数据至本地流数据 库，包括： 所述处理器判断所述多元异构数据是否匹配所述传感器格式信息表，若是，则存 储所述多元异构数据至本地流数据库；若否，则将异常情况记录在监测日期表中。 进一步地，所述传感器格式信息表包括传感器名称、数据存放路径、传感器采集周 期、日期文件夹格式、数据文件名格式、采集周期、时间标签格式、表头行数、数据行数、数据 分隔符、文件编码、最新监测日期、监测日期表名，每一行的行号、内容格式，每一列的列号、 监测量名、数据格式、最大值、最小值、默认值、超出最大值时修复函数、小于最小值时修复 函数、数据丢失时修复函数。 进一步地，所述将异常情况记录在监测日期表中之后，还包括： 所述处理器根据所述监测日期表、异常字符表以及修复函数表修复所述多元异构 数据流中的所述异常字符，所述异常字符表包括异常字符对应的传感器名称、字符名称、字 符所对应的列号、使用的修复函数以及默认替换值，所述修复函数表包括数据丢失补全函 数、错误数据修正函数、无序数据排序函数。 进一步地，所述处理器接收由至少两个传感器采集的多元异构数据流之前，还包 括： 所述处理器根据传感器的数据文件格式建立所述传感器格式信息表。 本专利技术实施例处理器接收由至少两个传感器采集的多元异构数据流，判断该多元 异构对应的传感器是否存在于传感器格式信息表中，若是，则判断该多元异构数据是否匹 配该传感器格式信息表，若匹配，则将该多元异构数据存储至本地流数据库；若该多元异构 数据流对应的传感器不存在于该传感器格式信息表中，则将该多元异构数据流对应的传感 器格式信息添加到该传感器格式信息表中，并根据添加后的传感器格式信息表将数据存储 至本地流数据库。通过传感器格式信息表的维护实现了多个传感器数据流的扩展。 本专利技术的有益效果为： 1、对多传感器采集的多元异构数据流实现了全自动规范化入库，有效提高了数据 库管理的动态实时性同步性，缩短了数据查询时间，提高了数据统计分析处理效率，降低人 力、时间、成本耗费； 2、对格式、范围、标准不一致的海量数据流进行自动识别和分类统一管理，方便了 数据的管理和应用，是实现数据高效存储、查询、分析、整合、处理、服务和资源共享的前提， 有利于挖掘数据的最大化价值，保障工程项目生产的安全性和运行的秩序化； 3、对持续不断的数据流自动纠正、修复、排序等规范化处理入库，确保了数据的可 用性、可靠性、完整性、准确性、延续性和易维护性，使数据库管理更加科学合理有序。【附图说明】 为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述的附图是本专利技术 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根 据这些附图获得其他的附图。 图1为本专利技术基于多传感器的多元异构数据流处理方法实施例一的流程图； 图2为本专利技术风力传感器采集的数据示意图； 图3为本专利技术GPS传感器采集的数据示意图； 图当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于多传感器的多元异构数据流自动入库处理方法，其特征在于，包括：处理器接收由至少两个传感器采集的多元异构数据流；所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中，若存在，则根据所述传感器格式信息表存储所述多元异构数据至本地流数据库；若不存在，则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中，并根据添加后的传感器格式信息表存储所述多元异构数据。

【技术特征摘要】

【专利技术属性】
技术研发人员：唐达，包乐尔，岳前进，时忠民，冯加果，孙旭，瞿沙沙，孔祥佳，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21