一种非结构化事件日志数据的划分和存储的方法与装置制造方法及图纸

本发明专利技术提供了一种非结构化事件日志数据的划分和存储的方法与装置，此存储装置包括：数据采集模块、数据传递模块、数据分类模块、数据存储模块，此方法包括：数据采集传递，将不同地点和不同传感器采集的信息数据进行收集；数据划分，将采集的信息数据基于时间和空间的方式进行划分，划分好的数据进入到存储模块进行存储；数据存储，数据采用分片方式进行数据存储。本发明专利技术将不同地点、不同传感器描述的不同事件信息分类保存，加快了后续数据提取、统计和分析。

【技术实现步骤摘要】

本专利技术涉及一种数据存储技术，尤其涉及一种非结构化事件日志数据的划分和存储的方法与装置。
技术介绍
随着网络技术的发展，特别是Internet和Intranet技术的飞快发展，使得非结构化数据的数量日趋增大。这时，主要用于管理结构化数据的关系数据库的局限性暴露地越来越明显。因而，数据库技术相应地进入了“后关系数据库时代”，发展进入基于网络应用的非结构化数据库时代。非结构化数据的迅猛发展，对存储的容量空间是一大考验，非结构化数据的多存储系统不仅在存储能力上具有强容错、高可用和可扩展等特征，并且其可以利用不同类型的存储组件展示一个数据集的多种服务视图来提供更丰富的数据服务。在非结构化数据多存储系统内，主数据库与其它数据存储组件分布在不同的网络节点中，并以网络链路相连。需要同步的数据以字节流的形式在数据链路中传输。由于非结构化数据海量异构的自然属性，它们之间的数据同步过程必须符合如下几个条件：高效性，数据同步组件以较高的吞吐量完成数据的传输；时效性，数据必须以一个较小的延时在存储组件之间同步；可扩展性，数据同步组件必须在系统数据量增大时提供有效的水平扩展手段。非结构数据的划分存储一直是一个难题，不仅影响了存储的信息量，以及存储成本，而且对后续的检索效率和全面性都有很大影响。
技术实现思路
针对上述问题，本专利技术提出了一种非结构化事件日志数据的划分和存储的方法与装置，实现非结构数据存储的时序性，加快后续数据处理分析。本专利技术提出了一种非结构化事件日志数据的划分和存储的方法，包括：a.数据采集传递：将不同地点和不同传感器采集的信息数据进行收集；b.数据划分：将采集的信息数据基于时间和空间的方式进行划分，划分好的数据进入到存储模块进行存储；c.数据存储：数据采用分片方式进行数据存储。进一步，所述数据划分中基于空间的划分方式采用网格的形式进行地理空间的划分，所述网格为对应于地理空间的一个正方形区域，每个网格的地理空间的事件再按照时间先后顺序进行存储，当数据存储量达到储存数据块的储存容量时，数据将自动存入分布式文件系统。进一步，所述数据存储的分片方式为将每个Shard分成一系列的Segment，每个Segment包含一系列的Event，再对Event抽取特定的域Field，以及对整个Event信息进行分词，最后创建全文索引。进一步，所述数据存储利用元信息记录网格和时间段储存到文件的映射信息系中。进一步，所述数据的全文索引实现了数据过滤、数据转换、数据分组和数据聚集的处理方法。本专利技术还提供一种非结构化事件日志数据的划分和存储的装置，包括数据采集模块、数据传递模块、数据分类模块、数据存储模块，所述数据采集模块将收集的数据通过数据传递模块输送到数据分类模块，所述数据分类模块根据时间和空间来划分数据信息，并通过分片方式将数据信息存储到所述数据存储模块中。进一步，所述数据分类模块采用网格的形式进行地理空间的划分，网格为对应于地理空间的一个正方形区域，每个网格的地理空间的事件再按照时间先后顺序进行存储。进一步，所述数据存储模块的分片存储方式为将每个Shard分成一系列的Segment，每个Segment包含一系列的Event，再对Event抽取特定的域Field，以及对整个Event信息进行分词，最后创建全文索引。进一步，所述数据存储模块中采用8MB-16MB的数据块。本专利技术的有益效果为：一种非结构化事件日志数据的划分和存储的方法与装置，可根据不同地点、不同传感器的不同信息数据，根据空间和时序性进行数据划分存储，便于数据的过滤、转换、分组和聚集处理，加快了后续数据的提取、统计和分析效率。附图说明图1为本专利技术一种非结构化事件日志数据的划分和存储的方法流程图；图2为本专利技术一种非结构化事件日志数据的划分和存储的装置示意图。具体实施方式结合图1所示，一种非结构化事件日志数据的划分和存储的方法，包括以下步骤： a.数据采集传递：将不同地点和不同传感器采集的信息数据进行收集；b.数据划分：将采集的信息数据基于时间和空间的方式进行划分，划分好的数据进入到存储模块进行存储；c.数据存储：数据采用分片方式进行数据存储。所述数据划分中基于空间的划分方式采用网格的形式进行地理空间的划分，所述网格为对应于地理空间的一个正方形区域，每个网格的地理空间的事件再按照时间先后顺序进行存储，当数据存储量达到储存数据块的储存容量时，数据将自动存入分布式文件系统。其中，所述数据存储的分片方式为将每个Shard分成一系列的Segment，每个Segment包含一系列的Event，再对Event抽取特定的域Field，以及对整个Event信息进行分词，最后创建全文索引。存储中利用元信息记录网格和时间段储存到文件的映射信息系中。此种存储方法存储的数据全文索引实现了数据过滤、数据转换、数据分组和数据聚集的处理。结合图2所述的一种非结构化事件日志数据的划分和存储的装置，包括数据采集模块、数据传递模块、数据分类模块、数据存储模块，所述数据采集模块将收集的数据通过数据传递模块输送到数据分类模块，所述数据分类模块根据时间和空间来划分数据信息，所述数据存储模块为8MB的数据块，采用分片方式进行数据存储。所述数据分类模块采用网格的形式进行地理空间的划分，网格为对应于地理空间的一个正方形区域，每个网格的地理空间的事件再按照时间先后顺序进行存储。所述数据存储模块的分片存储方式为将每个Shard分成一系列的Segment，每个Segment包含一系列的Event，再对Event抽取特定的域Field，以及对整个Event信息进行分词，最后创建全文索引。实施例一：首先通过数据采集模块将不同地点和传感器的数据信息进行收集，然后通过数据传递模块传递给数据分类模块，根据事件数据的时间和坐标信息，首先采用网格的形式进行空间划分，每个网格为对应地理空间的一个正方形区域，再按照时间的先后排列，最后将划分好的数据存储到数据存储模块，该数据存储模块选用8MB的数据块采用分片存储方式，将每个Shard分成一系列的Segment，每个Segment包含一系列的Event，再对Event抽取特定的域Field，以及对整个Event信息进行分词，最后创建全文索引，实现数据过滤、数据转换、数据分组和数据聚集的处理，便于后续数据检索。实施例二：首先通过数据采集模块将不同地点和传感器的数据信息进行收集，然后通过数据传递模块传递给数据分类模块，根据事件数据的时间和坐标信息，首先采用网格的形式进行空间划分，每个网格为对应地理空间的一个正方形区域，再按照时间的先后排列，最后将划分好的数据存储到数据存储模块，该数据存储模块选用16MB的数据块采用分片存储方式，将每个Shard分成一系列的Segment，每个Segment包含一系列的Event，再对Event抽取特定的域Field，以及对整个Event信息进行分词，最后创建全文索引，实现数据过滤、数据转换、数据分组和数据聚集的处理，便于后续数据检索。以上显示和描述了本专利技术的基本原理和主要特征以及本专利技术的优点。本行业的技术人员应该了解，本专利技术不受上述实施例的限制，上述实施例和说明书中描述的只是说明本专利技术的原理，在不脱离本专利技术精神和范围的前提下，本专利技术还会有各种变化和改进，这些变本文档来自技高网...

【技术保护点】
一种非结构化事件日志数据的划分和存储的方法，包括：a.数据采集传递：将不同地点和不同传感器采集的信息数据进行收集；b.数据划分：将采集的信息数据基于时间和空间的方式进行划分，划分好的数据进入到存储模块进行存储；c.数据存储：数据采用分片方式进行数据存储。

【技术特征摘要】
1.一种非结构化事件日志数据的划分和存储的方法，包括：a.数据采集传递：将不同地点和不同传感器采集的信息数据进行收集；b.数据划分：将采集的信息数据基于时间和空间的方式进行划分，划分好的数据进入到存储模块进行存储；c.数据存储：数据采用分片方式进行数据存储。2.根据权利要求1所述的一种非结构化事件日志数据的划分和存储的方法，其特征在于，所述数据划分中基于空间的划分方式采用网格的形式进行地理空间的划分，所述网格为对应于地理空间的一个正方形区域，每个网格的地理空间的事件再按照时间先后顺序进行存储，当数据存储量达到储存数据块的储存容量时，数据将自动存入分布式文件系统。3.根据权利要求1所述的一种非结构化事件日志数据的划分和存储的方法，其特征在于，所述数据存储的分片方式为将每个Shard分成一系列的Segment，每个Segment包含一系列的Event，再对Event抽取特定的域Field，以及对整个Event信息进行分词，最后创建全文索引。4.根据权利要求3所述的一种非结构化事件日志数据的划分和存储的方法，其特征在于，所述数据存储利用元信息记录网格和时间段储存到文件的映射信息系中。5.根据权利要求3所述的一种非结构化...

【专利技术属性】
技术研发人员：陈凌岳，
申请(专利权)人：安徽天枢信息科技有限公司，
类型：发明
国别省市：安徽;34