数据管理方法及数据管理系统技术方案

本发明专利技术提供了一种数据管理方法及数据管理系统，其中，数据管理方法包括：监测是否获取到目标流式数据；在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果；输出所述关联结果。通过本发明专利技术的技术方案，能够对获取到的流式数据进行关联分析，以满足用户对数据的处理需求。

Data management method and data management system

The present invention provides a method of data management and data management system, which includes data management methods: monitoring whether access to the target data stream; in determining access to the object data stream, data stream on the target content of contextual analysis, in order to get the output of the correlation results; the results of correlation. Through the technical proposal of the invention, association analysis can be carried out to obtain the flowing data so as to satisfy the user's demand for data processing.

【技术实现步骤摘要】
数据管理方法及数据管理系统
本专利技术涉及计算机
，具体而言，涉及一种数据管理方法和一种数据管理系统。
技术介绍
LogStash是一款轻量级的日志搜集处理框架，是一个数据管道，可以方便的把分散的、多样化的、多种类型的日志搜集起来，包括流式日志数据，然后传输到指定的位置，比如某个服务器或者文件。LogStash主要包含三个部分：Inputs(输入)、Fillters(过滤)及Outputs(输出)，Inputs是指日志数据传输到Logstash中，Fillters是指在LogStash把收集到的日志数据进行过滤，Outputs是LogStash处理管道的最末端组件，处理数据的输出，通常在对流式数据收集后，没有对其任何处理，直接输出到某个位置，无法满足用户对数据的处理需求，对此目前还没有有效的解决方案。
技术实现思路
本专利技术正是基于上述技术问题至少之一，提出了一种新的数据管理方案，能够对获取到的流式数据进行关联分析，以满足用户对数据的处理需求。有鉴于此，本专利技术提出了一种数据管理方法，包括：监测是否获取到目标流式数据；在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果；输出所述关联结果。在该技术方案中，通过监测是否获取到目标流式数据，在确定获取到目标流式数据时，对目标流式数据的内容进行上下文关联分析，以便于对流式数据进行横向拓展，满足用户对数据的处理需求。在上述技术方案中，优选地，在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前，还包括：创建至少一个时间窗口，以及配置每个所述时间窗口对应的关联信息；所述对所述目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析。在该技术方案中，通过设置时间窗口，对流经时间窗口的目标流式数据进行上下文关联分析，提高了对目标流式数据的处理效率。在上述任一项技术方案中，优选地，所述根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，基于正则表达式匹配方式对流经每个所述时间窗口的目标流式数据进行上下文关联分析。在该技术方案中，在对目标流式数据的处理过程中，具体可采用正则表达式匹配方法来对流经每个时间窗口的目标流式数据进行上下文关联分析，确保了对目标流式数据分析结果的准确性。其中，正则表达式可基于预定义的一些特定字符及这些特定字符的组合以对待处理数据进行过滤匹配，其具有灵活性、逻辑性及功能性强等优势。在上述任一项技术方案中，优选地，还包括：在接收到设置任一所述时间窗口的指令时，对任一所述时间窗口和任一所述时间窗口对应的关联信息进行设置。在该技术方案中，用户可根据实际需求来对时间窗口及其对应的关联信息进行设置，以满足不同用户需求，提升了用户的使用体验。在上述任一项技术方案中，优选地，在所述确定获取到所述目标流式数据的步骤之后，以及在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前还包括：对所述目标流式数据进行过滤处理。在上述任一项技术方案中，优选地，所述目标流式数据包括流式日志数据。根据本专利技术的第二方面，提出了一种数据管理系统，包括：监测单元，用于监测是否获取到目标流式数据；处理单元，用于在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果；输出单元，用于输出所述关联结果。在该技术方案中，通过监测是否获取到目标流式数据，在确定获取到目标流式数据时，对目标流式数据的内容进行上下文关联分析，以便于对流式数据进行横向拓展，满足用户对数据的处理需求。在上述技术方案中，优选地，还包括：创建单元，用于创建至少一个时间窗口，以及配置每个所述时间窗口对应的关联信息；所述处理单元具体用于：根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析。在该技术方案中，通过设置时间窗口，对流经时间窗口的目标流式数据进行上下文关联分析，提高了对目标流式数据的处理效率。在上述技术方案中，优选地，所述处理单元具体用于：根据每个所述时间窗口对应的关联信息，基于正则表达式匹配方式对流经每个所述时间窗口的目标流式数据进行上下文关联分析。在该技术方案中，在对目标流式数据的处理过程中，具体可采用正则表达式匹配方法来对流经每个时间窗口的目标流式数据进行上下文关联分析，确保了对目标流式数据分析结果的准确性。其中，正则表达式可基于预定义的一些特定字符及这些特定字符的组合以对待处理数据进行过滤匹配，其具有灵活性、逻辑性及功能性强等优势。在上述任一项技术方案中，优选地，还包括：设置单元，用于在接收到设置任一所述时间窗口的指令时，对任一所述时间窗口和任一所述时间窗口对应的关联信息进行设置。在该技术方案中，用户可根据实际需求来对时间窗口及其对应的关联信息进行设置，以满足不同用户需求，提升了用户的使用体验。在上述任一项技术方案中，优选地，所述处理单元还用于：在对所述目标流式数据的内容进行上下文关联分析之前，对所述目标流式数据进行过滤处理。在上述任一项技术方案中，优选地，所述目标流式数据包括流式日志数据。通过以上技术方案，能够对获取到的流式数据进行关联分析，以满足用户对数据的处理需求。附图说明图1示出了根据本专利技术的第一个实施例的数据管理方法的示意流程图；图2示出了根据本专利技术的实施例的数据管理系统的示意框图；图3示出了根据本专利技术的第二个实施例的数据管理方法的示意流程图；图4示出了根据本专利技术的第三个实施例的数据管理方法的示意流程图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。图1示出了根据本专利技术的第一个实施例的数据管理方法的示意流程图。如图1所示，根据本专利技术的第一个实施例的数据管理方法，包括：步骤102，监测是否获取到目标流式数据。步骤104，在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果。步骤106，输出所述关联结果。在该技术方案中，通过监测是否获取到目标流式数据，在确定获取到目标流式数据时，对目标流式数据的内容进行上下文关联分析，以便于对流式数据进行横向拓展，满足用户对数据的处理需求。在上述技术方案中，优选地，在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前，还包括：创建至少一个时间窗口，以及配置每个所述时间窗口对应的关联信息；所述对所述目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析。在该技术方案中，通过设置时间窗口，对流经时间窗口的目标流式数据进行上下文关联分析，提高了对目标流式数据的处理效率。在上述任一项技术方案中，优选地，所述根据每个所述时间窗口对应的关联信息，对流经本文档来自技高网...

【技术保护点】
一种数据管理方法，其特征在于，包括：监测是否获取到目标流式数据；在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果；输出所述关联结果。

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：监测是否获取到目标流式数据；在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果；输出所述关联结果。2.根据权利要求1所述的数据管理方法，其特征在于，在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前，还包括：创建至少一个时间窗口，以及配置每个所述时间窗口对应的关联信息；所述对所述目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析。3.根据权利要求2所述的数据管理方法，其特征在于，所述根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，基于正则表达式匹配方式对流经每个所述时间窗口的目标流式数据进行上下文关联分析。4.根据权利要求2所述的数据管理方法，其特征在于，还包括：在接收到设置任一所述时间窗口的指令时，对任一所述时间窗口和任一所述时间窗口对应的关联信息进行设置。5.根据权利要求1至4中任一项所述的数据管理方法，其特征在于，在所述确定获取到所述目标流式数据的步骤之后，以及在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前还包括：对所述目标流式数据进行过滤处理。6.根据权利要求1至...

【专利技术属性】
技术研发人员：黄韶军，
申请(专利权)人：深圳中兴网信科技有限公司，
类型：发明
国别省市：广东,44