一种时序数据的事件上下文关联处理方法及系统技术方案

本发明专利技术公开了一种时序数据的事件上下文关联处理方法及系统，首先定义事件上下文关联逻辑，包括相邻事件关联逻辑以及上下文归并处理逻辑两部分，获取到事件的数据和时间戳后，读取计算机存储器中的中间结果并进行归并处理，最后进行进行事件上下文关联处理，得到唯一的上下文关联关联处理结果。本发明专利技术克服了现有技术方案中耗时长、效率低的缺陷，能快速地进行海量时序数据的事件上下文关联处理；另外，本发明专利技术提前计算好了中间结果，所以在查询时避免了大量无用的计算机重复运算，响应速度极快；此外，中间结果是跟着系统时间移动而不断变化的，能够达到时间窗口平滑移动的目的。本发明专利技术能够显著提升时序数据的事件上下文关联处理的效率。

【技术实现步骤摘要】
一种时序数据的事件上下文关联处理方法及系统
本专利技术涉及数据处理系统或方法
，具体涉及一种时序数据的事件上下文关联处理方法与系统。
技术介绍
如今，互联网技术迅速发展，海量用户在互联网上进行页面浏览、资源下载、信息搜索等操作。这些人类操作包含着许多具体的复杂事件，比如在页面停留30秒、连续点击某个链接5次、向网站上传大小为2MB的数据等。当多个事件接连发生时，相邻事件之间包含着上下文关联信息，从中可以体现出用户活动的行为特征，或者作为某些异常情况的监控，比如突然增长的网络流量、突然变换的位置信息等。因此，这些事件上下文关联信息具有很高的应用价值，在自动化推荐、数据挖掘、网络安全、风险监控等领域，均需要进行事件上下文关联处理。然而，在流处理系统中，往往对每条输入系统的数据进行即时的处理，并不保留每条数据的状态，因此，如何维护数据的上下文关联信息，并支持快速的查询，是一个难点。此外，目前的网络事件来源广、数量多、跨越时间长，而事件上下文关联处理需要分析的数据维度高、耗费资源多。在这样的场景中，现有的针对时序数据的事件上下文关联处理方法及系统，具有耗时长、效率低的缺陷。这是因为现有方法及系统的处理过程与查询分析逻辑复杂且效率低下，包含大量不必要的重复的计算机操作。以图2所示场景为例，现有技术将执行以下步骤来进行事件上下文关联处理：若需进行16:00-18:00的事件上下文处理，则需要从远到近遍历该时间段内的全部4个数据，并使用预定义的相邻事件关联逻辑对每一对相邻事件进行处理，还需要使用预定义的上下文归并处理逻辑进行归并；此后如果需要进行15:00-18:00的事件上下文处理，则需要遍历全部8个事件。然而这当中明显有在前一次处理中已经执行过的重复逻辑，可现有技术仍然执行它们，导致不必要的计算机资源浪费，处理效率低下。当前亟需一种时序数据的事件上下文关联处理方法和系统，能够克服现有技术方案中耗时长、效率低的缺陷，快速地进行海量时序数据的事件上下文关联处理，而且能支持指定时间窗口的查询。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种时序数据的事件上下文关联处理方法及系统。本专利技术的目的是通过以下技术方案来实现的：一种时序数据的事件上下文关联处理方法，该方法利用计算机存储器实现，具体包括以下步骤：步骤1，针对用户操作引发的事件，定义事件上下文关联逻辑；所述事件上下文关联逻辑包括相邻事件关联逻辑以及上下文归并处理逻辑两部分；步骤2，每当用户操作引发事件时，对该事件的数据和时间戳执行获取行为；将该事件称作“本次事件”；将发生在“本次事件”之前的事件中时间戳最大的一次事件称作“上次事件”。所述获取行为通过提供程序接口实现实时的流式获取；步骤3，根据本次事件的时间戳，读取计算机存储器中的中间结果R1，若本次事件为首次事件，则R1的值为空；否则，R1的值为上次事件进行步骤3时写入计算机存储器的R3；使用本次事件的数据和时间戳，进行中间结果构造，得到R2；将R1与R2根据相邻事件关联逻辑处理得到关联处理结果，然后根据上下文归并处理逻辑将得到的关联处理结果以及R1和R2进行中间结果归并处理得到R3，将R3写入计算机存储器；步骤4，根据查询时间段，读取该时间段内计算机存储器中的中间结果R3，进行事件上下文关联处理；当查询时间段跨越多个中间结果R3时，将所有中间结果R3按时间从远到近逐个进行中间结果归并处理；根据中间结果归并处理后的唯一中间结果R3获得上下文关联处理结果。进一步地，步骤3中使用本次事件的数据和时间戳，进行中间结果构造的方法为：对于本次事件E，具有数据d和时间戳s。初始化一个中间结果R，该中间结果具有起始数据b、终止数据e、关联处理结果r、时间标记t四个部分。将b和e的值均置为d，将t置为s，将r置为空值。则R即为构造完成的中间结果R2。进一步地，步骤3中的中间结果归并处理的方法为：将两个中间结果R1和R2按照时间标记t排序，R1的时间标记小于R2的时间标记，R1在R2之前。使用R1的终止数据e与R2的起始数据b，执行步骤1中定义的相邻事件关联逻辑，得到关联处理结果r0。使用r0、R1中包含的关联处理结果r1、R2中包含的关联处理结果r2，执行步骤1中定义的上下文归并处理逻辑，得到新的中间结果R3中的r3。R3的e的值为R2的e的值；R3的b的值为R1的b的值；R3的t的值为R1的t的值。R3即为中间结果归并处理结果。进一步地，步骤4中的中间结果归并处理的方法为：将时间最远的中间结果R3赋值给R1，将时间第二远的中间结果R3赋值给R2，并将时间最远的中间结果R3与时间第二远的中间结果R3删除，之后依据步骤3中的中间结果归并处理的方法对R1和R2进行归并处理；依此方式继续进行步骤4中的中间结果归并处理，直到得到唯一的中间结果R3时，根据R3的r值获得上下文关联处理结果。进一步地，步骤4中的查询操作和步骤2中数据和时间戳的获取行为能够同时进行。一种时序数据的事件上下文关联处理系统，该系统利用计算机存储器实现，包括事件上下文关联逻辑定义模块、局部事件信息获取模块、事件上下文归并模块和事件上下文关联查询模块：所述事件上下文关联逻辑定义模块，用于针对用户操作引发的事件，定义事件上下文关联逻辑；所述事件上下文关联逻辑包括相邻事件关联逻辑以及上下文归并处理逻辑两部分；所述局部事件信息获取模块，用于在每当用户操作引发事件时，对该事件的数据和时间戳执行获取行为；将该事件称作“本次事件”；将发生在“本次事件”之前的事件中时间戳最大的一次事件称作“上次事件”。所述获取行为通过提供程序接口实现实时的流式获取；所述事件上下文归并模块，用于根据本次事件的时间戳，读取计算机存储器中的中间结果R1，若本次事件为首次事件，则R1的值为空；否则，R1的值为上次事件运行事件上下文归并模块时写入计算机存储器的R3；使用本次事件的数据和时间戳，进行中间结果构造，得到R2；将R1与R2根据相邻事件关联逻辑处理得到关联处理结果，然后根据上下文归并处理逻辑将得到的关联处理结果以及R1和R2进行中间结果归并处理得到R3，将R3写入计算机存储器；所述事件上下文关联查询模块，用于根据查询时间段，读取该时间段内计算机存储器中的中间结果R3，进行事件上下文关联处理；当查询时间段跨越多个中间结果R3时，将所有中间结果R3按时间从远到近逐个进行中间结果归并处理；根据中间结果归并处理后的唯一中间结果R3获得上下文关联处理结果。进一步地，事件上下文归并模块中使用本次事件的数据和时间戳，进行中间结果构造的方法为：对于本次事件E，具有数据d和时间戳s。初始化一个中间结果R，该中间结果具有起始数据b、终止数据e、关联处理结果r、时间标记t四个部分。将b和e的值均置为d，将t置为s，将r置为空值。则R即为构造完成的中间结果R2。进一步地，事件上下文归并模块中的中间结果归并处理的方法为：将两个中间结果R1和R2按照时本文档来自技高网...

【技术保护点】
1.一种时序数据的事件上下文关联处理方法，其特征在于，该方法利用计算机存储器实现，具体包括以下步骤：/n步骤1，针对用户操作引发的事件，定义事件上下文关联逻辑；所述事件上下文关联逻辑包括相邻事件关联逻辑以及上下文归并处理逻辑两部分；/n步骤2，每当用户操作引发事件时，对该事件的数据和时间戳执行获取行为；将该事件称作“本次事件”；将发生在“本次事件”之前的事件中时间戳最大的一次事件称作“上次事件”。所述获取行为通过提供程序接口实现实时的流式获取；/n步骤3，根据本次事件的时间戳，读取计算机存储器中的中间结果R1，若本次事件为首次事件，则R1的值为空；否则，R1的值为上次事件进行步骤3时写入计算机存储器的R3；使用本次事件的数据和时间戳，进行中间结果构造，得到R2；将R1与R2根据相邻事件关联逻辑处理得到关联处理结果，然后根据上下文归并处理逻辑将得到的关联处理结果以及R1和R2进行中间结果归并处理得到R3，将R3写入计算机存储器；/n步骤4，根据查询时间段，读取该时间段内计算机存储器中的中间结果R3，进行事件上下文关联处理；当查询时间段跨越多个中间结果R3时，将所有中间结果R3按时间从远到近逐个进行中间结果归并处理；根据中间结果归并处理后的唯一中间结果R3获得上下文关联处理结果。/n...

【技术特征摘要】
1.一种时序数据的事件上下文关联处理方法，其特征在于，该方法利用计算机存储器实现，具体包括以下步骤：
步骤1，针对用户操作引发的事件，定义事件上下文关联逻辑；所述事件上下文关联逻辑包括相邻事件关联逻辑以及上下文归并处理逻辑两部分；
步骤2，每当用户操作引发事件时，对该事件的数据和时间戳执行获取行为；将该事件称作“本次事件”；将发生在“本次事件”之前的事件中时间戳最大的一次事件称作“上次事件”。所述获取行为通过提供程序接口实现实时的流式获取；
步骤3，根据本次事件的时间戳，读取计算机存储器中的中间结果R1，若本次事件为首次事件，则R1的值为空；否则，R1的值为上次事件进行步骤3时写入计算机存储器的R3；使用本次事件的数据和时间戳，进行中间结果构造，得到R2；将R1与R2根据相邻事件关联逻辑处理得到关联处理结果，然后根据上下文归并处理逻辑将得到的关联处理结果以及R1和R2进行中间结果归并处理得到R3，将R3写入计算机存储器；
步骤4，根据查询时间段，读取该时间段内计算机存储器中的中间结果R3，进行事件上下文关联处理；当查询时间段跨越多个中间结果R3时，将所有中间结果R3按时间从远到近逐个进行中间结果归并处理；根据中间结果归并处理后的唯一中间结果R3获得上下文关联处理结果。


2.根据权利要求1所述的一种时序数据的事件上下文关联处理方法，其特征在于，步骤3中使用本次事件的数据和时间戳，进行中间结果构造的方法为：
对于本次事件E，具有数据d和时间戳s。初始化一个中间结果R，该中间结果具有起始数据b、终止数据e、关联处理结果r、时间标记t四个部分。将b和e的值均置为d，将t置为s，将r置为空值。则R即为构造完成的中间结果R2。


3.根据权利要求1所述的一种时序数据的事件上下文关联处理方法，其特征在于，步骤3中的中间结果归并处理的方法为：
将两个中间结果R1和R2按照时间标记t排序，R1的时间标记小于R2的时间标记，R1在R2之前。使用R1的终止数据e与R2的起始数据b，执行步骤1中定义的相邻事件关联逻辑，得到关联处理结果r0。使用r0、R1中包含的关联处理结果r1、R2中包含的关联处理结果r2，执行步骤1中定义的上下文归并处理逻辑，得到新的中间结果R3中的r3。R3的e的值为R2的e的值；R3的b的值为R1的b的值；R3的t的值为R1的t的值。R3即为中间结果归并处理结果。


4.根据权利要求1所述的一种时序数据的事件上下文关联处理方法，其特征在于，步骤4中的中间结果归并处理的方法为：
将时间最远的中间结果R3赋值给R1，将时间第二远的中间结果R3赋值给R2，并将时间最远的中间结果R3与时间第二远的中间结果R3删除，之后依据步骤3中的中间结果归并处理的方法对R1和R2进行归并处理；依此方式继续进行步骤4中的中间结果归并处理，直到得到唯一的中间结果R3时，根据R3的r值获得上下文关联处理结果。


5.根据权利要求1所述的一种时序数据的事件上下文关联处理方法，其特征在于，步骤4中的查询操作和步骤2中数据和时间戳的获取行为能够同时进行。


6.一种时序数据的事件上下文关联处理系统，其特征在于，该系统利用计算机存储器实现，包括事件上下文关联逻辑定义模块、局部...

【专利技术属性】
技术研发人员：王新根，王刚，王新宇，胡一夫，鲁萍，黄滔，李白，陈伟，
申请(专利权)人：浙江邦盛科技有限公司，
类型：发明
国别省市：浙江;33