事件流处理方法、装置、电子设备、介质和程序产品制造方法及图纸

本公开提供了一种事件流处理方法，可用于大数据技术领域。事件流处理方法包括：采集来自m个数据源系统的原始数据，其中，所述原始数据具有采集时间戳，m为大于等于1的整数；基于终端数据应用系统的请求信息，按照所述采集时间戳聚合预先设定的时间窗口内的所述原始数据，得到窗口事件，其中，所述请求信息为对所述原始数据进行聚合的具体要求；根据设定时间段抽取所述窗口事件，得到抽取结果；以及将所述抽取结果传输至存储库中以供所述终端数据应用系统提取。本公开还包括事件流处理装置、电子设备、介质和计算机程序产品。介质和计算机程序产品。介质和计算机程序产品。

【技术实现步骤摘要】
事件流处理方法、装置、电子设备、介质和程序产品


[0001]本公开涉及大数据
，更具体地，涉及一种事件流处理方法、装置、电子设备、介质和计算机程序产品。

技术介绍

[0002]现有的事件处理方式通常有两种，分别为流处理和批处理。
[0003]其中，流处理即流式处理，流式处理假设数据的潜在价值是数据的新鲜度，需要尽快处理得到结果。在这种方式下，数据以流的方式到达，在数据连续到达的过程中，由于流携带了大量数据，只有小部分的流数据被保存在有限的内存中。流处理方式通常用于在线应用，工作在秒或毫秒级别。
[0004]其中，批处理即批处理方式，在批处理方式中，数据首先被存储，然后再分析，先将数据划分为若干数据块，随后这些数据块被并行处理并以分布的方式产生中间结果，最后这些中间结果被合并产生最终结果。
[0005]在上述两种事件处理方式中，由于数据量大，在传输、转换和计算时需占用大量的cpu资源、内存资源和网络资源，因此会耗费计算资源、内存资源和网络资源。

技术实现思路

[0006]有鉴于此，本公开提供了一种节约本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种事件流处理方法，其特征在于，包括：采集来自m个数据源系统的原始数据，其中，所述原始数据具有采集时间戳，m为大于等于1的整数；基于终端数据应用系统的请求信息，按照所述采集时间戳聚合预先设定的时间窗口内的所述原始数据，得到窗口事件，其中，所述请求信息为对所述原始数据进行聚合的具体要求；根据设定时间段抽取所述窗口事件，得到抽取结果；以及将所述抽取结果传输至存储库中以供所述终端数据应用系统提取。2.根据权利要求1所述的事件流处理方法，其特征在于，所述采集来自各个数据源系统的原始数据，包括：给每个所述数据源系统设置数据接口器，制定m个外部协议，所述m个外部协议与所述m个数据源系统一一对应，通过所述m个外部协议将所述m个数据源系统产生的不同类型的数据采集至数据流管道，其中，所述事件流处理方法在所述数据流管道内实现。3.根据权利要求1所述的事件流处理方法，其特征在于，在所述基于终端数据应用系统的请求信息，按照所述采集时间戳聚合预先设定的时间窗口内的所述原始数据，得到窗口事件之前，所述事件流处理方法还包括：按照预先配置的数据结构对所述原始数据进行整合，得到整合数据，其中，所述预先配置的数据结构包括数据格式和/或数据字段；所述基于终端数据应用系统的请求信息，按照所述采集时间戳聚合预先设定的时间窗口内的所述原始数据，得到窗口事件，包括：基于终端数据应用系统的请求信息，按照所述采集时间戳聚合预先设定的时间窗口内的所述整合数据，得到窗口事件。4.根据权利要求3所述的事件流处理方法，其特征在于，所述基于终端数据应用系统的请求信息，按照所述采集时间戳聚合预先设定的时间窗口内的所述整合数据，得到窗口事件，包括：基于终端数据应用系统的请求信息，利用聚合算法按照所述采集时间戳计算预先设定的时间窗口内的所述整合数据，得到窗口事件。5.根据权利要求1所述的...

【专利技术属性】
技术研发人员：曾胜泓，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：