一种流式数据处理方法、系统及一种电子设备和存储介质技术方案

本申请公开了一种流式数据处理方法、系统及一种电子设备和存储介质，该方法包括：获取流式数据，并根据匹配规则确定所述流式数据对应的内存中的目标计算模型；根据所述目标计算模型中的处理规则处理所述流式数据，并保存处理结果；判断内存中是否存在到达时间窗口的计算模型，若是，则将所述计算模型对应的处理结果保存至数据库中。本申请提供的流式数据处理方法基于内存的计算模型，在内存接收到流式数据时进行实时计算，确保了流式数据计算的实时性。在面对数据量大、处理规则复杂的流式数据时，将复杂的处理规则预先定义为计算模型，同时利用内存的数据处理能力，实现了计算模型的定义与数据处理的分离，提高了流式数据的处理能力和效率。

A streaming data processing method, system, electronic equipment and storage medium

【技术实现步骤摘要】
一种流式数据处理方法、系统及一种电子设备和存储介质
本申请涉及数据处理
，更具体地说，涉及一种流式数据处理方法、系统及一种电子设备和存储介质。
技术介绍
随着移动互联网的广泛应用以及物联网的发展，企业将处理越来越多的各种数据源，如设备采集数据、监控数据等，数据源会随着时间的推移，源源不断地产生新数据，持续不断的数据形成了流式数据。对流式数据进行实时处理、统计和挖掘成为普适性需求。流式数据具有很强的顺序性和连续到达性，因此在现有技术中对流式数据进行数值统计分析处理的一般做法是先将数据保存到数据库中，然后再启动一个进程执行相应的统计运算SQL(中文全称：结构化查询语言，英文全称：StructuredQueryLanguage)保存到数据库中的数据按规则进行统计计算，最后将计算结果保存到结果表中供应用程序使用。在现有技术中先将数据保存到数据库后计算，使用的是数据库的计算能力，当数据量大，统计规则复杂时数据库压力很大，且计算能力无法水平扩展。另外，在统计计算时需要启动另外的SQL执行进程，因而导致计算实时性不够。因此，如何本文档来自技高网...

【技术保护点】
1.一种流式数据处理方法，其特征在于，包括：/n获取流式数据，并根据匹配规则确定所述流式数据对应的内存中的目标计算模型；/n根据所述目标计算模型中的处理规则处理所述流式数据，并保存处理结果；/n判断内存中是否存在到达时间窗口的计算模型，若是，则将所述计算模型对应的处理结果保存至数据库中。/n

【技术特征摘要】
1.一种流式数据处理方法，其特征在于，包括：
获取流式数据，并根据匹配规则确定所述流式数据对应的内存中的目标计算模型；
根据所述目标计算模型中的处理规则处理所述流式数据，并保存处理结果；
判断内存中是否存在到达时间窗口的计算模型，若是，则将所述计算模型对应的处理结果保存至数据库中。


2.根据权利要求1所述流式数据处理方法，其特征在于，所述保存处理结果，包括：
判断是否到达所述目标计算模型的时间窗口；
若是，则将所述处理结果保存至数据库中；若否，则将所述处理结果保存至内存中。


3.根据权利要求1所述流式数据处理方法，其特征在于，所述保存处理结果，包括：
将所述处理结果直接保存至内存中。


4.根据权利要求1所述流式数据处理方法，其特征在于，所述判断内存中是否存在到达时间窗口的计算模型，若是，则将所述计算模型对应的处理结果保存至数据库中，包括：
以预设的时间周期判断内存中是否存在到达时间窗口的计算模型；
若是，则将所述计算模型对应的处理结果保存至数据库中。


5.根据权利要求1所述流式数据处理方法，其特征在于，所述根据内存中的匹配规则确定所述流式数据对应的目标计算模型，包括：
判断所述流式数据中是否存在目标匹配字段；
若是，则将所述目标匹配字...

【专利技术属性】
技术研发人员：黄明远，刘洪政，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：重庆;50