流数据处理方法、系统、电子设备及可读存储介质技术方案

本说明书实施例提供了一种流数据处理方法，先通过预先配置的转换规则，将带有相应标识信息的消息均转换为包含该转换规则中的元素信息的事件，形成事件流，然后再根据预先配置的加工逻辑对该事件流进行处理，并按照预先配置的结果管理规则对处理结果进行管理，有效地简化了流数据处理过程。

【技术实现步骤摘要】
流数据处理方法、系统、电子设备及可读存储介质
本说明书实施例涉及数据处理
，尤其涉及一种流数据处理方法、系统、电子设备及可读存储介质。
技术介绍
目前随着业务的发展，特别是风险防控的场景，对实时攻防的要求越来越高，所以对实时流数据的加工处理和查询变的越来越迫切。但是现有的流式数据处理产品基本都需要用户理解编译语言或处理框架，入门成本较高。因此，需要一种简单易行的流数据处理方案。
技术实现思路
本说明书实施例提供了一种流数据处理方法、系统、电子设备及可读存储介质。第一方面，本说明书实施例提供了一种流数据处理方法，包括：接收消息流，所述消息流包括多个消息，每个所述消息均包含标识信息；根据每个消息的标识信息在预先配置的规则信息库中查找与该标识信息关联的转换规则，其中，所述规则信息库中存储有标识信息与转换规则之间的关联信息，所述转换规则包括元素信息和处理逻辑；根据所查找到的转换规则中的处理逻辑将相应消息转换为包含所述元素信息的事件，形成相应的事件流；根据预先配置的加工逻辑对所述事件流进行处理，得到处理结果，并按照预先配置的结果管理规则对所述处理结果进行管理。第二方面，本说明书实施例提供了一种流数据处理系统，包括：接收模块、查找模块、转化模块以及加工模块。接收模块，用于接收消息流，所述消息流包括多个消息，每个所述消息均包含标识信息。查找模块，用于根据每个消息的标识信息在预先配置的规则信息库中查找与该标识信息关联的转换规则，其中，所述规则信息库中存储有标识信息与转换规则之间的关联信息，所述转换规则包括元素信息和处理逻辑。转化模块，用于根据所查找到的转换规则中的处理逻辑将相应消息转换为包含所述元素信息的事件，形成相应的事件流。加工模块，用于根据预先配置的加工逻辑对所述事件流进行处理，得到处理结果，并按照预先配置的结果管理规则对所述处理结果进行管理。第三方面，本说明书实施例提供了一种电子设备，包括：存储器；一个或多个处理器；及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面提供的流数据处理方法的步骤。第四方面，本说明书实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面提供的流数据处理方法的步骤。本说明书实施例有益效果如下：本说明书实施例提供的流数据处理方法，先通过预先配置的转换规则，将带有相应标识信息的消息均转换为包含该转换规则中的元素信息的事件，形成事件流，然后再根据预先配置的加工逻辑对该事件流进行处理，并按照预先配置的结果管理规则对处理结果进行管理。将流数据处理过程分为将消息转化为事件的过程和事件流加工过程，并根据通用的转换规则将消息转换为事件，简化了流数据处理过程。同时实现了消息处理过程与流式加工过程解耦，方便配置，提高了处理过程的可维护性。附图说明图1为本说明书实施例的一种应用场景示意图；图2为本说明书实施例第一方面提供的流数据处理方法的流程图；图3为本说明书实施例第二方面提供的流数据处理系统的结构示意图；图4为本说明书实施例第三方面提供的电子设备的结构示意图。具体实施方式为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。本文中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本说明书实施例中，流数据是指一组顺序、大量、快速、连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合。图1为适用于本说明书实施例提供的流数据处理方法的一种运行环境示意图。如图1所示，一个或多个用户终端100(图1中仅示出一个)可通过网络200与一个或多个服务器300(图1中仅示出一个)相连，以进行数据通信或交互。其中，用户终端100可以是个人电脑(personalcomputer，PC)、笔记本电脑、平板电脑、智能手机、电子阅读器、车载设备、网络电视、可穿戴设备等具有网络功能的智能设备。于本说明书实施例中，用户终端100中安装有客户端，与服务器(Server)端相对应，为用户提供服务。用户终端100上安装的客户端可以是基于互联网实现业务的APP或网站，为用户提供各种业务的操作界面，用户在客户端中执行的各种操作如用户点击、登录、创建交易、付款、转账等操作转换为消息发送给服务器端。服务器用于预先配置的处理方法对实时接收到的消息流进行处理，得到并管理所需的处理结果。其中，服务器中的处理方法为业务人员通过前端业务处理系统进行配置的，业务人员可以根据实际需要在前端业务处理系统中对该处理方法进行配置以及调整。第一方面，本说明书实施例提供了一种流数据处理方法，应用于服务器端，请参考图2，该方法至少可以包括以下步骤S201至步骤S204。其中，步骤S201至步骤S203用于将消息流转化为相应的事件流，步骤S204用于对事件流进行加工。步骤S201，接收消息流，所述消息流包括多个消息，每个所述消息均包含标识信息；用户在各应用系统客户端执行的各种业务操作如点击、登录、创建交易、付款、转账等均会相应生成消息，可以将该消息加入到相应的消息队列中，传输至服务器。其中，消息队列为消息传输过程中，保存消息的容器。例如，某用户通过客户端进行了一笔转账操作，则该客户端可以生成一个对应于该笔转账的消息。在实际应用中，消息可以来源于AntQ、MetaQ、TT日志或消息中心等。服务器对各用户在各应用系统客户端生成的消息进行收集，得到对应于不同业务场景的消息流，即不同类型的消息流，以便于业务人员对这些消息进行分析如风险分析。不同业务场景下的消息，所包含的标识信息也就不同。具体来讲，消息的标识信息可以是消息中的特定字段，用于表征该消息对应的业务场景。例如，按照不同业务场景，消息的类型可以包括用户登录消息、转账消息、交易消息、营销活动消息等。可以理解的是，消息是底层的脚本文件，是面向技术人员的，业务人员理解困难，技术门槛较高。因此，本说明书实施例中，进一步通过以下步骤S202和步骤S203将消息流转化成业务人员可以理解的事件流，为后续的流式数据处理做准备。步骤S202，根据每个消息的标识信息在预先配置的规则信息库中查找与该标识信息关联的转换规则。其中，规则信息库中存储有标识信息与转换规则之间的关联信息，所述转换规则包括元素信息和处理逻辑。需要说明的是，在执行上述步骤S202之前，需要业务人员预先针对实际业务场景通过前端业务处理系统对规则信息库进行配置，也就是对事件进行配置，即配置事件对应的转换规则以及该事件对应的消息的标识信息，并将所配置的转换规则与标识信息之间的关联信息添加到规则信息库中，使得规则信息库中可以预先存储有一种或多种业务场景对应事件的转换规则以及相应消息的标识信息之间的关联信息，具体可以根据业务人员的需要配置。需要说明的是，每种转换规则可以与一种业务场景下的消息的标识信息关联，也可以与多种业务场景下的消息的标识信息本文档来自技高网...

【技术保护点】
1.一种流数据处理方法，包括：接收消息流，所述消息流包括多个消息，每个所述消息均包含标识信息；根据每个消息的标识信息在预先配置的规则信息库中查找与该标识信息关联的转换规则，其中，所述规则信息库中存储有标识信息与转换规则之间的关联信息，所述转换规则包括元素信息和处理逻辑；根据所查找到的转换规则中的处理逻辑将相应消息转换为包含所述元素信息的事件，形成相应的事件流；根据预先配置的加工逻辑对所述事件流进行处理，得到处理结果，并按照预先配置的结果管理规则对所述处理结果进行管理。

【技术特征摘要】
1.一种流数据处理方法，包括：接收消息流，所述消息流包括多个消息，每个所述消息均包含标识信息；根据每个消息的标识信息在预先配置的规则信息库中查找与该标识信息关联的转换规则，其中，所述规则信息库中存储有标识信息与转换规则之间的关联信息，所述转换规则包括元素信息和处理逻辑；根据所查找到的转换规则中的处理逻辑将相应消息转换为包含所述元素信息的事件，形成相应的事件流；根据预先配置的加工逻辑对所述事件流进行处理，得到处理结果，并按照预先配置的结果管理规则对所述处理结果进行管理。2.根据权利要求1所述的方法，还包括：对所述规则信息库进行更新，具体包括：获取第一配置指令，所述第一配置指令包括新增事件的转换规则以及对应消息的标识信息；将所述新增事件对应的转换规则与标识信息进行关联，并将关联信息添加到所述规则信息库中。3.根据权利要求1所述的方法，所述按照预先配置的结果管理规则对所述处理结果进行管理之前，还包括：获取第二配置指令，所述第二配置指令中包括基于用户对预先设置的加工逻辑配置窗口执行的触发操作生成的加工逻辑；从所述第二配置指令中获取所述加工逻辑。4.根据权利要求3所述的方法，所述加工逻辑配置窗口中设置有多个预设模板，所述加工逻辑通过所述用户触发的预设模板以及所述用户输入的修改指令生成。5.根据权利要求1所述的方法，所述根据预先配置的加工逻辑对所述事件流进行处理，得到处理结果，并按照预先配置的结果管理规则对所述处理结果进行管理包括：根据预先配置的过滤条件对所述事件流进行过滤，筛选出待处理的事件流；根据预先配置的加工逻辑对所述待处理的事件流进行处理，得到处理结果，并按照预先配置的结果管理规则对所述处理结果进行管理。6.根据权利要求1所述的方法，所述根据预先配置的加工逻辑对所述事件流进行处理，得到处理结果，并按照预先配置的结果管理规则对所述处理结果进行管理之前，还包括：获取第三配置指令，所述第三配置指令包括结果管理规则，所述结果管理规则包括将所述处理结果按照预设格式存储到指定的目标位置和/或将所述处理结果按照预设格式输出；从所述第三配置指令中获取所述结果管理规则。7.根据权利要求1所述的方法，所述根据预先配置的加工逻辑对所述事件流进行处理，得到处理结果之后，还包括：将所述处理结果输入与所述加工逻辑对应的监测模型，得到检测结果，其中，所述监测模型为预先通过历史处理结果数据训练好的无监督模型；当检测结果满足预设告警条件时，输出预设的告警信息。8.一种流数据处理系统，包括：接收模块，用于...

【专利技术属性】
技术研发人员：赵坤，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY