一种数据实时处理方法及数据实时处理系统技术方案

本发明专利技术提供一种数据实时处理方法及数据实时处理系统，包括：显示用户界面并接收第一输入，根据所述第一输入，生成流数据的任务的算子；所述算子包括应用规则算子，所述应用规则算子包括至少一项规则集合中的规则；根据所述任务的算子，构建流数据的任务；运行所述流数据的任务。本发明专利技术实施例中数据实时处理系统能够处理实时流数据，极大的提高了数据处理效率。

A data real-time processing method and data real-time processing system

【技术实现步骤摘要】
一种数据实时处理方法及数据实时处理系统
本专利技术涉及信息
，尤其涉及一种数据实时处理方法及数据实时处理系统。
技术介绍
随着数据的急剧膨胀，大数据处理技术得到了飞速的发展。目前，大数据处理平台按照计算模式可以划分为离线计算和实时计算。随着经济社会信息实时化的程度不断提高，人们对数据实时计算的需求也越来越高。例如：用于反欺诈、判断资金是否流入非法途径的风险控制系统(风控系统、合规检查等)、用于数据抽取、转换、加载(ExtractTransformLoad，简称ETL)的数据处理系统等场景需要用到实时计算。然而现有的规则引擎和数据实时处理系统算子是分开执行，现有的规则引擎仅能处理离线数据，数据处理效率低。
技术实现思路
本专利技术实施例提供一种数据实时处理方法及数据实时处理系统，解决现有的规则引擎仅能处理离线数据，数据处理效率低的问题。为了解决上述技术问题，本专利技术实施例提供了一种数据实时处理方法，所述方法包括：显示用户界面并接收第一输入，根据所述第一输入，生成流数据的任务的算子；所述算子包括应用规则算子，所述应用规则算子包括至少一项规则集合中的规则；根据所述任务的算子，构建流数据的任务；运行所述流数据的任务。优选的，上述方法中，所述显示用户界面并接收第一输入，根据所述第一输入，生成流数据的任务的算子的步骤之前，还包括：显示规则创建界面；接收第二输入，根据所述第二输入，创建所述规则集合；其中所述规则集合包含至少一项规则。优选的，上述方法中，所述方法还包括：基于所述应用规则算子的业务场景，将多项规则中相同的内容提取为规则模板，并将所述规则模板存储在模板数据库。优选的，上述方法中，所述方法还包括：查询所述模板数据库，获取所述规则模板的列表；从所述列表中选择目标规则模板；根据所述目标规则模板生成对应的规则。优选的，上述方法中，所述任务还包括：算子与算子之间的连接关系。优选的，上述方法中，所述规则包括以下至少之一：向导式规则、规则集、评分卡、决策表、决策树、决策流和模型。优选的，上述方法中，所述决策流由组织成有向图结构的执行节点构成，所述执行节点包括：子规则节点，路由节点，开始节点。优选的，上述方法中，根据路由节点所配置的后续节点计算算法确定所述路由节点的后续执行节点，所述路由节点能够在指定条件满足时结束所述决策流的循环执行。优选的，上述方法中，所述运行所述流数据的任务的步骤包括：接收流数据；使用所述算子中的应用规则算子对所述流数据进行计算，生成输出事件；输出并显示所述输出事件。优选的，上述方法中，所述应用规则算子包含规则引擎；所述使用所述算子中的应用规则算子对所述流数据进行计算，生成输出事件的步骤，包括：读取所述流数据对应事件的属性至所述规则引擎中的规则变量；所述应用规则算子中的规则引擎执行所述规则集合中的规则，以得到规则的输出结果；其中，所述规则的输出结果作为所述输出事件。优选的，上述方法中，所述规则变量包括状态变量，所述状态变量的值在一个事件处理完成后保持不变，且在下一个事件处理时能够被访问。优选的，上述方法中，所述模型包括机器学习模型，所述机器学习模型包含算法及相关参数。本专利技术实施例还提供了一种数据实时处理系统，所述数据实时处理系统包括：人机界面显示模块，用于显示用户界面并接收第一输入，根据所述第一输入，生成流数据的任务的算子；所述算子包括应用规则算子，所述应用规则算子包括至少一项规则集合中的规则；任务构建模块，用于根据所述任务的算子，构建流数据的任务；运行模块，用于运行所述流数据的任务。优选的，上述数据实时处理系统中，还包括：规则界面模块，用于显示规则创建界面；规则创建模块，用于接收第二输入，根据所述第二输入，创建所述规则集合；其中所述规则集合包含至少一项规则。优选的，上述数据实时处理系统中，还包括：提取模块，用于基于所述应用规则算子的业务场景，将多项规则中相同的内容提取为规则模板，并将所述规则模板存储在模板数据库。优选的，上述数据实时处理系统中，还包括：查询模块，用于查询所述模板数据库，获取所述规则模板的列表；选择模块，用于从所述列表中选择目标规则模板；生成模块，用于根据所述目标规则模板生成对应的规则。优选的，上述数据实时处理系统中，所述任务还包括：算子与算子之间的连接关系。优选的，上述数据实时处理系统中，所述规则包括以下至少之一：向导式规则、规则集、评分卡、决策表、决策树、决策流和模型。优选的，上述数据实时处理系统中，所述决策流由组织成有向图结构的执行节点构成，所述执行节点包括：子规则节点，路由节点，开始节点。优选的，上述数据实时处理系统中，根据路由节点所配置的后续节点计算算法确定所述路由节点的后续执行节点，所述路由节点能够在指定条件满足时结束所述决策流的循环执行。优选的，上述数据实时处理系统中，所述运行模块包括：接收子模块，用于接收流数据；计算子模块，用于使用所述算子中的应用规则算子对所述流数据进行计算，生成输出事件；输出子模块，用于输出并显示所述输出事件。优选的，上述数据实时处理系统中，所述应用规则算子包含规则引擎；所述计算子模块具体用于：读取所述流数据对应事件的属性至所述规则引擎中的规则变量；所述应用规则算子中的所述规则引擎执行所述规则集合中的规则，以得到规则的输出结果；其中，所述规则的输出结果作为所述输出事件。优选的，上述数据实时处理系统中，所述规则变量包括状态变量，所述状态变量的值在一个事件处理完成后保持不变，且在下一个事件处理时能够被访问。优选的，上述数据实时处理系统中，所述模型包括机器学习模型，所述机器学习模型包含算法及相关参数。本专利技术实施例还提供了一种数据实时处理系统，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述数据实时处理方法的步骤。本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上述数据实时处理方法的步骤。本专利技术提供一种数据实时处理方法及数据实时处理系统，包括：显示用户界面并接收第一输入，根据所述第一输入，生成流数据的任务的算子；所述算子包括应用规则算子，所述应用规则算子包括至少一项规则集合中的规则；根据所述任务的算子，构建流数据的任务；运行所述流数据的任务。本专利技术实施例中将规则引擎放置于数据实时处理系统的算子中，使得规则引擎能够处理实时流数据，极大的提高了数据处理效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图本文档来自技高网...

【技术保护点】
1.一种数据实时处理方法，其特征在于，所述方法包括：/n显示用户界面并接收第一输入，根据所述第一输入，生成流数据的任务的算子；所述算子包括应用规则算子，所述应用规则算子包括至少一项规则集合中的规则；/n根据所述任务的算子，构建流数据的任务；/n运行所述流数据的任务。/n

【技术特征摘要】
1.一种数据实时处理方法，其特征在于，所述方法包括：
显示用户界面并接收第一输入，根据所述第一输入，生成流数据的任务的算子；所述算子包括应用规则算子，所述应用规则算子包括至少一项规则集合中的规则；
根据所述任务的算子，构建流数据的任务；
运行所述流数据的任务。


2.如权利要求1所述的数据实时处理方法，其特征在于，所述显示用户界面并接收第一输入，根据所述第一输入，生成流数据的任务的算子的步骤之前，还包括：
显示规则创建界面；
接收第二输入，根据所述第二输入，创建所述规则集合；
其中所述规则集合包含至少一项规则。


3.如权利要求1-2任一项所述的数据实时处理方法，其特征在于，所述运行所述流数据的任务的步骤包括：
接收流数据；
使用所述算子中的应用规则算子对所述流数据进行计算，生成输出事件；
输出并显示所述输出事件。


4.如权利要求3所述的数据实时处理方法，其特征在于，所述应用规则算子包含规则引擎；
所述使用所述算子中的应用规则算子对所述流数据进行计算，生成输出事件的步骤，包括：
读取所述流数据对应事件的属性至所述规则引擎中的规则变量；
所述应用规则算子中的规则引擎执行所述规则集合中的规则，以得到规则的输出结果；其中，所述规则的输出结果作为所述输出事件。


5.如权利要求4所述的数据实时处理方法，其特征在于，所述规则变量包括状态变量，所述状态变量的值在一个事件处理完成后保持不变，且在下一个事件处理时能够被访问。
<...

【专利技术属性】
技术研发人员：焦悦光，胡宗星，郭璐，
申请(专利权)人：北京九章云极科技有限公司，
类型：发明
国别省市：北京;11