基于规则的流式数据处理方法统一监控平台技术

本发明专利技术提供了一种基于规则的流式数据处理方法和统一监控平台，本发明专利技术能够适应分布流式处理框架，动态识别，加载，编译和下发规则到分布式环境中去，从而动态生成匹配数据。本发明专利技术针对复杂的数据和多变的业务需求，提出了一种一次部署，灵活添加规则的数据生成方式，并且提供了一个即分布式，流处理，规则化以及可监控为一体的一站式数据处理平台，减少开发成本，降低学习难度，大大缩减了数据处理的空间复杂度和时间复杂度。

【技术实现步骤摘要】
基于规则的流式数据处理方法统一监控平台
本专利技术涉及分布式计算、流式计算、规则引擎
，具体涉及一种基于规则的流式数据处理方法统一监控平台。
技术介绍
近年来大数据已逐步成为最受关注的焦点，尤其大数据中的流式数据，由于其低延迟，高性能，高并发等特性，成为了越来越多企业所青睐的一项解决方案。但是由于数据的多样性和业务的复杂性，传统的流式处理框架的开发成本和变更成本非常巨大，已不能满足时下要求。以公司复杂的业务统计需求为场景，在该场景下，业务需求复杂多变，并且经常需要对现有实时数据的部分异常或者部分关注类别进行单独监控，大多数据处理规则会随业务需求而反复变化。与此同时，数据的数量日益增大，原有Local模式的分析框架已经无法应对现有的数据量。基于传统的流式分析平台虽然能够进行分布式计算从而扩展性能，但是却无法解决业务上频繁变更所带来的巨大开发成本。现有的技术方案里的规则引擎，如基于Java的规则引擎Drools，此类规则引擎支持的语言单一，并且无法满足现有分布式条件。此类规则引擎无法和流式结构很好的集合。基于现有技术存在的问题，可以看出需要一个一站式的基于规则的分布式数据流处理平台。
技术实现思路
本专利技术提供的一种基于规则的流式数据处理方法统一监控平台，可以兼容多种语言，跨平台完成对于流式数据的规则匹配，规则引擎已经不再是单纯的规则解析者，同时也是规则上下文的管理者，它可以适应多类别的文件系统，根据分布式的特性，完成规则的编译和全局下发，解决了传统规则引擎的适应性窄的技术问题。本专利技术采用的技术方案如下：一种基于规则的流式数据处理方法，其特征在于，包括以下步骤：步骤1，部署流式数据处理框架，进行流式数据处理；步骤2，部署流式规则引擎，实时监控分布式文件系统，动态加载规则文件，编译规则模板，下发规则；步骤3，部署动态编译组件，接收流式规则引擎下发指令，编译流式规则引擎下发的规则；步骤4，配置引擎通过动态加载配置文件，实现规则与输入输出的动态绑定以及规则与监控行为的配对；步骤5，编写规则，并且下发到分布式规则池中。进一步地，所述流式数据处理框架包括Spark、Flink或者Storm流式数据处理框架。进一步地，流式规则引擎对规则文件进行管理，同时协调各类数据源完成对于规则的整个生命周期的管理。进一步地，流式规则引擎对规则文件进行的管理包括监听、搜索、加载、传递和部署。进一步地，所述规则模板基于原生编程语言，通过编译规则模板完成规则的创建。进一步地，对基于规则产生的数据进行分流或者实时监控。进一步地，对基于规则产生的数据通过配置引擎实时监控，监控的指标包括生命周期、调度策略。一种基于规则的流式数据统一监控平台，包括流式规则引擎、配置引擎、动态编译组件和流式数据处理框架；用户编写规则，并且下发到分布式规则池中，流式规则引擎下发规则给动态编译组件；配置引擎通过动态加载配置文件，实现规则与输入输出的动态绑定以及规则与监控行为的配对；流式数据处理框架基于动态编译组件编译后的规则对数据流进行处理。本专利技术的有益效果在于：1、基于分布式的规则引擎架构，较传统规则引擎更高可用更易扩展。2、提高了开发效率，无需再进行业务硬代码的反复迭代，能够灵活应对频繁变更的业务需求。3、降低了学习成本，基于开发语言原生语法就可以制定规则，下发规则模板。附图说明图1是本专利技术流程示意图。具体实施方式本专利技术应用于任意需要使用流式处理框架的场景，在原有运行框架中加入规则引擎和动态编译组件，同时将所有数据流统一通过规则引擎进行匹配。内存中的规则同时需要一定的更新频率，以便新规则加入的时效性。本专利技术面对数据量的爆炸，能够横向扩展来保证任务的完成效率；面对复杂的业务变更，能够通过规则匹配的方式降低开发成本，避免反复的版本变更而带来大量重复劳动；面对实时数据的监控需求，无需单独编写监控平台。本专利技术只需要在数据规则引擎中增加业务规则，在配置引擎中增加调度规则和输入输出规则，一次部署，多次添加。环境不改变的前提下，完成对于多种业务逻辑的应对。下文中，结合附图和实施例对本专利技术作进一步阐述。图1是本专利技术流程示意图，本专利技术一种基于规则的流式数据处理方法包括以下步骤：步骤1，部署通用流式数据处理框架，例如Spark，Flink，Storm等开源分布式计算框架，支持流式数据处理，由于本专利技术的高通用性，所以支持在多种平台上的兼容；步骤2，部署流式规则引擎，实时监控分布式文件系统，动态加载规则文件，快速编译规则模板，下发规则任务，实现低延迟，可配置的规则引擎体系；步骤3，部署动态编译模块，接收规则引擎下发指令，编译规则引擎下发规则。由于本专利技术的规则基于开发语言的原生语法，如Java或者Scala，所以支持规定语言格式的类或者方法直接部署；步骤4，配置引擎，通过动态加载配置文件，实现规则与输入输出的动态绑定，实现规则与布控行为的灵活配对，将输入输出可配，将布控行为可控；步骤5，满足以上条件之后就可以应用所述流式数据处理方法到流数据的处理过程中去，开发人员(用户)只需按照标准编程语言语法进行规则编写，并且下发到规则池中。优选地，本专利技术数据可以兼容多版本流式数据处理框架，通用性高。优选地，所述方法可以完成对于规则文件的管理，包括监听，搜索，加载，传递和部署，同时协调各类数据源完成对于规则的整个生命周期的管理。优选地，规则模板基于原生编程语言，通过动态编译完成规则的创建过程。这对于开发人员和业务制定者均是友好的，开发然预案可以使用熟悉的编程语制定规则，业务制定者可以屏蔽掉所有非业务代码进行核对。优选地，根据规则产生的数据可以进行分流或者实时监控，分流指数据可以存入不同介质或者不同媒介，同时实时监控的各类指标，如生命周期，调度策略，监控指标等均可通过配置引擎统一管理。基于本专利技术流式数据处理方法的监控平台，在面对复杂的报表任务、多样性的人力资源、各种业务模式时能发挥出传统分析平台所不具备的便利优势。需要说明的是，本专利技术在实施过程中，流式规则引擎、配置引擎和流式数据处理框架的巧妙结合是本专利技术的一个重要部分，各类别的框架均有较为突出的产品代表，但是目前为止并没有基于规则，支持调度，能够布控的统一分布式流式数据处理框架。本专利技术虽然已以较佳实施例公开如上，但其并不是用来限定本专利技术，任何本领域技术人员在不脱离本专利技术的精神和范围内，都可以利用上述揭示的方法和
技术实现思路
对本专利技术技术方案做出可能的变动和修改，因此，凡是未脱离本专利技术技术方案的内容，依据本专利技术的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本专利技术技术方案的保护范围。本文档来自技高网...

【技术保护点】
一种基于规则的流式数据处理方法，其特征在于，包括以下步骤：步骤1，部署流式数据处理框架，进行流式数据处理；步骤2，部署流式规则引擎，实时监控分布式文件系统，动态加载规则文件，编译规则模板，下发规则；步骤3，部署动态编译组件，接收流式规则引擎下发指令，编译流式规则引擎下发的规则；步骤4，配置引擎通过动态加载配置文件，实现规则与输入输出的动态绑定以及规则与监控行为的配对；步骤5，编写规则，并且下发到分布式规则池中。

【技术特征摘要】
1.一种基于规则的流式数据处理方法，其特征在于，包括以下步骤：步骤1，部署流式数据处理框架，进行流式数据处理；步骤2，部署流式规则引擎，实时监控分布式文件系统，动态加载规则文件，编译规则模板，下发规则；步骤3，部署动态编译组件，接收流式规则引擎下发指令，编译流式规则引擎下发的规则；步骤4，配置引擎通过动态加载配置文件，实现规则与输入输出的动态绑定以及规则与监控行为的配对；步骤5，编写规则，并且下发到分布式规则池中。2.如权利要求1所述的一种基于规则的流式数据处理方法，其特征在于，所述流式数据处理框架包括Spark、Flink或者Storm流式数据处理框架。3.如权利要求1所述的一种基于规则的流式数据处理方法，其特征在于，流式规则引擎对规则文件进行管理，同时协调各类数据源完成对于规则的整个生命周期的管理。4.如权利要求3所述的一种基于规则的流式数据处理方法，其特征在于，...

【专利技术属性】
技术研发人员：曲洋，
申请(专利权)人：千寻位置网络有限公司，
类型：发明
国别省市：上海,31