一种实时数据处理方法和系统技术方案

本发明专利技术实施例提供一种实时数据处理方法和系统，将各大数据技术组件的数据处理过程抽象为多个阶段，通过在任务配置中指定与大数据技术组件对应的数据处理引擎和各阶段的配置实现无需编写代码即可将相应的大数据技术组件加入项目中进行实时数据的处理，降低了开发人员使用大数据技术组件的门槛，提高了开发效率。率。率。

【技术实现步骤摘要】
一种实时数据处理方法和系统


[0001]本专利技术涉及实时计算领域领域，尤其涉及一种实时数据处理方法和系统。

技术介绍

[0002]实时数据是一组顺序、大量、快速、连续到达的数据序列,数据流可以被视为一个随时间延续而无限增长的动态数据集合。为了在实时数据进行检测，为了高效的对大量数据进行计算，通常使用Storm，spark，flink等一些处理实时数据的大数据技术组件，Storm由Twitter开源并且托管在GitHub上的一种流计算框架，spark即Apache Spark是一种专为大规模数据处理而设计的快速通用的计算引擎，Flink是一个针对流数据和批数据的分布式处理引擎，但现有技术中，实时数据处理技术种类繁多，各有所长，但是对于开发人员来说要想使用其中一种技术需要先掌握其原理，再编写相关任务代码，而学习这些大数据技术组件的编码技术的学习曲线相对陡峭，从而对项目开发人员的能力提出了更高的要求，有一定的门槛，开发时间长、维护成本高。使用这些大数据技术组件需要编写大量代码，但不同实时数据处理技术采集的任务指标有差别，覆盖面也不全，无法对任务做到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时数据处理方法，其特征在于，按照以下步骤执行实时任务，包括：根据预先指定的任务配置中记录的数据处理引擎的信息，动态创建所述数据处理引擎的实例对象；并且，通过所述实例对象提供的方法接口，按所述预先指定的任务配置中记录的指定运行配置，执行实时任务的数据处理过程。2.如权利要求1所述的实时数据处理方法，其特征在于，所述数据处理引擎的信息包括所述数据处理引擎的类名称；所述根据预先指定的任务配置中记录的数据处理引擎的信息，动态创建所述数据处理引擎的实例对象，具体包括：根据所述数据处理引擎的类名称，通过反射方式动态创建所述数据处理引擎的实例对象。3.如权利要求1所述的实时数据处理方法，其特征在于，所述指定运行配置包括：数据读取配置、数据处理配置和数据输出配置；所述通过所述实例对象提供的方法接口，按所述预先指定的任务配置中记录的指定运行配置，执行实时任务的数据处理过程，包括：从所述数据读取配置中指定的数据源读取待处理数据，并根据所述数据读取配置中指定的数据结构格式从所述待处理数据中提取得到结构化数据；按所述数据处理配置定义的数据前处理操作、数据聚合操作和/或数据后处理操作处理所述结构化数据得到处理后数据；按所述数据输出配置中指定的输出格式将所述处理后数据写入所述数据输出配置中指定的输出存储组件中；其中，所述数据前处理操作包括：对所述结构化数据进行截取、替换、过滤、转换、合并、展开、删除和/或拆分得到数据前处理结果；所述数据后处理操作包括：对所述数据聚合操作后的结果进行截取、替换、过滤、转换、合并、展开、删除和/或拆分得到处理后数据。4.如权利要求1所述的实时数据处理方法，其特征在于，在执行所述实时任务前，还包括：向用户展示任务管理页面，并通过所述任务管理页面接收并提交用户填写的任务配置作为所述预先指定的任务配置；存储所述预先指定的任务配置，并且当收到针对所述预先指定的任务配置的读取配置请求时，以返回所述预先指定的任务配置的方式响应所述读取配置请求；在执行所述实时任务期间，还包括：收集并存储所述实时任务运行期间的指定指标；根据指定的报警配置查询所述指定指标，如果所述指定指标满足所述报警配置中指定的报警规则时，以指定方式发出报警。5.如权利要求1所述的实时数据处理方法，其特征在于，还包括：通过任务管理页面提交的运行管理操作，管理所述实时任务的运行；并且，当所述运行管理操作指定为启动操作时，读取所述预先指定的任务配置，并进行配置检查，如果所述配置检查通过，并进一步查询注册记录，如果查询出所述实时任务没有注册
过，则向所述注册记录中注册所述实时任务的注册信息，并启动所述实时任务；当所述运行管理操作指定为重启操作时，重启所述实时任务；当所述运行管理操作指定为停止操作时，终止所述实时任务，并从所述注册记录中删除所述实时...

【专利技术属性】
技术研发人员：谢县东，李洪勋，
申请(专利权)人：微梦创科网络科技中国有限公司，
类型：发明
国别省市：