一种实时任务处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种实时任务处理方法及装置，所述实时任务处理方法包括：在流式处理任务当前执行聚合函数时，加载已存储的所述流式处理任务执行的所述聚合函数的封装数据包，其中，所述封装数据包包括：所述流式处理任务的所述聚合函数的操作对象、所述操作对象的函数关系；根据所述聚合函数以及所述封装数据包，对所述聚合函数的所述操作对象的当前数值，按照所述操作对象的函数关系、执行所述聚合函数操作。本发明专利技术实施例实现了对实时数据处理过程的状态管理，并方便地进行更新操作，降低系统处理的时间以及开发者的工作量，提高实时任务的开发效率。

Real time task processing method and device

The embodiment of the invention discloses a real-time task processing method and device, including the real-time task processing method in stream processing tasks currently executing aggregate functions, loading stored the stream data package processing task execution the aggregation function package, wherein the package package includes: the stream processing task the aggregation function operation object, the operation function of the object; according to the aggregation function and the encapsulation of data packets, the current value of the operation object of the aggregate function, according to the function, the operation object executes the aggregation function operation. The embodiment of the invention realizes the state management of the real-time data processing process, facilitates the updating operation, reduces the processing time of the system and the workload of the developer, and improves the development efficiency of the real-time task.

【技术实现步骤摘要】
一种实时任务处理方法及装置
本专利技术涉及大数据处理
，特别是涉及一种实时任务处理方法及装置。
技术介绍
随着互联网产业的繁荣，尤其是移动互联网的持续兴起，机器、用户产生的数据越来越多，同时也催生了各类大数据处理系统，例如Hadoop、Spark、Storm等。这些系统有些是针对批处理任务的批处理引擎，例如HadoopMapReduce，有些是针对流式数据处理的实时处理引擎，例如Storm，也有些系统能同时实现批处理任务和流式数据处理的实时处理任务，例如Spark。批处理的大数据处理系统是在开始计算的时候，所有的数据就已经准备好了，等待输入计算；而流式数据处理引擎，数据并非一开始就完全准备好了，而是随着时间的推移，逐渐出现，像用户的行为日志，其特点是像流水一样，不是一次过来，而是一点一点“流”过来。而“流”过来的数据也是一点一点被实时处理系统处理。两种类型任务的主要区别是：批处理任务具有全局数据，很方便进行数据的聚合操作；而流式数据的实时处理不具备全局数据，处于聚合的中间状态。现有流式数据处理的实时处理引擎，在流式任务实时处理时，对于相同操作的不同时间或者不同状态的处理过程以及本文档来自技高网...

【技术保护点】
一种实时任务处理方法，其特征在于，包括：在流式处理任务当前执行聚合函数时，加载已存储的所述流式处理任务执行的所述聚合函数的封装数据包，其中，所述封装数据包包括：所述流式处理任务的所述聚合函数的操作对象、所述操作对象的函数关系；根据所述聚合函数以及所述封装数据包，对所述聚合函数的所述操作对象的当前数值，按照所述操作对象的函数关系、执行所述聚合函数操作。

【技术特征摘要】
1.一种实时任务处理方法，其特征在于，包括：在流式处理任务当前执行聚合函数时，加载已存储的所述流式处理任务执行的所述聚合函数的封装数据包，其中，所述封装数据包包括：所述流式处理任务的所述聚合函数的操作对象、所述操作对象的函数关系；根据所述聚合函数以及所述封装数据包，对所述聚合函数的所述操作对象的当前数值，按照所述操作对象的函数关系、执行所述聚合函数操作。2.根据权利要求1所述的实时任务处理方法，其特征在于，在所述在流式处理任务当前执行聚合函数时，加载所述流式处理任务执行的所述聚合函数的封装数据包之前，所述方法还包括：在所述流式处理任务首次执行所述聚合函数时，对所述聚合函数的所述操作对象的数值，按照所述操作对象的函数关系、执行所述流式处理任务的所述聚合函数操作；在所述流式处理任务首次执行所述聚合函数结束时，将所述流式处理任务执行的所述聚合函数的所述操作对象、所述操作对象的函数关系，封装在所述封装数据包中；存储所述封装数据包。3.根据权利要求2所述的实时任务处理方法，其特征在于，在对所述聚合函数的所述操作对象的数值，按照所述操作对象的函数关系、执行所述流式处理任务的所述聚合函数操作之后，所述方法还包括：将对所述聚合函数的所述操作对象的数值，按照所述操作对象的函数关系执行所述流式处理任务的所述聚合函数操作，得到所述操作对象的数值的结果，存储在数据库中。4.根据权利要求1或2所述的实时任务处理方法，其特征在于，在所述根据所述聚合函数以及所述封装数据包，对所述聚合函数的所述操作对象的当前数值，按照所述操作对象的函数关系、执行所述聚合函数操作之前，所述方法还包括：累计所述流式处理任务首次执行所述聚合函数到所述流式处理任务当前执行所述聚合函数时间段的、所述操作对象的更新数据，将所述更新数据累计到所述流式处理任务首次执行所述聚合函数的所述操作对象的所述数值上，得到所述流式处理任务当前执行所述聚合函数的所述操作对象的当前数值；加载所述流式处理任务的所述聚合函数的所述封装数据包，以及所述操作对象的所述当前数值；相应的，所述根据所述封装数据包内的所述聚合函数的操作对象、所述操作对象的函数关系，对所述聚合函数的所述操作对象的当前数值，按照所述操作对象的函数关系、执行相应的操作，包括：通过所述封装数据包，获取所述封装数据包内的所述聚合函数的操作对象、所述操作对象的函数关系；对所述聚合函数的所述操作对象的所述当前数值，按照所述操作对象的函数关系、执行所述聚合函数操作。5.根据权利要求1所述的实时任务处理方法，其特征在于，所述根据所述聚合函数以及所述封装数据包，对所述聚合函数的所述操作对象的当前数值，按照所述操作对象的函数关系、执行所述聚合函数操作，包括：通过所述封装数据包，...

【专利技术属性】
技术研发人员：孙琦，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11