Spark批次时间修改方法、装置、设备和存储介质制造方法及图纸

本发明专利技术涉及一种Spark Streaming任务中批次时间修改方法、装置、设备和存储介质，该方法包括：监测处于运行状态的Spark Streaming任务；在Spark Streaming任务中嵌入restful接口服务；在restful接口服务中修改Spark Streaming任务中的批次时间。不修改实时任务代码的情况下，实现运行中的Spark Streaming任务批次时间的动态修改，操作方便快速，毫秒级生效；几乎不会影响线上的业务数据，可保证实时数据不丢失。可根据实时数据量进行动态调整，增大任务的吞吐量。

【技术实现步骤摘要】
Spark批次时间修改方法、装置、设备和存储介质
本专利技术涉及大数据计算领域，具体涉及一种SparkStreaming任务中批次时间修改方法、装置、设备和存储介质。
技术介绍
SparkStreaming是一种大数据实时计算引擎，用于实时计算数据，并将计算结果输出到数据库或其他可以展示的介质上。SparkStreaming需要设置批次时间，然后按照这个批次时间周期性触发整个任务链的执行。比如说，一个Streaming任务在代码中设置了批次时间为60秒，那么当这个任务启动以后，会每隔60秒将输入的数据按照用户开发的逻辑进行分布式计算，然后将计算结果输出。下一个60秒重复以上动作，持续计算，除非用户手动停止或因为异常情况终止执行。相关技术中，这个批次时间往往是固化在代码中的，运行时无法更改。因此，一个实时任务提交到集群运行以后，要修改批次时间，只能重新修改代码，然后编译打包，重新发布到集群上执行。但是，上述重新修改代码的过程比较耗时，有可能影响线上业务数据的实时性，甚至可能会造成实时数据的丢失等。>专利技术内本文档来自技高网...

【技术保护点】
1.一种Spark Streaming任务中批次时间修改方法，其特征在于，包括：/n监测处于运行状态的Spark Streaming任务；/n在所述Spark Streaming任务中嵌入restful接口服务；/n在所述restful接口服务中修改所述Spark Streaming任务中的批次时间。/n

【技术特征摘要】
1.一种SparkStreaming任务中批次时间修改方法，其特征在于，包括：
监测处于运行状态的SparkStreaming任务；
在所述SparkStreaming任务中嵌入restful接口服务；
在所述restful接口服务中修改所述SparkStreaming任务中的批次时间。


2.根据权利要求1所述的方法，其特征在于，所述在所述restful接口服务中修改所述SparkStreaming任务中的批次时间，包括：
在所述restful接口服务中，停止运行所述SparkStreaming任务中的StreamingContext对象；
在所述restful接口服务中，根据传入的新的批次时间，创建新的StreamingContext对象；
在所述restful接口服务中，根据所述新的StreamingContext对象应用实时计算逻辑修改批次时间。


3.根据权利要求2所述的方法，其特征在于，所述停止运行所述SparkStreaming任务中的StreamingContext对象之后，还包括：
继续运行所述SparkStreaming任务中的SparkContext对象。


4.根据权利要求1所述的方法，其特征在于，所述restful接口服务为微型restful接口服务。


5.根据权利要求1所述的方法，其特征在于，所述restful接口服务为超文本传输协议形式。


6.一种SparkStreaming任务中批次时间修改装置，其特征在于，包括：
任务监测模块，用于监测处于运行状态的Spar...

【专利技术属性】
技术研发人员：王成龙，
申请(专利权)人：上海中通吉网络技术有限公司，
类型：发明
国别省市：上海;31