流式数据断点续传方法及装置制造方法及图纸

本发明专利技术公开了一种流式数据断点续传方法及装置，该方法包括：获取待传输流式数据的断点位置信息；删除旧版程序中待传输流式数据的断点位置信息；将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中；在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。本发明专利技术能够将断点位置信息从旧版程序中删除，同时配置到升级程序中，因此在程序升级过程中依然能够实现断点续传功能，同时也不会出现数据重复的问题。

【技术实现步骤摘要】
流式数据断点续传方法及装置
本专利技术涉及流式数据传输
，尤其涉及流式数据断点续传方法及装置。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。ApacheSpark是专为大数据处理而设计的快速、通用的计算引擎，目前已形成一个高速发展、应用广泛的生态系统。StructuredStreaming是一个基于SparkSQL引擎构建的，可缩放、容错的流式数据处理引擎。当处理流式计算时，可以像处理静态数据批计算一样。SparkSQL引擎负责不断地连续运行它，并随着流式数据持续到达而更新最终结果。你可以在Scala、Java、Python或者R中使用Dataset/DataFrameAPI来表示流集合(aggregations)、事件时间窗口(event-timewindows)、流到批连接(stream-to-batchjoins)等，计算在同一个优化的SparkSQL引擎上被执行。最终，该系统通过检查点(checkpoint)和预先写日志(WriteAhe本文档来自技高网...

【技术保护点】
1.一种流式数据断点续传方法，其特征在于，包括：/n获取待传输流式数据的断点位置信息；/n删除旧版程序中待传输流式数据的断点位置信息；/n将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中；/n在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。/n

【技术特征摘要】
1.一种流式数据断点续传方法，其特征在于，包括：
获取待传输流式数据的断点位置信息；
删除旧版程序中待传输流式数据的断点位置信息；
将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中；
在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。


2.如权利要求1所述的流式数据断点续传方法，其特征在于，待传输流式数据的断点位置信息包括json结构的断点位置信息。


3.如权利要求1所述的流式数据断点续传方法，其特征在于，获取待传输流式数据的断点位置信息，包括：
通过读取旧版程序检查点目录下的断点位置文件获取待传输流式数据的断点位置信息。


4.如权利要求3所述的流式数据断点续传方法，其特征在于，旧版程序检查点目录下包括多个断点位置文件，通过读取旧版程序检查点目录下的断点位置文件获取待传输流式数据的断点位置信息，包括：
读取旧版程序检查点目录下的所有断点位置文件；
从所有断点位置文件中最新的断点位置文件中获取待传输流式数据的断点位置信息。


5.如权利要求1所述的流式数据断点续传方法，其特征在于，删除旧版程序中待传输流式数据的断点位置信息，包括：
获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件；
将获取的旧版程序...

【专利技术属性】
技术研发人员：朱阿龙，田林，王博瑞，石慧彪，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11