数据处理方法、数据处理装置、存储介质及电子设备制造方法及图纸

本公开实施方式涉及一种数据处理方法、装置、存储介质与电子设备，涉及数据处理技术领域。该方法包括：接收第一数据端发送的第二数据，记录所述第二数据对应的批处理时间；所述第二数据是所述第一数据端对第一数据进行批处理而形成的数据，所述第二数据对应的批处理时间是所述第一数据端对所述第二数据对应的第一数据进行批处理的时间；响应于接收到所述第一数据端发送的异常信息，基于已记录的所述批处理时间中的最近批处理时间向前偏移，得到异常重启时间；向所述第一数据端发送所述异常重启时间，使得所述第一数据端对位于所述异常重启时间之后的第一数据重新进行批处理。本公开能够在第一数据端出现异常时，有效、准确的重启数据处理。

【技术实现步骤摘要】

本公开的实施方式涉及数据处理，更具体地，本公开的实施方式涉及数据处理方法、数据处理装置、计算机可读存储介质及电子设备。

技术介绍

1、本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。

2、目前，在数据处理过程中，例如使用flink(流计算框架)执行实时数据流聚合处理时，可能出现数据处理故障需要进行数据重启或作业恢复的情况。相关技术中，技术人员通常会使用checkpoint(检查点)来进行作业恢复，checkpoint可以定时的将当前数据处理状态的快照保存到持久存储中。当数据处理发生故障触发failover重新部署时，数据端会读取最近一次的快照信息并尝试从该检查点进行恢复。

技术实现思路

1、然而，在大流量、中间态数据过多的数据处理场景下，相关技术存在以下问题：

2、一方面，快照文件较大时，无法兼顾容错性和实时性；另一方面，当数据端的状态结构、逻辑、并行状态等发生变更时，通过checkpoint进行数据恢复不一定能成功；再一方本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第二数据是所述第一数据端按照第一单位时间对第一数据进行第一聚合处理而形成的数据。

3.根据权利要求2所述的方法，其特征在于，所述异常重启时间包括第一异常重启时间；所述基于已记录的所述批处理时间中的最近批处理时间向前偏移，得到异常重启时间，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一单位时间确定确定第一偏移量，包括：

5.根据权利要求3所述的方法，其特征在于，所述异常重启时间还包括第二异常重启时间；所述基于已记录的所述批处理时...

【技术特征摘要】

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第二数据是所述第一数据端按照第一单位时间对第一数据进行第一聚合处理而形成的数据。

3.根据权利要求2所述的方法，其特征在于，所述异常重启时间包括第一异常重启时间；所述基于已记录的所述批处理时间中的最近批处理时间向前偏移，得到异常重启时间，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一单位时间确定确定第一偏移量，包括：

5.根据权利要求3所述的方...

【专利技术属性】
技术研发人员：王凯，念杰，郭元华，陈锦海，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：