基于分布式数据流处理引擎的数据库导数方法、设备和介质技术

一种基于分布式数据流处理引擎的数据库导数方法、设备和介质。包括：从消息系统的多个分区读取待导入数据库的多个数据；将多个数据分别存储至分布式数据流处理引擎的存储单元中；将存储单元中的数据导入数据库；根据预设规则触发分布式数据流处理引擎执行检查点设置操作；其中，检查点设置操作包括：响应于分布式数据流处理引擎被触发执行检查点设置操作，获取当前从多个分区中的每一分区所读取的数据的位置参数；存储多个检查数据的位置参数；为多个检查数据中的每一个检查数据标注屏障标记；以及响应于被标注屏障标记的多个检查数据均被成功读入，确定完成检查点设置操作。确定完成检查点设置操作。确定完成检查点设置操作。

【技术实现步骤摘要】
基于分布式数据流处理引擎的数据库导数方法、设备和介质


[0001]本公开涉及数据处理
，特别是涉及一种基于分布式数据流处理引擎的数据库导数方法、设备和介质。

技术介绍

[0002]数据处理模式主要分为批量数据处理和流式数据处理。Flink是一个分布式数据流处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算，能够兼顾低延迟和高吞吐量。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0004]海量数据写入数据库比较耗时，异常情况的发生可能造成导数终止，异常情况解除后需要从头重新写入数据。提供一种缓解、减轻或甚至消除上述问题中的一个或多个的机制将是有利的。
[0005]根据本公开的一方面，提供了一种基于分布式数据流处理引擎的数据库导数方法，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式数据流处理引擎的数据库导数方法，包括：从消息系统的多个分区读取待导入数据库的多个数据；将所述多个数据分别存储至所述分布式数据流处理引擎的存储单元中；将所述存储单元中的数据导入数据库；根据预设规则触发所述分布式数据流处理引擎执行检查点设置操作，其中，所述检查点设置操作包括：响应于所述分布式数据流处理引擎被触发执行检查点设置操作，获取当前从多个分区中的每一分区所读取的数据的位置参数，以使得当前从多个分区中的每一分区所读取的数据能够作为检查数据；存储多个检查数据的位置参数，以使得基于所存储的所述多个检查数据的位置参数能够实现数据库导数的断点续传；为所述多个检查数据中的每一个检查数据标注屏障标记；以及响应于被标注屏障标记的多个检查数据均被成功读入，确定完成检查点设置操作。2.根据权利要求1所述的方法，其中，根据预设规则触发所述分布式数据流处理引擎执行检查点设置操作包括：按照预设周期触发所述分布式数据流处理引擎执行检查点设置操作。3.根据权利要求2所述的方法，其中，按照预设周期触发所述分布式数据流处理引擎执行检查点设置操作包括：在每一周期中，对从消息系统读取的数据进行计数，并且对从消息系统读取数据的持续时长进行计时；响应于从消息系统读取的数据的计数达到预设数量或者从消息系统读取数据的持续时长达到预设时长，触发所述分布式数据流处理引擎执行检查点设置操作。4.根据权利要求1所述的方法，其中，所述存储单元包括所述多个检查数据和位置参数之间的对应关系，所述方法还包括：响应于检测到数据库的导数过程出现中断，基于多个检查数据的位置参数，继续执行将存储单元中的数据导入数据库。5.根据权利要求1所述的方法，其中，每一检查数据的位置参数包括该检查数据所对应的与分区相关的第一编码，以及与该检查数据的读取顺序相关的第二编码。6.根据权利要求5所述的方法，其中，针对从每一个分区读取的多个数据，累计所读取的数据的个数，其中，针对该分区，将所确定的检查数据对应的所述累计得到的个数作为该检查数据的所述第二编码。7.根据权利要求1所述的方法，其中，存储多个检查数据的位置参数包括：将之前存储的多个检查数据的位置参数更新为当前所确定的多个检查数据的位置参数。8.根据权利要求7所述的方法，还包括：累计执行检查点设置操作的次数。9.根据权利要求1所述的方法，其中，响应于从消息系统的多个分区读取的数据被成功
读入，继续从该数据对应的分区读取数据。10.根据权利要求1所述的方法，其中，响应于被标注屏障标记的某一检查数据被成功读入，继续从该检查数据对应的分区读取数据。11.根据权利要求1
‑
10中任一项所述的方法，其中，所述分布式数据流处理引擎包括...

【专利技术属性】
技术研发人员：张灵星，王海霖，陈黄，张国庆，
申请(专利权)人：北京中经惠众科技有限公司，
类型：发明
国别省市：