数据处理方法以及相关设备技术

本申请实施例公开了数据处理方法以及相关设备，用于提升数据处理效率。本申请实施例方法包括：响应于针对目标业务数据的合并任务发起请求，生成目标合并任务，所述目标合并任务用于从目标数据库获取所述目标业务数据对应的多个待合并文件，并将所述多个待合并文件合并为至少一个合并文件，其中每个待合并文件为一次同步生成的包含所述目标业务数据的变更业务数据的文件；按照预设合并周期执行所述目标合并任务；响应于针对所述目标业务数据的处理请求，对所述目标业务数据对应的合并文件执行所述处理请求对应的处理操作。执行所述处理请求对应的处理操作。执行所述处理请求对应的处理操作。

【技术实现步骤摘要】
数据处理方法以及相关设备


[0001]本申请实施例涉及数据处理领域，尤其涉及数据处理方法以及相关设备。

技术介绍

[0002]Flink CDC是一种开源的变更数据捕获方案，可以实时拉取业务数据库中与目标业务数据相关的变更业务数据，并同步至指定的数据仓中。
[0003]Flink CDC每次同步目标业务数据相关的变更业务数据到Iceberg时，会生成包含变更业务数据的文件，生成的文件可以作为目标业务数据对应的文件。随着同步次数的不断增加，会产生大量的与目标业务数据对应的文件。
[0004]但大量文件十分影响用户对目标业务数据的处理效率比如查询效率，无法实现高性能的业务数据查询。

技术实现思路

[0005]本申请实施例提供了数据处理方法以及相关设备，用于提升数据处理效率。
[0006]本申请实施例第一方面提供一种数据处理方法，包括：
[0007]响应于针对目标业务数据的合并任务发起请求，生成目标合并任务，所述目标合并任务用于从目标数据库获取所述目标业务数据对应的多个待合并文件，并将所述多个待合并文件合并为至少一个合并文件，其中每个待合并文件为一次同步生成的包含所述目标业务数据的变更业务数据的文件；
[0008]按照预设合并周期执行所述目标合并任务；
[0009]响应于针对所述目标业务数据的处理请求，对所述目标业务数据对应的合并文件执行所述处理请求对应的处理操作。
[0010]在一种具体实现方式中，每个所述待合并文件包括待合并数据文件和待合并元数据文件，所述将所述多个待合并文件合并为至少一个合并文件，包括：
[0011]将每个所述待合并文件的待合并数据文件合并为至少一个合并数据文件，并将每个所述待合并文件的待合并元数据合并为至少一个合并元数据文件，每个所述合并文件包括一个合并数据文件以及对应的一个合并元数据文件。
[0012]在一种具体实现方式中，在所述响应于针对目标业务数据的合并任务发起请求，生成目标合并任务之前，所述方法还包括：
[0013]若建立针对目标业务数据的变更同步任务，则生成所述合并任务发起请求，所述变更同步任务用于将业务数据库中的所述目标业务数据同步至所述目标数据库。
[0014]在一种具体实现方式中，所述方法还包括：
[0015]若所述变更同步任务的状态发生改变，则将所述目标合并任务的状态变更为所述变更同步任务改变后的状态。
[0016]在一种具体实现方式中，所述方法还包括：
[0017]响应于针对所述目标合并任务的状态改变请求，将所述目标合并任务的状态更新
为所述状态改变请求指示的状态。
[0018]在一种具体实现方式中，所述目标数据库中的数据格式为Iceberg表，所述将所述多个待合并文件合并为至少一个合并文件，包括：
[0019]调用Iceberg表的合并接口将述多个待合并文件合并为至少一个合并文件。
[0020]在一种具体实现方式中，所述对所述目标业务数据对应的合并文件执行所述处理请求对应的处理操作，包括：
[0021]根据所述处理请求指示的处理范围，对在所述处理范围内且与所述目标业务数据对应的合并文件，执行所述处理请求对应的处理操作。
[0022]本申请实施例第二方面提供一种数据处理装置，包括：
[0023]生成单元，用于响应于针对目标业务数据的合并任务发起请求，生成目标合并任务，所述目标合并任务用于从目标数据库获取所述目标业务数据对应的多个待合并文件，并将所述多个待合并文件合并为至少一个合并文件，其中每个待合并文件为一次同步生成的包含所述目标业务数据的变更业务数据的文件；
[0024]合并单元，用于按照预设合并周期执行所述目标合并任务；
[0025]处理单元，用于响应于针对所述目标业务数据的处理请求，对所述目标业务数据对应的合并文件执行所述处理请求对应的处理操作。
[0026]在一种具体实现方式中，每个所述待合并文件包括待合并数据文件和待合并元数据文件，所述合并单元，具体用于将每个所述待合并文件的待合并数据文件合并为至少一个合并数据文件，并将每个所述待合并文件的待合并元数据合并为至少一个合并元数据文件，每个所述合并文件包括一个合并数据文件以及对应的一个合并元数据文件。
[0027]在一种具体实现方式中，所述生成单元，还用于若建立针对目标业务数据的变更同步任务，则生成所述合并任务发起请求，所述变更同步任务用于将业务数据库中的所述目标业务数据同步至所述目标数据库。
[0028]在一种具体实现方式中，所述装置还包括：变更单元；
[0029]所述变更单元，用于若所述变更同步任务的状态发生改变，则将所述目标合并任务的状态变更为所述变更同步任务改变后的状态。
[0030]在一种具体实现方式中，所述装置还包括：更新单元；
[0031]所述更新单元，用于响应于针对所述目标合并任务的状态改变请求，将所述目标合并任务的状态更新为所述状态改变请求指示的状态。
[0032]在一种具体实现方式中，所述合并单元，具体用于调用Iceberg表的合并接口将述多个待合并文件合并为至少一个合并文件。
[0033]在一种具体实现方式中，所述处理单元，具体用于根据所述处理请求指示的处理范围，对在所述处理范围内且与所述目标业务数据对应的合并文件，执行所述处理请求对应的处理操作。
[0034]本申请实施例第三方面提供一种数据处理装置，包括：
[0035]中央处理器，存储器以及输入输出接口；
[0036]所述存储器为短暂存储存储器或持久存储存储器；
[0037]所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行第一方面所述的方法。
[0038]本申请实施例第四方面提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面所述的方法。
[0039]本申请实施例第五方面提供一种计算机存储介质，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如第一方面所述的方法。
[0040]从以上技术方案可以看出，本申请实施例具有以下优点：可以根据针对目标业务数据的合并任务发起请求，生成目标合并任务。然后按照预设合并周期执行目标合并任务，定时将未合并的多次同步生成的多个包含目标业务数据的变更业务数据的待合并文件合并为至少一个合并文件。最后，在处理目标业务数据时，可获取相应的合并文件，而无需获取相应的大量待合并文件，可显著提升数据处理效率。
附图说明
[0041]图1为本申请实施例公开的数据处理方法的一种流程示例图；
[0042]图2为本申请实施例公开的数据处理方法的一种系统架构图；
[0043]图3为本申请实施例公开的数据处理装置一个结构示意图；
[0044]图4为本申请实施例公开的数据处理装置另一结构示意图。
具体实施方式
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：响应于针对目标业务数据的合并任务发起请求，生成目标合并任务，所述目标合并任务用于从目标数据库获取所述目标业务数据对应的多个待合并文件，并将所述多个待合并文件合并为至少一个合并文件，其中每个待合并文件为一次同步生成的包含所述目标业务数据的变更业务数据的文件；按照预设合并周期执行所述目标合并任务；响应于针对所述目标业务数据的处理请求，对所述目标业务数据对应的合并文件执行所述处理请求对应的处理操作。2.根据权利要求1所述的方法，其特征在于，每个所述待合并文件包括待合并数据文件和待合并元数据文件，所述将所述多个待合并文件合并为至少一个合并文件，包括：将每个所述待合并文件的待合并数据文件合并为至少一个合并数据文件，并将每个所述待合并文件的待合并元数据合并为至少一个合并元数据文件，每个所述合并文件包括一个合并数据文件以及对应的一个合并元数据文件。3.根据权利要求1或2所述的方法，其特征在于，在所述响应于针对目标业务数据的合并任务发起请求，生成目标合并任务之前，所述方法还包括：若建立针对目标业务数据的变更同步任务，则生成所述合并任务发起请求，所述变更同步任务用于将业务数据库中的所述目标业务数据同步至所述目标数据库。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：若所述变更同步任务的状态发生改变，则将所述目标合并任务的状态变更为所述变更同步任务改变后的状态。5.根据权利要求1或2所述的方法，其特征在于，在所述生成目标合并任务之后，所述方法还包括：响应于针对所述目标合并任务的状态改变请求，将所述目标合并任务的状态更...

【专利技术属性】
技术研发人员：符宣东，陈祥麟，易乐天，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：