数据同步测试方法、装置、电子设备及计算机可读介质制造方法及图纸

技术编号:38753513 阅读:9 留言:0更新日期:2023-09-10 09:38
本申请公开了数据同步测试方法、装置、电子设备及计算机可读介质,涉及计算机技术领域,一具体实施方式包括接收数据同步测试请求,获取对应的测试数据,确定测试数据对应的同步表类型和数据维度;基于同步表类型和数据维度,确定对应的同步场景标识;确定同步场景标识对应的生产业务数据量,进而根据生产业务数据量确定场景数据量;根据场景数据量,执行数据同步测试,进而确定数据同步时间。以实现提高对数据同步工具的同步性能进行评估的效率和准确率,为选择高效的数据同步工具提供更快速的数据支持。快速的数据支持。快速的数据支持。

【技术实现步骤摘要】
数据同步测试方法、装置、电子设备及计算机可读介质


[0001]本申请涉及大数据数据测试
,尤其涉及一种数据同步测试方法、装置、电子设备及计算机可读介质。

技术介绍

[0002]关系型数据库与大数据生态圈的数据传输同步时采用数据同步工具,当前无法对数据同步工具对业务数据的同步性能进行有效评估以根据评估结果有针对性地选择高效的数据同步工具。
[0003]在实现本申请过程中,专利技术人发现现有技术中至少存在如下问题:
[0004]在进行数据同步测试业务时,对数据同步工具的同步性能评估效率和评估准确率低。

技术实现思路

[0005]有鉴于此,本申请实施例提供一种数据同步测试方法、装置、电子设备及计算机可读介质,能够解决现有的在进行数据同步测试业务时,对数据同步工具的同步性能评估效率和评估准确率低的问题。
[0006]为实现上述目的,根据本申请实施例的一个方面,提供了一种数据同步测试方法,包括:
[0007]接收数据同步测试请求,获取对应的测试数据,确定测试数据对应的同步表类型和数据维度;
[0008]基于同步表类型和数据维度,确定对应的同步场景标识;
[0009]确定同步场景标识对应的生产业务数据量,进而根据生产业务数据量确定场景数据量;
[0010]根据场景数据量,执行数据同步测试,进而确定数据同步时间。
[0011]可选地,确定测试数据对应的同步表类型和数据维度,包括:
[0012]根据测试数据,确定对应的数据源标识;
[0013]基于数据源标识,确定处理类型;
[0014]根据处理类型,确定同步表类型。
[0015]可选地,确定测试数据对应的同步表类型和数据维度,包括:
[0016]响应于同步表类型为事实表,确定事实表对应的业务事件;
[0017]根据业务事件,确定数据维度。
[0018]可选地,根据处理类型,确定同步表类型,包括:
[0019]响应于处理类型为批处理,获取批处理对应的测试模型和表结构;
[0020]根据测试模型和表结构,确定同步表类型。
[0021]可选地,确定对应的同步场景标识,包括:
[0022]根据同步表类型和数据维度,确定对应的业务逻辑类型;
[0023]根据业务逻辑类型,确定同步场景标识。
[0024]可选地,根据生产业务数据量确定场景数据量,包括:
[0025]将生产业务数据量同比缩小预设数量倍数,以得到场景数据量。
[0026]可选地,根据生产业务数据量确定场景数据量,包括:
[0027]确定同步场景标识对应的分区数量;
[0028]根据分区数量对生产业务数据量进行划分,以得到场景数据量。
[0029]另外,本申请还提供了一种数据同步测试装置,包括:
[0030]接收单元,被配置成接收数据同步测试请求,获取对应的测试数据,确定测试数据对应的同步表类型和数据维度;
[0031]同步场景标识确定单元,被配置成基于同步表类型和数据维度,确定对应的同步场景标识;
[0032]场景数据量确定单元,被配置成确定同步场景标识对应的生产业务数据量,进而根据生产业务数据量确定场景数据量;
[0033]执行单元,被配置成根据场景数据量,执行数据同步测试,进而确定数据同步时间。
[0034]可选地,接收单元进一步被配置成:
[0035]根据测试数据,确定对应的数据源标识;
[0036]基于数据源标识,确定处理类型;
[0037]根据处理类型,确定同步表类型。
[0038]可选地,接收单元进一步被配置成:
[0039]响应于同步表类型为事实表,确定事实表对应的业务事件;
[0040]根据业务事件,确定数据维度。
[0041]可选地,接收单元进一步被配置成:
[0042]响应于处理类型为批处理,获取批处理对应的测试模型和表结构;
[0043]根据测试模型和表结构,确定同步表类型。
[0044]可选地,同步场景标识确定单元进一步被配置成:
[0045]根据同步表类型和数据维度,确定对应的业务逻辑类型;
[0046]根据业务逻辑类型,确定同步场景标识。
[0047]可选地,场景数据量确定单元进一步被配置成:
[0048]将生产业务数据量同比缩小预设数量倍数,以得到场景数据量。
[0049]可选地,场景数据量确定单元进一步被配置成:
[0050]确定同步场景标识对应的分区数量;
[0051]根据分区数量对生产业务数据量进行划分,以得到场景数据量。另外,本申请还提供了一种数据同步测试电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述的数据同步测试方法。
[0052]另外,本申请还提供了一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现如上述的数据同步测试方法。
[0053]为实现上述目的,根据本申请实施例的又一个方面,提供了一种计算机程序产品。
[0054]本申请实施例的一种计算机程序产品,包括计算机程序,程序被处理器执行时实现本申请实施例提供的数据同步测试方法。
[0055]上述专利技术中的一个实施例具有如下优点或有益效果:本申请通过接收数据同步测试请求,获取对应的测试数据,确定测试数据对应的同步表类型和数据维度;基于同步表类型和数据维度,确定对应的同步场景标识;确定同步场景标识对应的生产业务数据量,进而根据生产业务数据量确定场景数据量;根据场景数据量,执行数据同步测试,进而确定数据同步时间。以实现提高对数据同步工具的同步性能进行评估的效率和准确率,为选择高效的数据同步工具提供更快速的数据支持。
[0056]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0057]附图用于更好地理解本申请,不构成对本申请的不当限定。其中:
[0058]图1是根据本申请一个实施例的数据同步测试方法的主要流程的示意图;
[0059]图2是根据本申请一个实施例的数据同步测试方法的主要流程的示意图;
[0060]图3是根据本申请一个实施例的数据同步测试方法的主要流程示意图;
[0061]图4是根据本申请实施例的数据同步测试装置的主要单元的示意图;
[0062]图5是本申请实施例可以应用于其中的示例性系统架构图;
[0063]图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
[0064]以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据同步测试方法,其特征在于,包括:接收数据同步测试请求,获取对应的测试数据,确定所述测试数据对应的同步表类型和数据维度;基于所述同步表类型和所述数据维度,确定对应的同步场景标识;确定所述同步场景标识对应的生产业务数据量,进而根据所述生产业务数据量确定场景数据量;根据所述场景数据量,执行数据同步测试,进而确定数据同步时间。2.根据权利要求1所述的方法,其特征在于,所述确定所述测试数据对应的同步表类型和数据维度,包括:根据所述测试数据,确定对应的数据源标识;基于所述数据源标识,确定处理类型;根据所述处理类型,确定同步表类型。3.根据权利要求2所述的方法,其特征在于,所述确定所述测试数据对应的同步表类型和数据维度,包括:响应于所述同步表类型为事实表,确定所述事实表对应的业务事件;根据所述业务事件,确定数据维度。4.根据权利要求2所述的方法,其特征在于,所述根据所述处理类型,确定同步表类型,包括:响应于所述处理类型为批处理,获取批处理对应的测试模型和表结构;根据所述测试模型和所述表结构,确定同步表类型。5.根据权利要求1所述的方法,其特征在于,所述确定对应的同步场景标识,包括:根据所述同步表类型和所述数据维度,确定对应的业务逻辑类型;根据所述业务逻辑类型,确定同步场景标识。6.根据权利要求1所述的方法,其特征在于,所述根据所述生产业务数据量确定场景数据量,包括:将所述生产业务数据量同比缩小预设数量倍数,以得到场景数据量。7.根据权利要求1所述的方法,其特征在于,所述根据所述生产业务数据量确定场景数据量,包括:确定所述同步场景标识对应的分区数量;根据所述分区数量对所述生产业务数据量进行划分,以得到场景数据量。8.一种数据同步测试装置,其特征在于,包括:接收单元,被配置成接收数据同步测试请求,获取对应的测试数据,确定所述测试数据对应的同步表类型和数据维度;同步场景标识确定单元,被配置成基于所述同步表类型和所述数...

【专利技术属性】
技术研发人员:余尧尧
申请(专利权)人:建信金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1