一种测试数据准备方法及相关设备技术

本公开提供的一种测试数据准备方法及相关设备，可应用于大数据领域或金融领域

【技术实现步骤摘要】
一种测试数据准备方法及相关设备


[0001]本公开涉及大数据领域，尤其涉及一种测试数据准备方法及相关设备
。

技术介绍

[0002]当前，大数据类产品呈现出数据源多样化以及数据加工链路复杂化的特点
。
对于此类产品的测试，需要准备全面且准确的测试数据，验证出数据加工过程中的逻辑错误
。
[0003]然而，面对复杂的数据加工链路以及涉及的海量来源表，单纯依靠提取测试数据后导入测试环境中进行测试，由于测试数据提取周期长，容易导致提取出的测试数据已无法满足当前时间节点下的产品测试需求，从而降低了测试数据的利用率，影响产品的测试效率
。
[0004]因此，如何提升测试数据的利用率，成为本领域技术人员急需解决的技术问题
。

技术实现思路

[0005]鉴于上述问题，本公开提供一种克服上述问题或者至少部分地解决上述问题的一种测试数据准备方法及相关设备，技术方案如下：
[0006]一种测试数据准备方法，包括：
[0007]获得待测试产品的目标表和目标日期分区；
[0008]利用与所述待测试产品对应的数据地图，查询与所述目标表存在数据血缘关系的来源表；
[0009]在预先构建好的测试数据资源池中，查询所述目标日期分区下是否存在与所述来源表对应的测试数据，如果否，则查询除所述目标日期分区以外的其他日期分区下是否存在与所述来源表对应的测试数据；
[0010]在除所述目标日期分区以外的其他日期分区下不存在与所述来源表对应的测试数据的情况下，获得所述来源表中的各个字段；
[0011]对任一所述字段：利用所述数据地图，查询是否存在所述字段的数据表，如果是，则获得所述数据表中与所述字段对应的第一字段数据，将所述第一字段数据复制至所述目标日期分区下与所述来源表的所述字段对应的位置
。
[0012]可选的，所述方法还包括：
[0013]在查询不到存在所述字段的数据表的情况下，按照与所述字段匹配的造数模式进行自动化造数，生成第二字段数据；
[0014]将所述第二字段数据传输至所述目标日期分区下与所述来源表的所述字段对应的位置
。
[0015]可选的，所述按照与所述字段匹配的造数模式进行自动化造数，生成第二字段数据，包括：
[0016]判定所述字段是否存在预设字段输入条件，如果是，则按照所述预设字段输入条件，生成第二字段数据，如果否，则基于所述字段的字段类型和字段长度，生成第二字段数
据
。
[0017]可选的，所述预设字段输入条件包括字段值范围和
/
或正则表达式
。
[0018]可选的，所述方法还包括：
[0019]在除所述目标日期分区以外的其他日期分区下存在与所述来源表对应的测试数据的情况下，将所述测试数据复制至所述目标日期分区下与所述来源表对应的位置
。
[0020]可选的，在获得待测试产品的目标表和目标日期分区之前，所述方法还包括：
[0021]获得所述待测试产品的数据资源信息，其中，所述数据资源信息包括与所述待测试产品关联的字段信息
、
存储信息
、
描述信息以及数据统计信息；
[0022]利用所述数据资源信息，构建出与所述待测试产品对应的数据地图
。
[0023]可选的，所述测试数据为与所述待测试产品关联且脱敏后的生产数据
。
[0024]一种测试数据准备装置，包括：第一获得单元
、
第一查询单元
、
第二查询单元
、
第三查询单元
、
第二获得单元
、
第四查询单元
、
第三获得单元和字段数据复制单元，
[0025]所述第一获得单元，用于获得待测试产品的目标表和目标日期分区；
[0026]所述第一查询单元，用于利用与所述待测试产品对应的数据地图，查询与所述目标表存在数据血缘关系的来源表；
[0027]所述第二查询单元，用于在预先构建好的测试数据资源池中，查询所述目标日期分区下是否存在与所述来源表对应的测试数据，如果否，则触发所述第三查询单元；
[0028]所述第三查询单元，用于查询除所述目标日期分区以外的其他日期分区下是否存在与所述来源表对应的测试数据；
[0029]所述第二获得单元，用于在除所述目标日期分区以外的其他日期分区下不存在与所述来源表对应的测试数据的情况下，获得所述来源表中的各个字段；
[0030]所述第四查询单元，用于对任一所述字段：利用所述数据地图，查询是否存在所述字段的数据表，如果是，则触发所述第三获得单元；
[0031]所述第三获得单元，用于获得所述数据表中与所述字段对应的第一字段数据；
[0032]所述字段数据复制单元，用于将所述第一字段数据复制至所述目标日期分区下与所述来源表的所述字段对应的位置
。
[0033]一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的测试数据准备方法
。
[0034]一种电子设备，所述电子设备包括至少一个处理器
、
以及与处理器连接的至少一个存储器
、
总线；其中，所述处理器
、
所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述任一项所述的测试数据准备方法
。
[0035]借由上述技术方案，本公开提供的一种测试数据准备方法及相关设备，可应用于大数据领域或金融领域，本公开可以获得待测试产品的目标表和目标日期分区；利用与待测试产品对应的数据地图，查询与目标表存在数据血缘关系的来源表；在预先构建好的测试数据资源池中，查询目标日期分区下是否存在与来源表对应的测试数据，如果否，则查询除目标日期分区以外的其他日期分区下是否存在与来源表对应的测试数据；在除目标日期分区以外的其他日期分区下不存在与来源表对应的测试数据的情况下，获得来源表中的各个字段；对任一字段：利用数据地图，查询是否存在该字段的数据表，如果是，则获得数据表中与该字段对应的第一字段数据，将第一字段数据复制至目标日期分区下与来源表的该字
段对应的位置
。
本公开针对待测试产品的不同测试需求，基于目标表和目标日期分区，利用数字地图技术和测试数据资源池，实现字段级的数据查询，从而能够快速获取到与目标表存在数据血缘关系的来源表对应的测试数据，节省测试数据获取时间，提升了测试数据的利用率，进而提升了产品的测试效率
。
[0036]上述说明仅是本公开技术方案的概述，为了能够更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的上述和其它目的
、
特征和优点能够更明显易懂，以下特举本公开的具体实施方式
。
附图说明
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种测试数据准备方法，其特征在于，包括：获得待测试产品的目标表和目标日期分区；利用与所述待测试产品对应的数据地图，查询与所述目标表存在数据血缘关系的来源表；在预先构建好的测试数据资源池中，查询所述目标日期分区下是否存在与所述来源表对应的测试数据，如果否，则查询除所述目标日期分区以外的其他日期分区下是否存在与所述来源表对应的测试数据；在除所述目标日期分区以外的其他日期分区下不存在与所述来源表对应的测试数据的情况下，获得所述来源表中的各个字段；对任一所述字段：利用所述数据地图，查询是否存在所述字段的数据表，如果是，则获得所述数据表中与所述字段对应的第一字段数据，将所述第一字段数据复制至所述目标日期分区下与所述来源表的所述字段对应的位置
。2.
根据权利要求1所述的方法，其特征在于，还包括：在查询不到存在所述字段的数据表的情况下，按照与所述字段匹配的造数模式进行自动化造数，生成第二字段数据；将所述第二字段数据传输至所述目标日期分区下与所述来源表的所述字段对应的位置
。3.
根据权利要求2所述的方法，其特征在于，所述按照与所述字段匹配的造数模式进行自动化造数，生成第二字段数据，包括：判定所述字段是否存在预设字段输入条件，如果是，则按照所述预设字段输入条件，生成第二字段数据，如果否，则基于所述字段的字段类型和字段长度，生成第二字段数据
。4.
根据权利要求3所述的方法，其特征在于，所述预设字段输入条件包括字段值范围和
/
或正则表达式
。5.
根据权利要求1所述的方法，其特征在于，还包括：在除所述目标日期分区以外的其他日期分区下存在与所述来源表对应的测试数据的情况下，将所述测试数据复制至所述目标日期分区下与所述来源表对应的位置
。6.
根据权利要求1所述的方法，其特征在于，在获得待测试产品的目标表和目标日期分区之前，所述方法还包括：获得所述待测试产品的数据资源信息，其中，所述数据资源信息包括与所述待测试产品关联的字段信息
、
存储信息
、
描述信息以及数据统计信息；利用所述数据资...

【专利技术属性】
技术研发人员：王弄笛，胡盼盼，吴猛，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：