数据测试方法、存储介质和电子设备技术

本发明专利技术公开了一种数据测试方法、存储介质和电子设备。其中，该方法包括：从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行测试脚本集合，得到测试结果；对测试结果进行汇总，生成测试报告。本发明专利技术解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。据正确性的技术问题。据正确性的技术问题。

【技术实现步骤摘要】
数据测试方法、存储介质和电子设备


[0001]本专利技术涉及计算机
，具体而言，涉及一种数据测试方法、存储介质和电子设备。

技术介绍

[0002]在大数据系统中，尤其在数据在线分析处理(Online Analytical Processing，OLAP)的场景下，通常使用数据仓库作为服务底层的支撑。数据仓库往往涉及多来源、多渠道、多种类的大量级数据，并且对数据加工的逻辑较复杂，因此，数据仓库的多个工作环节(如数据采集、数据加工、数据生产、同步等)中都可能出现逻辑错误或故障(Bug)，进而降低数据的正确性(如出现数据缺失、数据异常、数据错误和数据不一致等问题)。然而，数据的正确性直接影响大数据服务的上层分析决策、产品效益和用户体验，因此，如何保障大数据系统中多源数据的正确性成为相关领域中亟待解决的问题。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种数据测试方法、存储介质和电子设备，以至少解决相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种数据测试方法，包括：从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行测试脚本集合，得到测试结果；对测试结果进行汇总，生成测试报告。
[0006]根据本专利技术实施例的另一方面，还提供了一种数据测试方法，包括：从多种类型电商广告数据源中查询待测试电商广告数据，其中，多种类型电商广告数据源存储于云端的多源数据仓库中；基于待测试电商广告数据关联的多个电商广告数据测试指标生成电商广告数据测试脚本集合，其中，多个电商广告数据测试指标用于验证待测试电商广告数据的数据质量，电商广告数据测试脚本集合包括：多个电商广告数据测试脚本，多个电商广告数据测试脚本中的每个电商广告数据测试脚本分别用于执行不同类型电商广告数据源中的电商广告数据测试子任务；执行电商广告数据测试脚本集合，得到电商广告数据测试结果；对电商广告数据测试结果进行汇总，生成电商广告数据测试报告。
[0007]根据本专利技术实施例的另一方面，还提供了一种数据测试方法，包括：从多种类型电商订单数据源中查询待测试电商订单数据，其中，多种类型电商订单数据源存储于云端的多源数据仓库中；基于待测试电商订单数据关联的多个电商订单数据测试指标生成电商订单数据测试脚本集合，其中，多个电商订单数据测试指标用于验证待测试电商订单数据的
数据质量，电商订单数据测试脚本集合包括：多个电商订单数据测试脚本，多个电商订单数据测试脚本中的每个电商订单数据测试脚本分别用于执行不同类型电商订单数据源中的电商订单数据测试子任务；执行电商订单数据测试脚本集合，得到电商订单数据测试结果；对电商订单数据测试结果进行汇总，生成电商订单数据测试报告。
[0008]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行任意一项上述的数据测试方法。
[0009]根据本专利技术实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中；基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行测试脚本集合，得到测试结果；对测试结果进行汇总，生成测试报告。
[0010]在本专利技术实施例中，通过从多种类型数据源中查询待测试数据，其中，多种类型数据源存储于云端的多源数据仓库中，基于待测试数据关联的多个测试指标生成测试脚本集合，其中，多个测试指标用于验证待测试数据的数据质量，测试脚本集合包括：多个测试脚本，多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务，并通过执行测试脚本集合，得到测试结果，进而对测试结果进行汇总，生成测试报告。
[0011]容易注意到的是，通过本专利技术实施例，针对多源数据仓库中的待测试数据，基于用于测试数据质量的多个测试指标，生成并执行测试脚本集合，以得到测试结果并生成测试报告，达到了利用多个测试指标自动生成测试脚本集合以进行多源数据仓库中数据正确性测试的目的，从而实现了提高多源数据仓库中数据正确性测试效率和准确性的技术效果，进而解决了相关技术中由于数据正确性测试效率低、准确性差导致多源数据仓库中难以保证数据正确性的技术问题。
附图说明
[0012]此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0013]图1示出了一种用于实现数据测试方法的计算机终端(或移动设备)的硬件结构框图；
[0014]图2是根据本专利技术实施例的一种数据测试方法的流程图；
[0015]图3是根据本专利技术实施例的一种数据正确性测试平台的结构示意图；
[0016]图4是根据本专利技术实施例的一种数据正确性测试执行过程的示意图；
[0017]图5是根据本专利技术实施例的一种数据正确性测试指标的分类示意图；
[0018]图6是根据本专利技术实施例的一种执行测试脚本的过程的示意图；
[0019]图7是根据本专利技术实施例的另一种数据测试方法的流程图；
[0020]图8是根据本专利技术实施例的另一种数据测试方法的流程图；
[0021]图9是根据本专利技术实施例的一种数据测试装置的结构示意图；
[0022]图10是根据本专利技术实施例的另一种可选的数据测试装置的结构示意图；
[0023]图11是根据本专利技术实施例的另一种可选的数据测试装置的结构示意图；
[0024]图12是根据本专利技术实施例的另一种数据测试装置的结构示意图；
[0025]图13是根据本专利技术实施例的另一种可选的数据测试装置的结构示意图；
[0026]图14是根据本专利技术实施例的另一种数据测试装置的结构示意图；
[0027]图15是根据本专利技术实施例的另一种计算机终端的结构框图。
具体实施方式
[0028]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据测试方法，其特征在于，包括：从多种类型数据源中查询待测试数据，其中，所述多种类型数据源存储于云端的多源数据仓库中；基于所述待测试数据关联的多个测试指标生成测试脚本集合，其中，所述多个测试指标用于验证所述待测试数据的数据质量，所述测试脚本集合包括：多个测试脚本，所述多个测试脚本中的每个测试脚本分别用于执行不同类型数据源中的测试子任务；执行所述测试脚本集合，得到测试结果；对所述测试结果进行汇总，生成测试报告。2.根据权利要求1所述的数据测试方法，其特征在于，所述数据测试方法还包括：为所述多种类型数据源中的每种类型数据源设置数据源链接信息，其中，所述数据源链接信息用于连接目标数据库，并从所述目标数据库中查询所述待测试数据，所述目标数据库用于存储所述多种类型数据源。3.根据权利要求1所述的数据测试方法，其特征在于，所述多个测试指标包括以下部分或全部类型测试指标：数据及时性测试指标、数据完整性测试指标、数据准确性测试指标、数据一致性测试指标，基于所述待测试数据关联的所述多个测试指标生成所述测试脚本集合包括：选取测试指标规则，其中，所述测试指标规则用于确定所述待测试数据对应的测试任务；配置所述测试指标规则对应的参数信息；基于所述参数信息，确定所述待测试数据对应的所述多个测试指标，其中，所述多个测试指标中每个测试指标分别对应一个测试脚本模板；根据所述多个测试指标对应的多个测试脚本模板，生成所述测试脚本集合。4.根据权利要求1所述的数据测试方法，其特征在于，执行所述测试脚本集合，得到所述测试结果包括：分别对所述测试脚本集合中包含的每个测试脚本进行拆分处理，得到每个测试脚本对应的多个测试子任务；确定所述多个测试子任务中每个测试子任务的任务类型和执行顺序；基于所述任务类型和所述执行顺序执行所述测试脚本集合，得到所述测试结果。5.根据权利要求4所述的数据测试方法，其特征在于，基于所述任务类型和所述执行顺序执行所述测试脚本集合，得到所述测试结果包括：基于所述任务类型和所述执行顺序生成每个测试脚本对应的树状结构任务流，其中，所述树状结构任务流包括：多个节点，所述多个节点中每个节点分别对应每个测试脚本中不同的测试子任务，所述任务类型用于确定每个节点对应的执行结果获取方式，所述执行顺序用于确定所述多个节点的连接方式；依据所述树状结构任务流执行每个测试脚本，得到所述测试结果。6.根据权利要求3所述的数据测试方法，其特征在于，所述测试结果包括：所述测试任务对应的第一汇总结果，其中，所述第一汇总结果用于表明所述测试任务是否成功执行以及在所述测试任务未成功执行时，所述测试任务对应的失败记录；所述失败记录对应的异常明细数据，其中，所述异常明细数据用于定位所述失败记录
对应的失败原因。7.根据权利要求1所述的数据测试方法，其特征在于，按照所述测试结果生成所述测试报告包括：利用所述测试结果判定所述测试脚本集合是否执行完毕；响应于所述测试脚本集合执行完毕，基于所述测试结果汇总所述多个测试指标是否通过本次测试，得到第二汇总结果；按照所述第二汇总结果生成并展示所述测试报告，其中，所述测试报告用于展示所述多个测试指标的测试情况，以及在确定所述测试任务出现异常时，触发异常告警。8.根据权利要求1所述的数据测试方法，其特征在于，通过目标云上数据测试平台提供一图形用户界面，所述图形用户界面所显示的内容至少部分地包含一多数据源测试场景，所述数据测试方法还包括：响应作用于所述图形用户界面的第一触控操作，为所述多种类型数据源中的每种类型数据源设置数据源链接信息；响应作用于所述图形用户界面的第二触控操作，基于所述数据源链接信息连接目标数据库，并从所述目标数据库中查询所述待测试数据，所述目标数据库用于存储所述多种类型数据源；响应作用于所述图形用户界面的第三触控操作，选取测试指标规则，配置所述测试指标规则对应的参数信息，基于所述参数信息，确定所述待测试数据对应的所述多个测试指标，以及根据所述多个测试指标对应的多个测试脚本模板，生成...

【专利技术属性】
技术研发人员：张楠，岳虎，党利娜，程世成，
申请(专利权)人：杭州瓴羊智能服务有限公司，
类型：发明
国别省市：