本申请提供了一种数据测试的方法、装置、设备及介质，用于对可视化报表中的数据和数据仓库中的数据之间进行测试，所述方法包括：通过预设第一程序，获取所述可视化报表中，目标指标下的第一数据；通过预设第二程序，获取所述数据仓库中，所述目标指标下的第二数据；将所述第一数据和所述第二数据进行比对，确定比对结果；根据所述比对结果，确定数据测试是否通过，可以至少用以解决相关技术中无法对数据实现自动化测试的技术问题。实现自动化测试的技术问题。实现自动化测试的技术问题。
【技术实现步骤摘要】
数据测试的方法、装置、设备及介质
[0001]本申请涉及信息
，尤其涉及一种数据测试的方法、装置、设备及介质。
技术介绍
[0002]随着企业大数据、移动互联网、多媒体等业务的发展，企业的数据量越来越大，运用数据的业务场景越来越多，数据的结构也越来越多样化，对数据的准确性需求也不断扩大，由此，数据测试应运而生。其中，数据测试指的是检查局部数据结构时，为了保证临时存储在模块内的数据在程序执行过程中完整、正确的过程。
[0003]由于通过数据测试可以保证数据质量，因此企业对此愈加重视。然而，专利技术人发现相关技术中至少存在如下技术问题：无法对数据实现自动化测试。
[0004]具体地，在相关技术中，大多是在接口层面对数据进行自动化监控，进而由人工进行数据测试。比如，在针对可视化报表中的数据和数据仓库中的数据进行数据测试的方案中，一般是对可视化报表的接口层面进行数据监控，然后通过人工手动在企业提供的查询平台手动编写SQL查询语句，使用Presto或Hive等引擎计算出数据仓库中的数据，然后再由人工通过肉眼根据计算出的数据仓库中的数据和监控到的可视化报表中的数据就某些指标进行对比，并由人工根据比对结果来判断对应数据是否正确。在上述方式的实现过程中，不仅需要人工手动切换区服，而且根据业务的不同，需要通过人工基于对应业务编写新的SQL查询语句，进而再由人工进行数据的对比、判断。其中，在通过人工手动在企业提供的查询平台手动编写SQL查询语句的过程中：若使用Presto，则需兼顾编写的SQL查询语句的逻辑不能太复杂，数据量也不能太大，否则会出现报错的情况；若使用Hive，则虽然逻辑可以很复杂，也支持较大的数据量，但是需要考虑计算速度较慢的问题，因此对人工编写代码的能力要求较高。
[0005]综上分析可知，相关技术中无法对数据实现自动化测试，非常依赖人工操作，测试效率较低，会消耗大量的人力成本和时间成本，并且需要人工手动进行数据维护。随着企业的数据仓库中的数据越来越多，可视化数据报表业务也越来越多，如果还一味依靠相关技术中的测试方式，必然会极大增加相关人员在数据测试方面的工作负担。
技术实现思路
[0006]本申请的一个目的是提供一种数据测试的方法、装置、设备及介质，至少用以解决相关技术中无法对数据实现自动化测试的技术问题。
[0007]为实现上述目的，本申请的一些实施例提供了一种数据测试的方法，用于对可视化报表中的数据和数据仓库中的数据之间进行测试，所述方法包括：通过预设第一程序，获取所述可视化报表中，目标指标下的第一数据；通过预设第二程序，获取所述数据仓库中，所述目标指标下的第二数据；将所述第一数据和所述第二数据进行比对，确定比对结果；根据所述比对结果，确定数据测试是否通过。
[0008]可选地，所述通过预设第一程序，获取所述可视化报表中，目标指标下的第一数据
包括：通过预设第一程序，确定与所述目标指标对应的预设参数；根据所述预设参数进行拼接，得到URL；根据所述URL，获取所述可视化报表中，目标指标下的第一数据。这里，提供了通过预设第一程序，获取所述可视化报表中，目标指标下的第一数据的一种具体实现方式，有利于本申请实施例获取所述目标指标下的第一数据的方式得以灵活多变的实现。
[0009]可选地，所述通过预设第二程序，获取所述数据仓库中，所述目标指标下的第二数据包括：通过预设第二程序，确定获取所述预设参数的优先级；根据所述优先级，从所述数据仓库的Hive底表中，获取与所述预设参数对应的第二数据。这里，提供了通过预设第二程序，获取所述数据仓库中，所述目标指标下的第二数据的一种具体实现方式，有利于本申请实施例获取所述目标指标下的第二数据的方式得以灵活多变的实现。
[0010]可选地，所述将所述第一数据和所述第二数据进行比对，确定比对结果包括：判断所述第一数据和所述第二数据是否相同；若所述第一数据和所述第二数据相同，则得到表征测试通过的比对结果；若所述第一数据和所述第二数据不同，则得到表征测试未通过的比对结果。通过自动将所述第一数据和所述第二数据进行比对，确定比对结果，无需由人工通过肉眼根据计算出的数据仓库中的数据和监控到的可视化报表中的数据就某些指标进行对比，并无需人工根据比对结果来判断对应数据是否正确，可以进一步降低人力成本和时间成本，同时便于数据维护和数据更新。
[0011]可选地，在所述若所述第一数据和所述第二数据不同，则得到表征测试未通过的比对结果之后，所述方法还包括：按照预设规则，发送告警信息。这里，若所述第一数据和所述第二数据不同，通过按照预设规则，自动发送告警信息，从而将数据测试异常的结果告知相关工作人员，而无需通过人工告知，可以进一步提升数据测试的效率。
[0012]可选地，所述方法还包括：将所述第一预设程序和所述第二预设程序，上传至目标集群和/或目标调度平台。通过将所述第一预设程序和所述第二预设程序，上传至目标集群和/或目标调度平台，在对某些目标指标的数据需求发生变化时，相关工作人员可以基于所述目标集群和/或目标调度平台直接修改并更新所述预设第一程序和所述预设第二程序，进而可以将更新后的所述预设第一程序和所述预设第二程序分发至其他需要进行数据测试的计算机设备，由于省去其他了人工手动修改，因此有利于进一步提升数据测试的效率，并且还有利于数据的维护。
[0013]可选地，在将所述第一预设程序和所述第二预设程序，上传至目标集群和/或目标调度平台之后，所述方法还包括：在接收到配置信息后，根据所述配置信息执行所述数据测试的操作；其中，所述配置信息包括以下任意之一或其任意组合：任务调度的时间信息、任务依赖信息、任务失败重试时间信息、任务失败通知规则信息。这里，通过相关工作人员可以通过上传配置信息直接修改并更新所述预设第一程序和所述预设第二程序，提供了修改并更新所述预设第一程序和所述预设第二程序的一种具体的实现方式。
[0014]本申请的一些实施例还提供了一种数据测试的装置，所述装置包括：第一数据获取单元，用于通过预设第一程序，获取所述可视化报表中，目标指标下的第一数据；第二数据获取单元，用于通过预设第二程序，获取所述数据仓库中，所述目标指标下的第二数据；数据对比单元，用于将所述第一数据和所述第二数据进行比对，确定比对结果；结果确定单元，用于根据所述比对结果，确定数据测试是否通过。
[0015]本申请的一些实施例还提供了一种计算机设备，所述设备包括：一个或多个处理
器；以及存储有计算机程序指令的存储器，所述计算机程序指令在被执行时使所述处理器执行如上所述的方法。
[0016]本申请的一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如上所述的方法。
[0017]相较于现有技术，本申请实施例提供的数据测试的方法，实现了对数据的自动化测试。具体通过预设第一程序，自动获取所述可视化报表中，目标指标下的第一数据，并通过预设第二程序，自动获取所述数据仓库中，所述目标指标下的第二数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据测试的方法，其特征在于，用于对可视化报表中的数据和数据仓库中的数据之间进行测试，所述方法包括：通过预设第一程序，获取所述可视化报表中，目标指标下的第一数据；通过预设第二程序，获取所述数据仓库中，所述目标指标下的第二数据；将所述第一数据和所述第二数据进行比对，确定比对结果；根据所述比对结果，确定数据测试是否通过。2.根据权利要求1所述的方法，其特征在于，所述通过预设第一程序，获取所述可视化报表中，目标指标下的第一数据包括：通过预设第一程序，确定与所述目标指标对应的预设参数；根据所述预设参数进行拼接，得到URL；根据所述URL，获取所述可视化报表中，目标指标下的第一数据。3.根据权利要求2所述的方法，其特征在于，所述通过预设第二程序，获取所述数据仓库中，所述目标指标下的第二数据包括：通过预设第二程序，确定获取所述预设参数的优先级；根据所述优先级，从所述数据仓库的Hive底表中，获取与所述预设参数对应的第二数据。4.根据权利要求1至3任意一项所述的方法，其特征在于，所述将所述第一数据和所述第二数据进行比对，确定比对结果包括：判断所述第一数据和所述第二数据是否相同；若所述第一数据和所述第二数据相同，则得到表征测试通过的比对结果；若所述第一数据和所述第二数据不同，则得到表征测试未通过的比对结果。5.根据权利要求4所述的方法，其特征在于，在所述若所述第一数据和所述第二数据不同，则得到表征...
【专利技术属性】
技术研发人员：杜仕伟，
申请(专利权)人：上海米哈游天命科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。