一种基于Dataworks平台的数据自动化测试方法及系统技术方案

本发明专利技术涉及一种基于Dataworks平台的数据自动化测试方法及系统，方法包括：获取数据模型文档，解析数据模型文档得到解析信息；自Dataworks平台的API接口中获取数据模型的表结构实际信息，将表结构解析信息与表结构实际信息一一比对；生成测试数据，确定数据模型的多个测试环境，获取Dataworks平台开放的接口，在多个测试环境对数据模型进行自动化配置，代入测试数据；获取新编写脚本或者选择已有脚本，在各个测试环境下执行数据模型的测试，对测试结果进行检查。与现有技术相比，本发明专利技术将数据模型测试的基本动作进行了分解，实现对特定手工操作流程自动化，提高了测试人员的测试效率，提高了数据模型的质量门槛。提高了数据模型的质量门槛。提高了数据模型的质量门槛。

【技术实现步骤摘要】
一种基于Dataworks平台的数据自动化测试方法及系统


[0001]本专利技术涉及测试
，尤其是涉及一种基于Dataworks平台的数据自动化测试方法及系统。

技术介绍

[0002]Dataworks是阿里云推出的大数据领域PaaS平台，提供数据集成、数据开发、数据管理、数据治理等全方位的产品服务，在金融、互联网及传统行业数字化转型中都得到了广泛的应用。通过Dataworks可以开发设计多样的数据模型，如何保证基于Dataworks开发的数据模型质量，如完整性、一致性、准确性、及时性等，以及提升测试效率，使测试活动规范化、可持续化都是业内亟需思考解决的问题。
[0003]目前行业内的测试主要是通过在阿里平台上编写SQL，对数据结果进行总量测试、数据结果抽样核对等方式进行测试，测试的颗粒度、深度等高度依赖测试人员本身的技术能力和对数据模型的理解能力。测试过程中存在以下几个痛点：
[0004]1)测试过程中存在较多的人工比对环节，比如表结构比对、表关联比对等；
[0005]2)整个的数据链路测试追踪难度大，不成体系；
[0006]3)测试资产难关联模型生成一个较好的测试知识分享体系。
[0007]另外一个痛点是数据准备，由于监管等原因，测试环境的测试数据可能存在缺失或脱敏后失去关联及可验证性等问题，因此需要在测试环境参考字段含义表结构等构造测试数据，目前主要是测试人员自行通过脚本或数据文件上传方式来构造，大数据表字段多，构造成本较大且不同测试人员构造数据的规范性较难约束。<br/>
技术实现思路

[0008]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于Dataworks平台的数据自动化测试方法及系统。
[0009]本专利技术的目的可以通过以下技术方案来实现：
[0010]一种基于Dataworks平台的数据自动化测试方法，用于对部署在Dataworks平台的数据模型进行测试，包括以下步骤：
[0011]S1、获取数据模型文档，解析数据模型文档得到解析信息，所述解析信息包括数据模型的表结构解析信息、流程节点名、表关联关系和字段取值逻辑；
[0012]S2、自Dataworks平台的API接口中获取数据模型的表结构实际信息，将表结构解析信息与表结构实际信息一一比对，若存在差异，则调整数据模型文档或数据模型，直至表结构解析信息与表结构实际信息一致；
[0013]S3、生成测试数据，确定数据模型的多个测试环境，获取Dataworks平台开放的接口，在多个测试环境对数据模型进行自动化配置，代入测试数据；
[0014]S4、获取新编写脚本或者选择已有脚本，在各个测试环境下执行数据模型的测试，对测试结果进行检查。
[0015]进一步地，所述步骤S2之后还包括：预设置大纲规则模板，将流程节点名、表关联关系和字段取值逻辑代入大纲规则模板生成测试大纲。
[0016]进一步地，所述步骤S3中，若存在该数据模型的历史测试数据，则同步该数据模型的历史测试数据作为测试数据，若不存在该数据模型的历史测试数据，则通过数据造数得到测试数据。
[0017]进一步地，所述数据造数过程如下：
[0018]根据所述表结构解析信息提取需要造数的字段，解析各个字段预设置的字段造数规则，基于字段造数规则和表关联信息进行造数。
[0019]进一步地，还包括步骤S5：
[0020]对于新编写的脚本，存储脚本并为脚本添加包括但不限于主题域维度、模型维度、函数维度、项目维度、功能点维度的标签，计算脚本的积分值；对于已有的脚本，更新脚本模型维度、函数维度、项目维度、功能点维度的标签，更新脚本的积分值；所述积分值的取值基于所述脚本的点击率和使用频率。
[0021]进一步地，所述步骤S4中，基于脚本的标签与数据模型的相关性从已有的脚本中选择脚本作为待推荐脚本，基于所述待推荐脚本的积分从待推荐脚本中选择推荐脚本，将所述推荐脚本展示给用户。
[0022]进一步地，所述步骤S4中，对测试结果进行检查的检查方式包括约束检查、枚举检查、范围检查、一致性检查、数据量检查、非空检查、数据波动检查、唯一性检查、供数文件检查中的一种或多种。
[0023]进一步地，所述步骤S4还包括：在测试过程中调用Dataworks平台的接口收集日志，对所述日志文件进行解析得到错误信息，将所述错误信息与方案库中的错误信息记录进行相似性匹配，并根据匹配结果推荐解决方案，所述方案库中预存储有多个错误信息记录以及对应的解决方案。
[0024]进一步地，所述步骤S1之前还包括：
[0025]预设置触发条件，监测Dataworks平台上的数据模型，如果数据模型满足触发条件，则执行步骤S1
‑
S4。
[0026]一种基于Dataworks平台的数据自动化测试系统，用于执行上述的数据自动化测试方法，包括：
[0027]数据模型文档解析模块，用于获取数据模型文档，解析数据模型文档得到解析信息，所述解析信息包括数据模型的表结构解析信息、流程节点名、表关联关系和字段取值逻辑；
[0028]表结构对比模块，用于自Dataworks平台的API接口中获取数据模型的表结构实际信息，将表结构解析信息与表结构实际信息一一比对；
[0029]测试准备模块，用于生成测试数据，确定数据模型的多个测试环境，获取Dataworks平台开放的接口，在多个测试环境对数据模型进行自动化配置，代入测试数据；
[0030]测试模块，用于获取新编写脚本或者选择已有脚本，在各个测试环境下执行数据模型的测试，对测试结果进行检查。
[0031]与现有技术相比，本专利技术具有以下有益效果：
[0032]将数据模型测试的基本动作进行了分解，实现对特定手工操作流程自动化，如表
结构比对、编制测试大纲、准备测试数据、结果检查、Dataworks自动执行节点任务等，还集成了脚本管理、解决方案推荐等，提供了一个统一系统化可扩展的一站式测试平台，测试人员的测试效率得到提升的同时，提高了数据模型的质量门槛，降低了测试人员的工作量。
附图说明
[0033]图1为数据自动化测试方法的流程图；
[0034]图2为应用数据自动化测试系统进行测试的示意图。
具体实施方式
[0035]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例，本专利技术的保护范围不限于下述的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0036]此处所称的“一个实施例”或“实施例”是指可包含于本专利技术至少一个实现方式中的特定特征、结构或特性。在本专利技术的描述中，需要理解的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Dataworks平台的数据自动化测试方法，其特征在于，用于对部署在Dataworks平台的数据模型进行测试，包括以下步骤：S1、获取数据模型文档，解析数据模型文档得到解析信息，所述解析信息包括数据模型的表结构解析信息、流程节点名、表关联关系和字段取值逻辑；S2、自Dataworks平台的API接口中获取数据模型的表结构实际信息，将表结构解析信息与表结构实际信息一一比对，若存在差异，则调整数据模型文档或数据模型，直至表结构解析信息与表结构实际信息一致；S3、生成测试数据，确定数据模型的多个测试环境，获取Dataworks平台开放的接口，在多个测试环境对数据模型进行自动化配置，代入测试数据；S4、获取新编写脚本或者选择已有脚本，在各个测试环境下执行数据模型的测试，对测试结果进行检查。2.根据权利要求1所述的一种基于Dataworks平台的数据自动化测试方法，其特征在于，所述步骤S2之后还包括：预设置大纲规则模板，将流程节点名、表关联关系和字段取值逻辑代入大纲规则模板生成测试大纲。3.根据权利要求1所述的一种基于Dataworks平台的数据自动化测试方法，其特征在于，所述步骤S3中，若存在该数据模型的历史测试数据，则同步该数据模型的历史测试数据作为测试数据，若不存在该数据模型的历史测试数据，则通过数据造数得到测试数据。4.根据权利要求1所述的一种基于Dataworks平台的数据自动化测试方法，其特征在于，所述数据造数过程如下：根据所述表结构解析信息提取需要造数的字段，解析各个字段预设置的字段造数规则，基于字段造数规则和表关联信息进行造数。5.根据权利要求1所述的一种基于Dataworks平台的数据自动化测试方法，其特征在于，还包括步骤S5：对于新编写的脚本，存储脚本并为脚本添加包括但不限于主题域维度、模型维度、函数维度、项目维度、功能点维度的标签，计算脚本的积分值；对于已有的脚本，更新脚本模型维度、函数维度、项目维度、功能点维度的标签，更新脚本的积分值；所述积分值的取值基于所述脚本的点击率和使用频率。6.根据权利要求5所述的一种基于Da...

【专利技术属性】
技术研发人员：胡苗青，胡少君，李景哲，
申请(专利权)人：中国太平洋人寿保险股份有限公司，
类型：发明
国别省市：