【技术实现步骤摘要】
本申请涉及大数据测试,尤其涉及一种大数据处理平台的数据测试方法及装置。
技术介绍
1、数据测试,指指数据质量的测试,主要关注数据的完整性、准确性、一致性、及时性、可用性这五个维度。如果是业务系统中的数据测试,数据量不是非常大的情况下,测试人员是可以通过一些常用的测试手段从五个维度来验证数据。但随着企业数据量的发展,数据量越来越大,再加上大数据加工的技术也一直在进步,数据处理的框架越发复杂,场景更加多样,数据处理链路越来越长。
2、基于以上变化,大数据加工过程中的数据测试难度大幅提升,对测试人员的技术能力提出了更高的要求,常规的数据测试方法,难以全面完整对整个数据处理链路实现测试。
3、因此,如何提供一种解决上述技术问题的方案是目前本领域技术人员需要解决的问题。
技术实现思路
1、有鉴于此,本申请实施例提供了一种大数据处理平台的数据测试方法及装置,以解决现有技术中数据测试难度较高、无法完整高效测试数据处理链路的问题。
2、本申请实施例的第一方面,提供了一种
...【技术保护点】
1.一种大数据处理平台的数据测试方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析,以确认所述处理程序是否存在故障并对所述故障定位的过程,包括:
3.根据权利要求1所述的方法,其特征在于,基于测试数据对每个所述处理程序进行测试包括:
4.根据权利要求3所述的方法,其特征在于,对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析,以确认所述处理程序是否存在故障并对所述故障定位的过程,包括:
5.根据权利要求3所述的方法,其特征
...【技术特征摘要】
1.一种大数据处理平台的数据测试方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析,以确认所述处理程序是否存在故障并对所述故障定位的过程,包括:
3.根据权利要求1所述的方法,其特征在于,基于测试数据对每个所述处理程序进行测试包括:
4.根据权利要求3所述的方法,其特征在于,对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析,以确认所述处理程序是否存在故障并对所述故障定位的过程,包括:
5.根据权利要求3所述的方法,其特征在于,对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析,以确认所述处理程序是否存在故障并...
【专利技术属性】
技术研发人员:徐琳,孙若愚,
申请(专利权)人:深圳须弥云图空间科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。