一种数据质量检测方法、系统、电子设备及存储介质技术方案

技术编号:28034998 阅读:34 留言:0更新日期:2021-04-09 23:17
本申请公开了一种数据质量检测方法、系统、电子设备及存储介质。数据质量检测方法包括:触发步骤:触发脚本;数据拉取步骤:将阿里查询接口、Dataservice、业务数据库中分别拉取数据;数据验证步骤:将所述数据存放在csv文件下,验证所述数据准确性。本发明专利技术提出一种数据质量检测方法、系统、电子设备及存储介质,为提高多平台连通数据测试过程中测试校验的及时性、准确性、完整性,通过结合自动化脚本的形式来提高在数据量较大的情况下数据验证效率,并自动输出测试报告。

【技术实现步骤摘要】
一种数据质量检测方法、系统、电子设备及存储介质
本申请涉及数据质量检测领域,尤其涉及一种数据质量检测方法、系统、电子设备及存储介质。
技术介绍
在现如今电商崛起时代,电商品牌主结合不同节日活动和主推商品,在各大电商平台有不同的商品投放策略。目前电商六大媒体平台有阿里的直通车,超级推荐和钻展以及京东的快车、触电和展位;而电商媒体自动化投放工具即将六大媒体平台一站式整合到一个工具下,积累投放数据和经验。用户在电商平台的行为数据成为电商品牌方分析商品在电商平台投放效果及用户转化率等指标的重要数据,电商媒体自动化投放工具会间接拉取电商平台的数据,根据数据做算法相关处理来指导投手商品投放。因此,针对拉取数据的完整性和准确性校验就显得尤为重要。因此,针对以上现状,本专利技术提出一种数据质量检测方法、系统、电子设备及存储介质,为提高多平台连通数据测试过程中测试校验的及时性、准确性、完整性,通过结合自动化脚本的形式来提高在数据量较大的情况下数据验证效率,并自动输出测试报告。
技术实现思路
本申请实施例提供了一种数据质量检测方法、系统本文档来自技高网...

【技术保护点】
1.一种数据质量检测方法,其特征在于,所述数据质量检测方法包括:/n触发步骤:触发脚本;/n数据拉取步骤:从阿里查询接口、Dataservice及业务数据库中分别拉取数据;/n数据验证步骤:将所述数据存放在csv文件下,验证所述数据准确性。/n

【技术特征摘要】
1.一种数据质量检测方法,其特征在于,所述数据质量检测方法包括:
触发步骤:触发脚本;
数据拉取步骤:从阿里查询接口、Dataservice及业务数据库中分别拉取数据;
数据验证步骤:将所述数据存放在csv文件下,验证所述数据准确性。


2.根据权利要求1所述的数据质量检测方法,其特征在于,所述触发步骤包括,以输入参数的形式触发所述脚本。


3.根据权利要求2所述的数据质量检测方法,其特征在于,所述数据拉取步骤包括,根据所述输入参数调用封装的所述阿里查询接口,从所述阿里查询接口、所述Dataservice及所述业务数据库中分别拉取每个计划、单元、关键词、人群在对应店铺下产生的分时分日的数据。


4.根据权利要求1所述的数据质量检测方法,其特征在于,所述数据验证步骤包括,将所述数据存储在excel中,并存放在csv文件下后,比对数据gap值来验证所述数据的准确性,并通过所述数据的代码自动生成Echarts趋势图。


5.一种数据质量检测系统,其特征在于,适用于上述权利要求1-4所述的数据质量检测方法,包括:
触发单元:触发脚本;
数据拉取单元:从阿里查询接口、Dataservice及业务数据库中分别拉取数...

【专利技术属性】
技术研发人员:董歌
申请(专利权)人:恩亿科北京数据科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1