【技术实现步骤摘要】
数据处理方法、介质、装置和计算设备
[0001]本公开的实施方式涉及数据处理领域,更具体地,本公开的实施方式涉及数据处理方法
、
介质
、
装置和计算设备
。
技术介绍
[0002]本部分旨在为本公开的实施方式提供背景或上下文
。
此处的描述不因为包括在本部分中就承认是现有技术
。
[0003]数据质量是数据分析结论有效性和准确性的基础,也是最重要的前提和保障
。
通过事前定义数据质量的监测规则
、
事中监测和控制数据的生成过程
、
事后数据评估和问题追溯过程,可以把控高质量的数据,拥有高质量的数据可以确保商业决策不会遭受“坏”数据或“脏”数据带来的负面影响
。
[0004]相关技术中,在实现数据质量监测时,通常是通过执行用于监测数据质量的查询语句,得到执行结果,该执行结果可以用于判定待监测数据的数据质量
。
但是,待监测数据的数据量越大,查询语句的数量也就越多,因此,执行查询语句的耗时也会增加,从而存在数据质量监测效率低的问题
。
[0005]因此,亟需一种可以提高数据质量监测效率的方案
。
技术实现思路
[0006]本公开提供一种数据处理方法
、
介质
、
装置和计算设备,以提高数据质量监测的效率
。
[0007]在本公开实施方式的第一方面中,提供了一种数据处理方法,包括:响应 ...
【技术保护点】
【技术特征摘要】
1.
一种数据处理方法,包括:响应于接收到用于执行待监测数据的数据质量监测任务的触发指令,执行所述数据质量监测任务,生成
M
个第一查询语句,所述数据质量监测任务用于生成对所述待监测数据的数据质量进行监测的查询语句,
M
为正整数;提取所述
M
个第一查询语句中每个第一查询语句的数据源;基于所述数据源,对所述
M
个第一查询语句进行合并处理,得到第二查询语句;执行所述第二查询语句,得到执行结果,所述执行结果用于确定所述待监测数据的数据质量
。2.
根据权利要求1所述的数据处理方法,应用于服务端,所述基于所述数据源,对所述
M
个第一查询语句进行合并处理,得到第二查询语句,包括:基于所述数据源,对所述
M
个第一查询语句进行分类,得到
N
个第一查询语句集合,所述
N
个第一查询语句集合中不同第一查询语句集合的数据源不同,
N
小于
M
且
N
为正整数;针对所述
N
个第一查询语句集合中的每个第一查询语句集合,对所述第一查询语句集合中的
T
个第一查询语句进行合并处理,得到所述第二查询语句,
T
小于
M
且
T
为正整数
。3.
根据权利要求2所述的数据处理方法,所述对所述第一查询语句集合中的
T
个第一查询语句进行合并处理,得到所述第二查询语句,包括:提取所述
T
个第一查询语句的查询条件,或提取所述
T
个第一查询语句的查询条件和过滤条件;响应于所述
T
个第一查询语句均不存在过滤条件,将所述
T
个第一查询语句的查询条件进行合并处理,得到所述第二查询语句
。4.
根据权利要求3所述的数据处理方法,所述对所述第一查询语句集合中的
T
个第一查询语句进行合并处理,得到所述第二查询语句,包括:响应于所述
T
个第一查询语句均存在过滤条件,且过滤条件均相同,将所述
T
个第一查询语句的查询条件进行合并处理,得到所述第二查询语句;响应于所述
T
个第一查询语句均存在过滤条件,且过滤条件均不相同,针对所述
T
个第一查询语句中的每个第一查询语句,采用预设分支函数,将每个第一查询语句的过滤条件合并至每个第一查询语句的查询条件中,得到
T
个第三查询语句;将
T
个第三查询语句的查询条件进行合并处理,得到所述第二查询语句;响应于所述
T
个第一查询语句均存在过滤条件,且所述
T
个第一查询语句的部分第一查询语句的过滤条件相同,针对
T
个第一查询语句中的每个第一查询语句,采用预设分支函数,将每个第一查询语句的过滤条件合并至每个第一查询语句的查询条件中,得到
T
个第四查询语句;将
T
个第四查询语句的查询条件进行合并处理,得到所述第二查询语句;响应于所述
T
个第一查询语句均存在过滤条件,且所述
T
个第一查询语句的过滤条件中存在相同的目标子过滤条件...
【专利技术属性】
技术研发人员:郭忆,李卓豪,祝联新,曾晓敏,徐楚翘,余利华,
申请(专利权)人:杭州网易数之帆科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。