数据处理方法技术

技术编号:39811791 阅读:6 留言:0更新日期:2023-12-22 19:29
本公开的实施方式提供了一种数据处理方法,涉及数据处理领域

【技术实现步骤摘要】
数据处理方法、介质、装置和计算设备


[0001]本公开的实施方式涉及数据处理领域,更具体地,本公开的实施方式涉及数据处理方法

介质

装置和计算设备


技术介绍

[0002]本部分旨在为本公开的实施方式提供背景或上下文

此处的描述不因为包括在本部分中就承认是现有技术

[0003]数据质量是数据分析结论有效性和准确性的基础,也是最重要的前提和保障

通过事前定义数据质量的监测规则

事中监测和控制数据的生成过程

事后数据评估和问题追溯过程,可以把控高质量的数据,拥有高质量的数据可以确保商业决策不会遭受“坏”数据或“脏”数据带来的负面影响

[0004]相关技术中,在实现数据质量监测时,通常是通过执行用于监测数据质量的查询语句,得到执行结果,该执行结果可以用于判定待监测数据的数据质量

但是,待监测数据的数据量越大,查询语句的数量也就越多,因此,执行查询语句的耗时也会增加,从而存在数据质量监测效率低的问题

[0005]因此,亟需一种可以提高数据质量监测效率的方案


技术实现思路

[0006]本公开提供一种数据处理方法

介质

装置和计算设备,以提高数据质量监测的效率

[0007]在本公开实施方式的第一方面中,提供了一种数据处理方法,包括:响应于接收到用于执行待监测数据的数据质量监测任务的触发指令,执行数据质量监测任务,生成
M
个第一查询语句,数据质量监测任务用于生成对待监测数据的数据质量进行监测的查询语句,
M
为正整数;提取
M
个第一查询语句中每个第一查询语句的数据源;基于数据源,对
M
个第一查询语句进行合并处理,得到第二查询语句;执行第二查询语句,得到执行结果,执行结果用于确定待监测数据的数据质量

[0008]在本公开的一个实施例中,该数据处理方法应用于服务端,基于数据源,对
M
个第一查询语句进行合并处理,得到第二查询语句,包括:基于数据源,对
M
个第一查询语句进行分类,得到
N
个第一查询语句集合,
N
个第一查询语句集合中不同第一查询语句集合的数据源不同,
N
小于
M

N
为正整数;针对
N
个第一查询语句集合中的每个第一查询语句集合,对第一查询语句集合中的
T
个第一查询语句进行合并处理,得到第二查询语句,
T
小于
M

T
为正整数

[0009]在本公开的另一个实施例中,对第一查询语句集合中的
T
个第一查询语句进行合并处理,得到第二查询语句,包括:提取
T
个第一查询语句的查询条件,或提取
T
个第一查询语句的查询条件和过滤条件;响应于
T
个第一查询语句均不存在过滤条件,将
T
个第一查询语句的查询条件进行合并处理,得到第二查询语句

[0010]在本公开的又一个实施例中,对第一查询语句集合中的
T
个第一查询语句进行合并处理,得到第二查询语句,包括:响应于
T
个第一查询语句均存在过滤条件,且过滤条件均相同,将
T
个第一查询语句的查询条件进行合并处理,得到第二查询语句;响应于
T
个第一查询语句均存在过滤条件,且过滤条件均不相同,针对
T
个第一查询语句中的每个第一查询语句,采用预设分支函数,将每个第一查询语句的过滤条件合并至每个第一查询语句的查询条件中,得到
T
个第三查询语句;将
T
个第三查询语句的查询条件进行合并处理,得到第二查询语句;响应于
T
个第一查询语句均存在过滤条件,且
T
个第一查询语句的部分第一查询语句的过滤条件相同,针对
T
个第一查询语句中的每个第一查询语句,采用预设分支函数,将每个第一查询语句的过滤条件合并至每个第一查询语句的查询条件中,得到
T
个第四查询语句;将
T
个第四查询语句的查询条件进行合并处理,得到第二查询语句;响应于
T
个第一查询语句均存在过滤条件,且
T
个第一查询语句的过滤条件中存在相同的目标子过滤条件,针对
T
个第一查询语句中的每个第一查询语句,采用预设分支函数,将每个第一查询语句的过滤条件中除目标子过滤条件之外的其他子过滤条件,合并至每个第一查询语句的查询条件中,得到
T
个第五查询语句;将
T
个第五查询语句的查询条件进行合并处理,得到第二查询语句

[0011]在本公开的再一个实施例中,对第一查询语句集合中的
T
个第一查询语句进行合并处理,得到第二查询语句,包括:响应于
T
个第一查询语句中
S
个第一查询语句存在过滤条件,针对
S
个第一查询语句中的每个第一查询语句,采用预设分支函数,将每个第一查询语句的过滤条件合并至每个第一查询语句的查询条件中,得到
S
个第六查询语句,
S

T

S
为正整数;将
T

S
个第一查询语句的查询条件和
S
个第六查询语句的查询条件进行合并处理,得到第二查询语句

[0012]在本公开的再一个实施例中,提取
M
个第一查询语句中每个第一查询语句的数据源,包括:针对
M
个第一查询语句中的每个第一查询语句,执行以下步骤:对第一查询语句进行解析处理,提取出第一查询语句的多个查询变量;根据多个查询变量表示的变量含义,确定数据源

[0013]在本公开的再一个实施例中,数据质量监测任务包括
M
个数据质量监测规则,
M
个数据质量监测规则中的每个数据质量监测规则包括规则语句,
M
个数据质量监测规则中的每个数据质量监测规则与
M
个第一查询语句中的每个第一查询语句一一对应;执行数据质量监测任务,生成
M
个第一查询语句,包括:按照预设的变量赋值规则,对
M
个数据质量监测规则对应的
M
个规则语句中的目标查询变量进行赋值,得到
M
个第一查询语句

[0014]在本公开的再一个实施例本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法,包括:响应于接收到用于执行待监测数据的数据质量监测任务的触发指令,执行所述数据质量监测任务,生成
M
个第一查询语句,所述数据质量监测任务用于生成对所述待监测数据的数据质量进行监测的查询语句,
M
为正整数;提取所述
M
个第一查询语句中每个第一查询语句的数据源;基于所述数据源,对所述
M
个第一查询语句进行合并处理,得到第二查询语句;执行所述第二查询语句,得到执行结果,所述执行结果用于确定所述待监测数据的数据质量
。2.
根据权利要求1所述的数据处理方法,应用于服务端,所述基于所述数据源,对所述
M
个第一查询语句进行合并处理,得到第二查询语句,包括:基于所述数据源,对所述
M
个第一查询语句进行分类,得到
N
个第一查询语句集合,所述
N
个第一查询语句集合中不同第一查询语句集合的数据源不同,
N
小于
M

N
为正整数;针对所述
N
个第一查询语句集合中的每个第一查询语句集合,对所述第一查询语句集合中的
T
个第一查询语句进行合并处理,得到所述第二查询语句,
T
小于
M

T
为正整数
。3.
根据权利要求2所述的数据处理方法,所述对所述第一查询语句集合中的
T
个第一查询语句进行合并处理,得到所述第二查询语句,包括:提取所述
T
个第一查询语句的查询条件,或提取所述
T
个第一查询语句的查询条件和过滤条件;响应于所述
T
个第一查询语句均不存在过滤条件,将所述
T
个第一查询语句的查询条件进行合并处理,得到所述第二查询语句
。4.
根据权利要求3所述的数据处理方法,所述对所述第一查询语句集合中的
T
个第一查询语句进行合并处理,得到所述第二查询语句,包括:响应于所述
T
个第一查询语句均存在过滤条件,且过滤条件均相同,将所述
T
个第一查询语句的查询条件进行合并处理,得到所述第二查询语句;响应于所述
T
个第一查询语句均存在过滤条件,且过滤条件均不相同,针对所述
T
个第一查询语句中的每个第一查询语句,采用预设分支函数,将每个第一查询语句的过滤条件合并至每个第一查询语句的查询条件中,得到
T
个第三查询语句;将
T
个第三查询语句的查询条件进行合并处理,得到所述第二查询语句;响应于所述
T
个第一查询语句均存在过滤条件,且所述
T
个第一查询语句的部分第一查询语句的过滤条件相同,针对
T
个第一查询语句中的每个第一查询语句,采用预设分支函数,将每个第一查询语句的过滤条件合并至每个第一查询语句的查询条件中,得到
T
个第四查询语句;将
T
个第四查询语句的查询条件进行合并处理,得到所述第二查询语句;响应于所述
T
个第一查询语句均存在过滤条件,且所述
T
个第一查询语句的过滤条件中存在相同的目标子过滤条件...

【专利技术属性】
技术研发人员:郭忆李卓豪祝联新曾晓敏徐楚翘余利华
申请(专利权)人:杭州网易数之帆科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1