一种数据处理的方法、电子设备及存储介质技术

技术编号:41423714 阅读:20 留言:0更新日期:2024-05-28 20:23
本申请公开了一种数据处理的方法、电子设备及存储介质,属于数据库技术领域。所述方法包括:确定第一数据库应用场景中的多个第一SQL语句和每个所述第一SQL语句中的多个第一字段;根据所述第一SQL语句和所述多个第一字段,确定所述多个第一字段之间的第一血缘关系;在所述第一数据库应用场景对应的第一数据表中,确定与所述第一血缘关系不匹配的第二字段;在读取所述第一数据表时,裁剪掉所述第二字段。

【技术实现步骤摘要】

本申请属于数据库,具体涉及一种数据处理的方法、电子设备及存储介质


技术介绍

1、在大数据
,数据血缘描述了数据的来源和去向,以及数据在多个处理过程中的转换,其在很多业务场景中发挥着重要作用,例如,数据仓库中基于结构化查询语言(structured query language,sql)的字段血缘可以应用于字段的前向回溯、后向影响性范围分析、敏感数据做字段脱敏等。

2、但在实际应用中,相关基于全量的表和字段形成的字段血缘,在对应生成的sql执行计划时,存在计算和存储的浪费,数据处理效率低。


技术实现思路

1、本申请实施例的目的是提供一种数据处理的方法、电子设备及存储介质,能够实现在不同的应用场景下,节省计算和存储成本,提高数据处理效率。

2、为了解决上述技术问题,本申请是这样实现的:

3、第一方面,本申请实施例提供了一种数据处理的方法,所述方法包括:确定第一数据库应用场景中的多个第一sql语句和每个所述第一sql语句中的多个第一字段;根据所述第一sql语句和所述多个第本文档来自技高网...

【技术保护点】

1.一种数据处理的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述确定所述多个第一字段之间的第一血缘关系之前,还包括:

3.根据权利要求1所述的方法,其特征在于,所述在所述第一数据库应用场景对应的第一数据表中,确定与所述第一血缘关系不匹配的第二字段,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述第一SQL语句和所述多个第一字段,确定所述多个第一字段之间的第一血缘关系,包括:

5.根据权利要求2所述的方法,其特征在于,所述对所述多个第一字段进行校验,确定所述多个第一字段中的不正确字段,以提示对...

【技术特征摘要】

1.一种数据处理的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述确定所述多个第一字段之间的第一血缘关系之前,还包括:

3.根据权利要求1所述的方法,其特征在于,所述在所述第一数据库应用场景对应的第一数据表中,确定与所述第一血缘关系不匹配的第二字段,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述第一sql语句和所述多个第一字段,确定所述多个第一字段之间的第一血缘关系,包括:

5.根据权利要求2所述的方法,其特征在于,所述对所述多个第一字段进行校验,确定所述多个第一字段中的不正确字段,以提示对所述多个第一字段中的不正确字段进行修正,包括:

6.根据权利要求2所述的方法,其特征在于,所述对所述多个第一...

【专利技术属性】
技术研发人员:吴东磊
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1