System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机,尤其涉及一种基于虚拟数据表的数据查询方法及装置。
技术介绍
1、随着企业业务的发展,数据通常会分散存储在不同的数据仓库和数据源中,这些数据可能具有不同的格式和结构。企业作为数据需求方需要从各种数据来源获取数据,因此需要从不同的数据源中导出、转换和加载数据,在这些过程中可能存在着数据冗余、数据不一致、数据安全性差等问题。
技术实现思路
1、本申请提供一种基于虚拟数据表的数据查询方法,应用于数据虚拟化引擎;所述数据虚拟化引擎维护了对数据提供方提供的数据表进行数据虚拟化得到的虚拟数据表,以及所述虚拟数据表中的数据字段与所述数据提供方提供的数据表中的数据字段之间的映射关系;所述方法包括:
2、接收数据需求方发起的针对所述虚拟数据表的数据查询语句;其中,所述数据查询语句包含所述虚拟数据表中的至少一个待查询的数据字段;
3、基于维护的所述映射关系,从所述数据提供方提供的目标数据表中确定出与所述待查询的数据字段存在映射关系的目标字段;
4、基于所述目标字段,在所述目标数据表执行数据查询,并将查询结果返回给所述数据需求方。
5、可选的,所述数据虚拟化引擎接入了多个数据提供方;所述数据提供方提供的数据表包括所述多个数据提供方分别提供的异构的多个数据表;所述虚拟数据表为针对所述异构的多个数据表分别进行数据虚拟化,得到的具有统一的数据结构的虚拟数据表。
6、可选的,所述目标数据表中的包含的数据字段分别绑定了对应的查询api;其
7、所述基于所述目标字段,在所述目标数据表执行数据查询,包括:
8、确定与所述目标字段绑定的查询api;
9、将所述目标字段对应的字段值作为与所述查询api对应的接口调用参数,发起针对所述查询api的接口调用,以基于所述目标字段,在所述目标数据表完成数据查询。
10、可选的,所述基于所述目标字段,在所述目标数据表执行数据查询,包括:
11、将所述数据查询语句中包含的所述待查询的数据字段替换为所述目标字段,并将所述数据查询语句进一步下发至所述数据提供方,以在与所述目标数据表对应的数据库中执行所述数据查询语句,基于所述目标字段,在所述目标数据表完成数据查询。
12、可选的,所述数据虚拟化引擎还维护了为所述数据提供方提供的数据表中的各个数据字段对应的字段内容中指定的敏感内容或者非敏感内容,和针对敏感内容进行隐私保护的隐私保护处理方式;
13、所述将查询结果返回给所述数据需求方之前,还包括:
14、按照维护的隐私保护处理方式,对所述查询结果中包含的所述指定的敏感内容进行隐私保护处理;或者,按照维护的隐私处理方式,对所述查询结果中包含的所述非敏感内容以外的其它内容进行隐私保护处理。
15、可选的,所述隐私保护处理包括脱敏处理。
16、可选的,所述将查询结果返回给所述数据需求方,包括:
17、基于维护的所述映射关系,将查询结果中目标数据表中的至少一个数据字段,替换为虚拟数据表中的至少一个数据字段;
18、将替换后的所述查询结果返回给所述数据需求方。
19、本申请还提供一种基于虚拟数据表的数据查询装置,应用于数据虚拟化引擎;所述数据虚拟化引擎维护了对数据提供方提供的数据表进行数据虚拟化得到的虚拟数据表,以及所述虚拟数据表中的数据字段与所述数据提供方提供的数据表中的数据字段之间的映射关系;所述装置包括:
20、查询语句接收单元,用于接收数据需求方发起的针对所述虚拟数据表的数据查询语句;其中,所述数据查询语句包含所述虚拟数据表中的至少一个待查询的数据字段;
21、目标字段确定单元,用于基于维护的所述映射关系,从所述数据提供方提供的目标数据表中确定出与所述待查询的数据字段存在映射关系的目标字段;
22、数据查询单元,用于基于所述目标字段,在所述目标数据表执行数据查询,并将查询结果返回给所述数据需求方
23、本申请还提供一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
24、所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行上述方法。
25、本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现上述方法。
26、在以上实施例记载的方案中,通过虚拟数据表,构建了针对不同数据提供方提供的不同数据资源统一的数据查询交互方式,由此数据提供方无需针对不同的数据需求方开发额外的查询接口,数据需求方也不需要开发不同的接入数据提供方的方式,从而可以节约成本,提高生产效率。
本文档来自技高网...【技术保护点】
1.一种基于虚拟数据表的数据查询方法,应用于数据虚拟化引擎;所述数据虚拟化引擎维护了对数据提供方提供的数据表进行数据虚拟化得到的虚拟数据表,以及所述虚拟数据表中的数据字段与所述数据提供方提供的数据表中的数据字段之间的映射关系;所述方法包括:
2.根据权利要求1所述的方法,所述数据虚拟化引擎接入了多个数据提供方;所述数据提供方提供的数据表包括所述多个数据提供方分别提供的异构的多个数据表;所述虚拟数据表为针对所述异构的多个数据表分别进行数据虚拟化,得到的具有统一的数据结构的虚拟数据表。
3.根据权利要求1所述的方法,所述目标数据表中的包含的数据字段分别绑定了对应的查询API;其中,所述查询API用于基于与其绑定的数据字段的字段值,在所述目标数据表中执行数据查询;
4.根据权利要求1所述的方法,所述基于所述目标字段,在所述目标数据表执行数据查询,包括:
5.根据权利要求1所述的方法,所述数据虚拟化引擎还维护了为所述数据提供方提供的数据表中的各个数据字段对应的字段内容中指定的敏感内容或者非敏感内容,和针对敏感内容进行隐私保护的隐私保护处理方
6.根据权利要求5所述的方法,所述隐私保护处理包括脱敏处理。
7.根据权利要求1所述的方法,所述将查询结果返回给所述数据需求方,包括:
8.一种基于虚拟数据表的数据查询装置,应用于数据虚拟化引擎;所述数据虚拟化引擎维护了对数据提供方提供的数据表进行数据虚拟化得到的虚拟数据表,以及所述虚拟数据表中的数据字段与所述数据提供方提供的数据表中的数据字段之间的映射关系;所述装置包括:
9.根据权利要求8所述的装置,所述数据虚拟化引擎接入了多个数据提供方;所述数据提供方提供的数据表包括所述多个数据提供方分别提供的异构的多个数据表;所述虚拟数据表为针对所述异构的多个数据表分别进行数据虚拟化,得到的具有统一的数据结构的虚拟数据表。
10.根据权利要求8所述的装置,所述目标数据表中的包含的数据字段分别绑定了对应的查询API;其中,所述查询API用于基于与其绑定的数据字段的字段值,在所述目标数据表中执行数据查询;
11.根据权利要求8所述的装置,所述数据查询单元,进一步用于将所述数据查询语句中包含的所述待查询的数据字段替换为所述目标字段,并将所述数据查询语句进一步下发至所述数据提供方,以在与所述目标数据表对应的数据库中执行所述数据查询语句,基于所述目标字段,在所述目标数据表完成数据查询。
12.根据权利要求8所述的装置,所述数据虚拟化引擎还维护了为所述数据提供方提供的数据表中的各个数据字段对应的字段内容中指定的敏感内容或者非敏感内容,和针对敏感内容进行隐私保护的隐私保护处理方式;所述装置还包括:
13.根据权利要求12所述的装置,所述隐私保护处理包括脱敏处理。
14.根据权利要求8所述的装置,所述数据查询单元,进一步用于基于维护的所述映射关系,将查询结果中目标数据表中的至少一个数据字段,替换为虚拟数据表中的至少一个数据字段;
15.一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
16.一种计算机可读存储介质所述计算机可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种基于虚拟数据表的数据查询方法,应用于数据虚拟化引擎;所述数据虚拟化引擎维护了对数据提供方提供的数据表进行数据虚拟化得到的虚拟数据表,以及所述虚拟数据表中的数据字段与所述数据提供方提供的数据表中的数据字段之间的映射关系;所述方法包括:
2.根据权利要求1所述的方法,所述数据虚拟化引擎接入了多个数据提供方;所述数据提供方提供的数据表包括所述多个数据提供方分别提供的异构的多个数据表;所述虚拟数据表为针对所述异构的多个数据表分别进行数据虚拟化,得到的具有统一的数据结构的虚拟数据表。
3.根据权利要求1所述的方法,所述目标数据表中的包含的数据字段分别绑定了对应的查询api;其中,所述查询api用于基于与其绑定的数据字段的字段值,在所述目标数据表中执行数据查询;
4.根据权利要求1所述的方法,所述基于所述目标字段,在所述目标数据表执行数据查询,包括:
5.根据权利要求1所述的方法,所述数据虚拟化引擎还维护了为所述数据提供方提供的数据表中的各个数据字段对应的字段内容中指定的敏感内容或者非敏感内容,和针对敏感内容进行隐私保护的隐私保护处理方式;
6.根据权利要求5所述的方法,所述隐私保护处理包括脱敏处理。
7.根据权利要求1所述的方法,所述将查询结果返回给所述数据需求方,包括:
8.一种基于虚拟数据表的数据查询装置,应用于数据虚拟化引擎;所述数据虚拟化引擎维护了对数据提供方提供的数据表进行数据虚拟化得到的虚拟数据表,以及所述虚拟数据表中的数据字段与所述数据提供方提供的数据表中的数据字段之间的映射关系;所述装置包括:
9.根据权利要求8所述的装置,所述数据...
【专利技术属性】
技术研发人员:刘丁宁,马超,孙善禄,
申请(专利权)人:蚂蚁区块链科技上海有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。