【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种数据访问方法、装置、存储介质及电子设备。
技术介绍
1、目前，大数据分析计算已被广泛应用，在大数据分析计算场景中，各种大数据引擎需访问底层存储系统，以实现任务的数据访问。但相关技术通常以分布式对象系统搭建底层存储系统，从而通过底层存储系统进行数据访问，其中，底层存储系统的数据访问存在io(input/output，输入/输出)访问瓶颈等问题，导致访问效率较低。基于此，如何破除io访问瓶颈，以提高访问效率目前尚未提出较好的解决方案。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种数据访问方法、装置、存储介质及电子设备，以解决相关技术通过底层存储系统进行数据访问，而底层存储系统存在io访问瓶颈等问题，导致访问效率较低的问题；也就是说，本专利技术实施例可破除io访问瓶颈，即可破除峰值访问带来的io访问瓶颈，从而有效提高访问效率，即可有效提高大数据分析计算的数据访问效率。
2、根据本专利技术的一方面，提供了一种数据访问方法，所述方法包括：
3、接收目标任务，所述目标任务携带有目标表数据指示信息，所述目标表数据指示信息用于指示所述目标任务所需访问的目标表数据；
4、基于所述目标表数据指示信息，确定目标元数据集，所述目标元数据集支持包括所述目标表数据所在分区的已缓存标识，一个分区的已缓存标识用于指示相应分区中的数据已缓存至存算中间层系统中；
5、基于所述目标元数据集，确定所述目标任务对应的至少一个目标访问
6、基于所述至少一个目标访问路径，访问所述目标表数据，以实现所述目标任务的数据访问。
7、根据本专利技术的另一方面，提供了一种数据访问装置，所述装置包括：
8、接收单元，用于接收目标任务，所述目标任务携带有目标表数据指示信息，所述目标表数据指示信息用于指示所述目标任务所需访问的目标表数据；
9、处理单元，用于基于所述目标表数据指示信息，确定目标元数据集，所述目标元数据集支持包括所述目标表数据所在分区的已缓存标识，一个分区的已缓存标识用于指示相应分区中的数据已缓存至存算中间层系统中；
10、所述处理单元，还用于基于所述目标元数据集，确定所述目标任务对应的至少一个目标访问路径，所述至少一个目标访问路径包括m个缓存路径和n个底层存储路径，m和n均为非负整数；
11、所述处理单元，还用于基于所述至少一个目标访问路径，访问所述目标表数据，以实现所述目标任务的数据访问。
12、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括处理器、以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述所提及的方法。
13、根据本专利技术的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行上述所提及的方法。
14、本专利技术实施例可在接收目标任务后，基于目标任务携带的目标表数据指示信息，确定目标元数据集，目标表数据指示信息用于指示目标任务所需访问的目标表数据，目标元数据集支持包括目标表数据所在分区的已缓存标识，一个分区的已缓存标识用于指示相应分区中的数据已缓存至存算中间层系统中，在此种情况下，可从存算中间层系统中访问缓存数据。然后，可基于目标元数据集，确定目标任务对应的至少一个目标访问路径，至少一个目标访问路径包括m个缓存路径和n个底层存储路径；并基于至少一个目标访问路径，访问所述目标表数据，以实现目标任务的数据访问。可见，本专利技术实施例可通过存算中间层系统，破除io访问瓶颈，即可破除峰值访问带来的io访问瓶颈，从而有效提高访问效率，即可有效提高大数据分析计算的数据访问效率。
本文档来自技高网...【技术保护点】
1.一种数据访问方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述目标表数据所在分区的数量为一个或多个，所述至少一个目标访问路径中目标访问路径的数量与所述目标表数据所在分区的数量相同；所述基于所述目标元数据集，确定所述目标任务对应的至少一个目标访问路径，包括：
3.根据权利要求2所述的方法，其特征在于，所述目标元数据集还支持包括所述目标表数据对应的目标请求流量指标，所述目标请求流量指标用于指示请求所述目标表数据路由到所述存算中间层系统的概率；所述基于所述任一分区对应的底层存储路径，确定所述任一分区对应的目标访问路径，包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述目标表数据是通过文件系统实现类访问的，所述文件系统实现类是通过底层文件系统实现类和缓存文件系统实现类实现的，所述基于所述至少一个目标访问路径，访问所述目标表数据，包括：
5.根据权利要求1-3任一项所述的方法，其特征在于，一个分区的已缓存标识是通过相应分区的属性参数表中的是否缓存参数的参数值设置的，且一个元数据集是基于相应表的表结构数据
6.根据权利要求5所述的方法，其特征在于，一个元数据集还支持包括相应表的请求流量指标，且一个表的请求流量指标是通过相应表的属性参数表中的请求流量到缓存路径参数的参数值设置的，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.根据权利要求1-3任一项所述的方法，其特征在于，一个分区的已缓存标识是通过相应分区的属性参数表中的是否缓存参数的参数值设置的，且一个元数据集是基于相应表的表结构数据确定的；一个元数据集还支持包括相应表的请求流量指标，且一个表的请求流量指标是通过相应表的属性参数表中的请求流量到缓存路径参数的参数值设置的；所述方法还包括：
9.一种数据访问装置，其特征在于，所述装置包括：
10.一种电子设备，其特征在于，包括：
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-8中任一项所述的方法。
...【技术特征摘要】
1.一种数据访问方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述目标表数据所在分区的数量为一个或多个，所述至少一个目标访问路径中目标访问路径的数量与所述目标表数据所在分区的数量相同；所述基于所述目标元数据集，确定所述目标任务对应的至少一个目标访问路径，包括：
3.根据权利要求2所述的方法，其特征在于，所述目标元数据集还支持包括所述目标表数据对应的目标请求流量指标，所述目标请求流量指标用于指示请求所述目标表数据路由到所述存算中间层系统的概率；所述基于所述任一分区对应的底层存储路径，确定所述任一分区对应的目标访问路径，包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述目标表数据是通过文件系统实现类访问的，所述文件系统实现类是通过底层文件系统实现类和缓存文件系统实现类实现的，所述基于所述至少一个目标访问路径，访问所述目标表数据，包括：
5.根据权利要求1-3任一项所述的方法，其特征在于，一个分区的已缓存标识是通过相应分区的属性参数表中的是否缓存参数的参...
【专利技术属性】
技术研发人员：潘丹，江昕，张婉璐，冯龙，李婉琪，赵辉，王京，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。