一种元数据服务器的访问限流方法技术

本申请公开一种元数据服务器的访问限流方法

【技术实现步骤摘要】
一种元数据服务器的访问限流方法、装置及设备


[0001]本申请涉及计算机
，具体涉及一种元数据服务器的访问限流方法
、
装置及设备
。

技术介绍

[0002]随着互联网技术的发展，大数据存储的数据量越来越大
。
为了尽可能从海量数据中挖掘更多价值，数据分析任务越来越复杂，对大数据服务的稳定性提出了挑战
。
[0003]数据湖元数据服务作为大数据场景下的在线大数据服务被普遍使用，例如
Hive
元数据服务
。
数据湖元数据服务可用于获取元数据
。
当数据分析任务较为复杂时，通常会对数据湖元数据服务发起多种访问
。
这时，使得元数据存储的负载压力较大
。
[0004]基于此，急需一种访问限流方法来有效限制一些访问，以提高数据湖元数据服务稳定性，降低元数据存储的负载压力
。

技术实现思路

[0005]有鉴于此，本申请提供一种元数据服务器的访问限流方法
、
装置及设备，用于对提供元数据服务的数据湖元数据服务器的元数据访问请求进行限流处理
。
[0006]为解决上述问题，本申请提供的技术方案如下：
[0007]第一方面，本申请提供一种元数据服务器的访问限流方法，所述方法应用于数据湖元数据服务器中，包括：
[0008]接收客户端发送的元数据访问请求，所述元数据访问请求用于获取存储服务器存储的用于描述目标数据的元数据；所述目标数据为目标表格中的数据；
[0009]根据所述元数据访问请求确定所述数据湖元数据服务器使用的元数据服务接口；
[0010]当所述元数据服务接口满足预设条件时，获取所述元数据访问请求的请求参数；所述请求参数包括所述目标表格的表分区数和分区层级数；
[0011]根据所述表分区数和所述分区层级数，获取所述元数据访问请求对应的申请令牌数；
[0012]当所述申请令牌数大于所述客户端对应的剩余令牌数时，对所述元数据访问请求进行限流处理
。
[0013]第二方面，本申请提供一种元数据服务器的访问限流装置，所述装置应用于数据湖元数据服务器中，包括：
[0014]接收单元，用于接收客户端发送的元数据访问请求，所述元数据访问请求用于获取存储服务器存储的用于描述目标数据的元数据；所述目标数据为目标表格中的数据；
[0015]第一确定单元，用于根据所述元数据访问请求确定所述数据湖元数据服务器使用的元数据服务接口；
[0016]第一获取单元，用于当所述元数据服务接口满足预设条件时，获取所述元数据访问请求的请求参数；所述请求参数包括所述目标表格的表分区数和分区层级数；
[0017]第二获取单元，用于根据所述表分区数和所述分区层级数，获取所述元数据访问请求对应的申请令牌数；
[0018]处理单元，用于当所述申请令牌数大于所述客户端对应的剩余令牌数时，对所述元数据访问请求进行限流处理
。
[0019]第三方面，本申请提供一种电子设备，包括：
[0020]一个或多个处理器；
[0021]存储装置，其上存储有一个或多个程序，
[0022]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一所述的元数据服务器的访问限流方法
。
[0023]第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的元数据服务器的访问限流方法
。
[0024]由此可见，本申请具有如下有益效果：
[0025]本申请提供了一种元数据服务器的访问限流方法
、
装置及设备，该方法应用于提供元数据服务的数据湖元数据服务器中
。
数据湖元数据服务器接收客户端发送的元数据访问请求，该请求用于获取存储服务器存储的用于描述目标数据的元数据，目标数据为目标表格中的数据
。
接收到访问请求后开启对该元数据访问请求的限流处理流程
。
具体地，先根据获取的元数据访问请求确定数据湖元数据服务器使用的元数据服务接口
。
当元数据服务接口满足预设条件时，获取元数据访问请求的请求参数，即目标表格的表分区数和分区层级数
。
目标表格的表分区数和分区层级数用于实现元数据访问请求的限流处理判断
。
即，先根据目标表格的表分区数和分区层级数，确定元数据访问请求对应的申请令牌数
。
当元数据访问请求对应的申请令牌数大于客户端对应的剩余令牌数时，对元数据访问请求进行限流处理
。
[0026]可知，满足预设条件的元数据服务接口接收到的请求中的不同表格或者不同时间的同一张表格所对应的请求参数均可能不同，对应的申请令牌数会不同
。
因此，本申请能够通过元数据服务接口以及元数据访问请求的请求参数自适应地确定元数据访问请求对应的申请令牌数，以基于申请令牌数确定是否对元数据访问请求进行限流处理
。
如此，能够提高数据湖元数据服务器的服务稳定性，降低存储服务器的负载压力
。
附图说明
[0027]图1为本申请实施例提供的一种应用场景的示意图；
[0028]图2为本申请实施例提供的一种示例性应用场景的示意图；
[0029]图3为本申请实施例提供的一种元数据服务器的访问限流方法的流程图；
[0030]图4为本申请实施例提供的另一种示例性应用场景的示意图；
[0031]图5为本申请实施例提供的另一种元数据服务器的访问限流方法的流程图；
[0032]图6为本申请实施例提供的一种元数据服务器的访问限流装置的结构示意图；
[0033]图7为本申请实施例提供的一种电子设备的基本结构的示意图
。
具体实施方式
[0034]为使本申请的上述目的
、
特征和优点能够更加明显易懂，下面结合附图和具体实
施方式对本申请实施例作进一步详细的说明
。
[0035]为了便于理解和解释本申请实施例提供的技术方案，下面将先对本申请的
技术介绍
进行说明
。
[0036]可以理解的是，在使用本公开中各个实施例的技术方案之前，均会通过恰当的方式对所涉及的个人信息的类型
、
使用范围
、
使用场景等告知用户，并获得用户的授权
。
[0037]例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确的提示用户，其请求执行的操作将需要获取和使用到用户的个人信息
。
从而，使得用户可以根据提示信息来自主的选择是否向执行本公开技术方案的操作的电子设备
、
应用程序
、
服务器或存储介质等软件或硬件提供个人信息
。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种元数据服务器的访问限流方法，其特征在于，所述方法应用于数据湖元数据服务器中，包括：接收客户端发送的元数据访问请求，所述元数据访问请求用于获取存储服务器存储的用于描述目标数据的元数据；所述目标数据为目标表格中的数据；根据所述元数据访问请求确定所述数据湖元数据服务器使用的元数据服务接口；当所述元数据服务接口满足预设条件时，获取所述元数据访问请求的请求参数；所述请求参数包括所述目标表格的表分区数和分区层级数；根据所述表分区数和所述分区层级数，获取所述元数据访问请求对应的申请令牌数；当所述申请令牌数大于所述客户端对应的剩余令牌数时，对所述元数据访问请求进行限流处理
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述表分区数和所述分区层级数，获取所述元数据访问请求对应的申请令牌数，包括：计算所述表分区数的对数，获取第一值；计算第一常量
、
所述分区层级数以及所述第一值的乘积，获取第二值；计算所述第二值与第二常量的和，获取第三值；计算所述第三值与第三常量的乘积作为所述元数据访问请求的申请令牌数；其中，所述第一常量
、
所述第二常量
、
所述第三常量与所述存储服务器的配置相关
。3.
根据权利要求1或2所述的方法，其特征在于，所述方法还包括：当所述申请令牌数小于或等于所述客户端对应的剩余令牌数时，执行所述元数据访问请求；获取所述元数据访问请求执行后返回的实际表分区数；基于所述请求参数中的表分区数
、
分区层级数以及所述实际表分区数，获取所述元数据访问请求的实际使用令牌数；当所述实际使用令牌数大于所述申请令牌数时，计算所述实际使用令牌数与所述申请令牌数的差值，向令牌服务器申请与所述差值同等数量的令牌数
。4.
根据权利要求3所述的方法，其特征在于，所述基于所述请求参数中的表分区数
、
分区层级数以及所述实际表分区数，获取所述元数据访问请求的实际使用令牌数，包括：计算所述表分区数的对数，获取第一值；计算所述实际表分区数的对数，获取第二值；计算第四常量
、
所述分区层级数
、
所述第一值以及所述第二值的乘积作为所述元数据访问请求的实际使用令牌数；所述第四常量与所述存储服务器的配置相关
。5.
根据权利要求1所述的方法，其特征在于，所述获取所述元数据访问请求的请求参数，包括：根据所述目标...

【专利技术属性】
技术研发人员：李蒙军，徐庆，孙科，郭俊，罗旋，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：