本公开关于一种维度表数据处理方法、装置、电子设备及存储介质。该方法包括：获取并缓存至少一条待关联数据；若已缓存的待关联数据满足预设的批量查询触发条件，则发送维度表查询请求至维度表储存端；维度表查询请求包括由各已缓存的待关联数据对应的维度表键值所组成的键值集合；接收维度表储存端为响应维度表查询请求而返回的维度表集合；维度表集合包括与各维度表键值相匹配的维度表；对于任一待关联数据，在维度表集合中，确定与任一待关联数据对应的维度表键值相匹配的目标维度表；建立任一待关联数据与目标维度表的关联关系，获得各待关联数据对应的关联维度表。采用本公开可以提高计算作业的吞吐量。以提高计算作业的吞吐量。以提高计算作业的吞吐量。
【技术实现步骤摘要】
维度表数据处理方法、装置、电子设备及存储介质
[0001]本公开涉及数据库
，尤其涉及一种维度表数据处理方法、装置、电子设备及存储介质。
技术介绍
[0002]随着互联网技术的日益发展，海量数据时代已经来临。在海量数据时代下，为了能从多个角度、多个侧面观察数据，可以将数据存储在维度表中。
[0003]传统技术中，在查询维度表中的数据以对输入数据进行数据分析时，往往需要频繁且大量地利用基于RPC(Remote Procedure Call，远程过程调用)协议生成的访问请求来向数据存储端请求返回维度表数据，这导致需要频繁花费时间来等待数据存储端返回结果，不利于对数据进行及时处理，降低了计算作业的吞吐量。
[0004]因此，传统技术中存在计算作业吞吐量低的问题。
技术实现思路
[0005]本公开提供一种维度表数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中计算作业吞吐量低的问题。本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种维度表数据处理方法，包括：
[0007]获取并缓存至少一条待关联数据；所述待关联数据为需要与维度表建立关联关系的数据；
[0008]若已缓存的待关联数据满足预设的批量查询触发条件，则发送维度表查询请求至维度表储存端；所述维度表查询请求包括由各所述已缓存的待关联数据对应的维度表键值所组成的键值集合；
[0009]接收所述维度表储存端为响应所述维度表查询请求而返回的维度表集合；所述维度表集合包括与各所述维度表键值相匹配的维度表；
[0010]对于任一所述待关联数据，在所述维度表集合中，确定与所述任一待关联数据对应的维度表键值相匹配的目标维度表；
[0011]建立所述任一待关联数据与所述目标维度表的关联关系，获得各所述待关联数据对应的关联维度表。
[0012]在一种可能实现方式，在所述获取并缓存至少一条待关联数据的步骤之后，所述方法还包括：响应于对所述关联维度表的快照创建指令，执行所述发送维度表查询请求至维度表储存端的步骤，并在所述建立所述任一待关联数据与所述目标维度表的关联关系，获得各所述待关联数据对应的关联维度表的步骤之后，对所述关联维度表执行与所述快照创建指令对应的快照创建操作，获得所述关联维度表在当前时刻下的数据库快照。
[0013]在一种可能实现方式，各所述数据库快照具有对应的快照创建时刻，所述方法还包括：响应于对所述关联维度表的数据恢复请求，获取目标数据库快照；所述目标数据库快照对应的快照创建时刻距离当前时刻最近；按照所述目标数据库快照执行数据恢复操作，
得到数据恢复后的关联维度表。
[0014]在一种可能实现方式，在所述获取并缓存至少一个待关联数据的步骤之后，所述方法还包括：获取所述已缓存的待关联数据的数量，得到已缓存数据量；若所述已缓存数据量大于或等于预设的数据量阈值，则判定所述已缓存的待关联数据满足所述批量查询触发条件。
[0015]在一种可能实现方式，在所述获取并缓存至少一个待关联数据的步骤之后，所述方法还包括：获取批量查询时间点；在当前时刻到达所述批量查询时间点时，判定所述已缓存的待关联数据满足所述批量查询触发条件。
[0016]在一种可能实现方式，所述发送维度表查询请求至维度表储存端，包括：提取各所述已缓存的待关联数据中的维度表键值；根据各所述维度表键值所组成的键值集合，生成所述维度表查询请求；发送所述维度表查询请求至所述维度表储存端提供的批量查询接口；所述批量查询接口用于响应所述维度表查询请求指示所述维度表储存端查询并返回与各所述维度表键值相匹配的维度表。
[0017]在一种可能实现方式，所述根据各所述维度表键值所组成的键值集合，生成所述维度表查询请求，包括：对各所述维度表键值进行去重处理，得到去重后键值；将所述去重后键值添加至所述键值集合；生成携带有所述键值集合的查询请求，得到所述维度表查询请求。
[0018]在一种可能实现方式，所述获取并缓存至少一条待关联数据，包括：接收输入的所述至少一条待关联数据；缓存各所述至少一条待关联数据至目标缓冲区中。
[0019]根据本公开实施例的第二方面，提供一种维度表数据处理装置，包括：
[0020]缓存单元，被配置为执行获取并缓存至少一条待关联数据；所述待关联数据为需要与维度表建立关联关系的数据；
[0021]发送单元，被配置为执行若已缓存的待关联数据满足预设的批量查询触发条件，则发送维度表查询请求至维度表储存端；所述维度表查询请求包括由各所述已缓存的待关联数据对应的维度表键值所组成的键值集合；
[0022]接收单元，被配置为执行接收所述维度表储存端为响应所述维度表查询请求而返回的维度表集合；所述维度表集合包括与各所述维度表键值相匹配的维度表；
[0023]确定单元，被配置为执行对于任一所述待关联数据，在所述维度表集合中，确定与所述任一待关联数据对应的维度表键值相匹配的目标维度表；
[0024]建立单元，被配置为执行建立所述任一待关联数据与所述目标维度表的关联关系，获得各所述待关联数据对应的关联维度表。
[0025]在一种可能实现方式，所述装置还包括：快照创建单元，被配置为执行响应于对所述关联维度表的快照创建指令，执行所述发送维度表查询请求至维度表储存端的步骤，并在所述建立所述任一待关联数据与所述目标维度表的关联关系，获得各所述待关联数据对应的关联维度表的步骤之后，对所述关联维度表执行与所述快照创建指令对应的快照创建操作，获得所述关联维度表在当前时刻下的数据库快照。
[0026]在一种可能实现方式，所述装置还包括：数据恢复单元，被配置为执行响应于对所述关联维度表的数据恢复请求，获取目标数据库快照；所述目标数据库快照对应的快照创建时刻距离当前时刻最近；按照所述目标数据库快照执行数据恢复操作，得到数据恢复后
的关联维度表。
[0027]在一种可能实现方式，所述装置还包括：第一判定单元，被配置为执行获取所述已缓存的待关联数据的数量，得到已缓存数据量；若所述已缓存数据量大于或等于预设的数据量阈值，则判定所述已缓存的待关联数据满足所述批量查询触发条件。
[0028]在一种可能实现方式，所述装置还包括：第二判定单元，被配置为执行获取批量查询时间点；在当前时刻到达所述批量查询时间点时，判定所述已缓存的待关联数据满足所述批量查询触发条件。
[0029]在一种可能实现方式，所述发送单元，具体被配置为执行提取各所述已缓存的待关联数据中的维度表键值；根据各所述维度表键值所组成的键值集合，生成所述维度表查询请求；发送所述维度表查询请求至所述维度表储存端提供的批量查询接口；所述批量查询接口用于响应所述维度表查询请求指示所述维度表储存端查询并返回与各所述维度表键值相匹配的维度表。
[0030]在一种可能实现方式，所述发送单元，具体被配置为执行对各所述维度表键值进行去重处理，得到去重后键值；将所述去重后键值添加至所述键值本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种维度表数据处理方法，其特征在于，包括：获取并缓存至少一条待关联数据；所述待关联数据为需要与维度表建立关联关系的数据；若已缓存的待关联数据满足预设的批量查询触发条件，则发送维度表查询请求至维度表储存端；所述维度表查询请求包括由各所述已缓存的待关联数据对应的维度表键值所组成的键值集合；接收所述维度表储存端为响应所述维度表查询请求而返回的维度表集合；所述维度表集合包括与各所述维度表键值相匹配的维度表；对于任一所述待关联数据，在所述维度表集合中，确定与所述任一待关联数据对应的维度表键值相匹配的目标维度表；建立所述任一待关联数据与所述目标维度表的关联关系，获得各所述待关联数据对应的关联维度表。2.根据权利要求1所述的维度表数据处理方法，其特征在于，在所述获取并缓存至少一条待关联数据的步骤之后，所述方法还包括：响应于对所述关联维度表的快照创建指令，执行所述发送维度表查询请求至维度表储存端的步骤，并在所述建立所述任一待关联数据与所述目标维度表的关联关系，获得各所述待关联数据对应的关联维度表的步骤之后，对所述关联维度表执行与所述快照创建指令对应的快照创建操作，获得所述关联维度表在当前时刻下的数据库快照。3.根据权利要求2所述的维度表数据处理方法，其特征在于，各所述数据库快照具有对应的快照创建时刻，所述方法还包括：响应于对所述关联维度表的数据恢复请求，获取目标数据库快照；所述目标数据库快照对应的快照创建时刻距离当前时刻最近；按照所述目标数据库快照执行数据恢复操作，得到数据恢复后的关联维度表。4.根据权利要求1所述的维度表数据处理方法，其特征在于，在所述获取并缓存至少一个待关联数据的步骤之后，所述方法还包括：获取所述已缓存的待关联数据的数量，得到已缓存数据量；若所述已缓存数据量大于或等于预设的数据量阈值，则判定所述已缓存的待关联数据满足所述批量查询触发条件。5.根据权利要求1所述的维度表数据处理方法，其特征在于，在所述获取并缓存至少一个待关联数据的步骤之后，所述方法还包括：获取批量查询时间点；在当...
【专利技术属性】
技术研发人员：张静，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。