分离阈值调整方法、存储介质及程序产品技术

本申请实施例提供了一种分离阈值调整方法、存储介质及程序产品，分离阈值调整方法，包括：获取当前键值分离存储过程中分离状态信息，其中，分离状态信息包括键存储区域中未被分离的值数据的大小信息、值存储区域中分离值数据的第一查询频率，其中，分离值数据为大于分离阈值的键值对被进行键值分离得到，第一查询频率根据查询分离值数据的查询次数与值数据被查询的总次数确定；根据未被分离的值数据的大小信息以及第一查询频率，调整分离阈值，以调整未被分离的值数据的大小，其中，查询键值对消耗的资源与第一查询频率成正比且与未被分离的值数据的大小信息成反比，第一查询频率与分离阈值成反比且与值数据被查询频率成正比。正比。正比。

【技术实现步骤摘要】
分离阈值调整方法、存储介质及程序产品


[0001]本申请实施例涉及数据存储
，尤其涉及一种分离阈值调整方法、存储介质及程序产品。

技术介绍

[0002]键值分离存储的方案中，可以利用键值分离将较大的值数据分离出来，极大地减少用于存储键的文件大小，从而极大地优化系统的写放大，提升系统的整体性能。因此，键值分离存储方案的应用越来越广泛。
[0003]一般情况下，键值分离存储中大都采用固定的键值分离条件，但这种键值分离条件难以适用于数据多变的计算场景。示例地，在流计算场景下，用于计算的数据会不断更新，且不同的数据的数据特点存在较大差异，同一个数据处理过程在不同时间段内的数据特点也可能差异很大。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种分离阈值调整方案，以至少部分解决上述问题。
[0005]根据本申请实施例的第一方面，提供了一种分离阈值调整方法，包括：
[0006]获取当前键值分离存储过程的分离状态信息，其中，所述分离状态信息包括键存储区域中未被分离的值数据的大小信息、值存储区域中分离值数据的第一查询频率，其中，所述分离值数据为大于分离阈值的键值对被进行键值分离得到，所述第一查询频率根据查询所述分离值数据的查询次数与值数据被查询的总次数确定；
[0007]根据未被分离的值数据的大小信息以及所述第一查询频率，调整所述分离阈值，以调整未被分离的值数据的大小，其中，查询键值对消耗的资源与所述第一查询频率成正比且与所述未被分离的值数据的大小信息成反比，所述第一查询频率与所述分离阈值成反比且与值数据被查询频率成正比。
[0008]根据本申请实施例的第二方面，提供了一种分离阈值调整方法，包括：
[0009]获取当前键值分离存储过程的分离状态信息，其中，所述分离状态信息包括键存储区域中未被分离的值数据的大小信息、值存储区域中分离值数据的第一查询频率，其中，所述分离值数据为大于分离阈值的键值对被进行键值分离得到，所述第一查询频率根据查询所述分离值数据的查询次数与值数据被查询的总次数确定；
[0010]根据未被分离的值数据的大小信息以及所述第一查询频率，确定目标分离阈值，以调整未被分离的值数据的大小，其中，查询键值对消耗的资源与所述第一查询频率成正比且与所述未被分离的值数据的大小信息成反比，所述第一查询频率与所述分离阈值成反比且与值数据被查询频率成正比；
[0011]展示根据当前分离阈值进行键值分离存储后，查询键值对消耗的资源，以及与根据所述目标分离阈值进行键值分离存储后，查询键值对预计消耗的资源；
[0012]响应于阈值调整操作，将分离阈值调整为目标分离阈值。
[0013]根据本申请实施例的第三方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的分离阈值调整方法。
[0014]根据本申请实施例的第五方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如上所述的分离阈值调整方法对应的操作。
[0015]根据本申请实施例提供的方案，由于第一查询频率与所述分离阈值成反比且与值数据被查询频率成正比，查询键值对消耗的资源与所述第一查询频率成正比且与所述未被分离的值数据的大小信息成反比，因此通过获取当前键值分离存储过程对应的键存储区域中未被分离的值数据的大小信息、值存储区域中分离值数据的第一查询频率，并根据其调整分离阈值，使得分离阈值与分离值数据被查询的发生概率相匹配，进而使得第一查询频率与分离值数据被查询的频率相匹配，进一步使得查询键值对消耗的资源与被查询的数据相匹配，使得本实施例提供的键值存储分离的存储方案可适用于多种存在差异的数据。
附图说明
[0016]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0017]图1A为本申请实施例提供的一种流计算的示意流程图；
[0018]图1B为图1A所示实施例中的一种键值分离存储过程的步骤示意图；
[0019]图2A为本申请实施例提供的一种键值分离存储系统的结构示意图；
[0020]图2B为本申请实施例提供的一种分离阈值调整方法的步骤流程图；
[0021]图3为本申请实施例提供的另一种分离阈值调整方法的步骤流程图；
[0022]图4A为本申请实施例提供的另一种分离阈值调整方法的步骤流程图；
[0023]图4B为本申请实施例提供的一种键值分离存储系统的示意图；
[0024]图4C为图4A所示实施例中的一种场景示意图；
[0025]图5为本申请实施例提供的又一种分离阈值调整方法的步骤流程图；
[0026]图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0027]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0028]下面结合本申请实施例附图进一步说明本申请实施例具体实现。
[0029]参见图1A、1B，为了方便地说明本申请的方案，先对键值分离存储过程进行介绍。
[0030]参见图1A，左侧和右侧两路流数据(即左信息流和右信息流)可以分别写入对应的键值存储系统，流计算节点JOIN可以从左侧和右侧流数据分别对应的键值存储系统中获得对应的键值对，并进行jion匹配。
[0031]具体进行匹配时，可以先从键值存储系统获得并匹配键值对中的键数据，若键数
据匹配完成，则从键值存储系统中查询获得键值对中的值数据并输出。当左侧和右侧流数据中的键数据匹配成功的概率较高时，查询值数据的查询频率较高，当左侧和右侧流数据中键数据匹配成功的概率较低时，查询值数据的查询频率较低。
[0032]参见图1B，左侧或者右侧的流数据对应的键值对key|value可以写入键值分离存储系统。
[0033]若键值对大于键值分离阈值，则可以将键值对(key，value)进行键值分离，并为分离值数据value分配标识，之后可以将(key，v
‑
id)存储至键存储区域，将(v
‑
id，value)存储在值存储区域。
[0034]若键值对小于键值分离阈值，则可以将键值对(key，value)存储在键存储区域LSM
‑
Tree。
[0035]进行查询时，先在键存储区域查询key值是否匹配，若匹配，则可以直接从键存储区域获得值数据，或者根据vid从值存储区域获得值数据。
[0036]由于键本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分离阈值调整方法，包括：获取当前键值分离存储过程中分离状态信息，其中，所述分离状态信息包括键存储区域中未被分离的值数据的大小信息、值存储区域中分离值数据的第一查询频率，其中，所述分离值数据为大于分离阈值的键值对被进行键值分离得到，所述第一查询频率根据查询所述分离值数据的查询次数与值数据被查询的总次数确定；根据未被分离的值数据的大小信息以及所述第一查询频率，调整所述分离阈值，以调整未被分离的值数据的大小，其中，查询键值对消耗的资源与所述第一查询频率成正比且与所述未被分离的值数据的大小信息成反比，所述第一查询频率与所述分离阈值成反比且与值数据被查询频率成正比。2.根据权利要求1所述的方法，其中，所述根据未被分离的值数据的大小信息以及所述第一查询频率，调整所述分离阈值，包括：根据未被分离的值数据的大小信息、所述第一查询频率以及在值存储区域中进行单次键值对查询耗费的资源，计算得到阈值调整比例；根据所述阈值调整比例以及当前分离阈值确定作为调整目标的目标分离阈值；将当前分离阈值调整为所述目标分离阈值。3.根据权利要求2所述的方法，其中，所述第一查询频率通过下述方式确定：确定查询值数据的第二查询频率，以及确定查询值存储区域中的分离值数据的第三查询频率；根据所述第二查询频率和所述第三查询频率的差值确定所述第一查询频率。4.根据权利要求3所述的方法，其中，所述目标分离阈值通过下述公式确定：其中，M为在值存储区域中进行单次查询耗费的资源,β为定值，p为所述第二查询频率，a为所述第三查询频率，p
‑
a为所述第一查询频率，Vs为所述未被分离的值数据的总大小。5.根据权利要求1所述的方法，其中，所述获取当前键值分离存储过程的分离状态信息，包括：获取分离值数据的大小信息，所述分离值数据的大小信息与未被分离的值数据的大小信息成反比；获取所述分离值数据的第三查询频率，所述第三查询频率与所述第一查询频率成反比；所述根据未被分离的值数据的大小信息以及所述第一查询频率，调整所述分离阈值，包括：获取与所述分离值数据的大小信息对应的查询频率阈值范围；若所述第三查询频率与所述查询频率阈值范围不匹配，则调整所述分离阈值，以调整进行键值分离存储的键值对的比例，其中，键值分离存储的键值对的比例与第三查询频率...

【专利技术属性】
技术研发人员：李晋忠，李钰，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：