数据处理方法、装置、设备及存储介质制造方法及图纸

一种数据处理方法、装置、设备及存储介质，涉及计算机技术领域。方法包括：确定存储空间中待访问的目标数据；更新目标数据的第一频率参数和目标数据的第二频率参数，第一频率参数用于表示在目标数据最近两次访问间隔内被访问的不重复数据的个数，第二频率参数用于表示在最近n次访问中目标数据的被访问次数；在目标数据属于留存冷数据集合的情况下，若目标数据的第一频率参数小于或等于第一阈值，且目标数据的第二频率参数大于或等于第二阈值，则将目标数据从留存冷数据集合转移至热数据集合中。本申请适用多媒体数据存储和推送场景，针对一些突发的数据批量操作、周期性访问数据的情况，也能避免频繁的数据交换过程，有助于降低设备处理开销。低设备处理开销。低设备处理开销。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本申请涉及计算机
，特别涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]在数据运算统计过程中，需要对数据进行处理。
[0003]在相关技术中，通过LRU(Least Recently Used，最近最少使用)算法对数据进行处理。LRU算法认定，若一个数据被访问一次，则该数据在接下来的一段时间还会再次被访问，若某个数据过长时间未被访问，则该数据被重新访问的可能性较小。LRU算法的核心是交换未被访问时长最久的数据。
[0004]然而，针对一些突发的数据批量操作、周期性访问数据的情况，LRU算法会导致进行数据交换过程频繁发生，增加了不必要的数据交换次数。

技术实现思路

[0005]本申请提供了一种数据处理方法、装置、设备及存储介质，针对一些突发的数据批量操作、周期性访问数据的情况，也能避免频繁的数据交换过程。所述技术方案如下：
[0006]根据本申请实施例的一方面，提供了一种数据处理方法，所述方法包括：
[0007]确定存储空间中待访问的目标数据，所述存储空间包括缓存空间和非缓存空间，所述缓存空间包括热数据集合和留存冷数据集合；
[0008]在所述目标数据属于所述留存冷数据集合的情况下，更新所述目标数据的第一频率参数和所述目标数据的第二频率参数，所述目标数据的第一频率参数用于表示在所述目标数据最近两次访问间隔内被访问的不重复数据的个数，所述目标数据的第二频率参数用于表示在最近n次访问中所述目标数据的被访问次数，n为正整数；
[0009]若所述目标数据的第一频率参数小于或等于第一阈值，且所述目标数据的第二频率参数大于或等于第二阈值，则将所述目标数据从所述留存冷数据集合转移至所述热数据集合中。
[0010]根据本申请实施例的另一方面，提供了一种数据处理装置，所述装置包括：
[0011]第一确定模块，用于确定存储空间中待访问的目标数据，所述存储空间包括缓存空间和非缓存空间，所述缓存空间包括热数据集合和留存冷数据集合；
[0012]参数更新模块，用于在所述目标数据属于所述留存冷数据集合的情况下，更新所述目标数据的第一频率参数和所述目标数据的第二频率参数，所述目标数据的第一频率参数用于表示在所述目标数据最近两次访问间隔内被访问的不重复数据的个数，所述目标数据的第二频率参数用于表示在最近n次访问中所述目标数据的被访问次数，n为正整数；
[0013]第一转移模块，用于在所述目标数据的第一频率参数小于或等于第一阈值，且所述目标数据的第二频率参数大于或等于第二阈值的情况下，将所述目标数据从所述留存冷数据集合转移至所述热数据集合中。
[0014]根据本申请实施例的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述数据处理方法。
[0015]根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述数据处理方法。
[0016]根据本申请实施例的另一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机指令，以实现上述数据处理方法。
[0017]本申请实施例提供的技术方案带来的有益效果至少包括：
[0018]通过确定待访问的目标数据，并更新目标数据的第一频率参数和第二频率参数，其中，第一频率参数用于表示在目标数据最近两次访问间隔内被访问的不重复数据的个数，第二频率参数用于表示在最近n次访问中目标数据的被访问次数，在这两个频率参数同时满足门限条件的情况下，将目标数据从缓存空间的留存冷数据集合转移至热数据集合中，提高了将目标数据移入热数据集合的门槛，只有在上述两个频率参数同时满足门限条件的情况下才可移入，保证了热数据集合中存储的数据是在最近一段访问过程中访问最频繁的数据，减少了留存冷数据集合和热数据集合间的数据交换次数，有助于降低设备处理开销。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本申请一个示例性实施例提供的计算机系统的结构框图；
[0021]图2是本申请一个示例性实施例提供的数据处理方法的流程图；
[0022]图3是本申请一个示例性实施例提供的各个存储空间之间关系的示意图；
[0023]图4是本申请一个示例性实施例提供的第一频率参数的示意图；
[0024]图5是本申请一个示例性实施例提供的第二频率参数的示意图；
[0025]图6是本申请一个示例性实施例提供的目标数据更新频率参数的示意图；
[0026]图7是本申请一个示例性实施例提供的数据处理装置的框图；
[0027]图8是本申请另一个示例性实施例提供的数据处理装置的框图；
[0028]图9是本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
[0029]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0030]首先，对本申请实施例中涉及的名词进行介绍：
[0031]缓存淘汰：由于缓存空间的大小有限，在缓存空间中存储的数据达到缓存空间大小并且有新数据需要写入缓存空间的情况下，需要淘汰掉缓存空间中存储的数据，将新数据写入缓存空间。
[0032]热数据：是指在运算过程中，需要被计算节点频繁访问的数据，热数据通常占数据总量的20％左右。当然，该比例可以按需设定，本申请对此不作限定。
[0033]流数据：又称为数据流，是指数据量无上限的一系列动态数据的集合体，集合体中的动态数据按照时间顺序进行分布，集合体中的动态数据具有时效性，动态数据的价值随着时间的流逝而降低。对于流数据进行的运算称为流式运算，流数据的时效性要求流式运算具有实时性大数据的计算模式。
[0034]实时计算：是指针对海量数据进行的数据运算，实时计算的反馈时长一般要求为秒级。实时计算主要分为数据的实时入库、数据的实时计算两部分。目前用于实时计算的流式框架主要包括：Storm、Spark Streaming、Flink等。
[0035]图1给出了本申请一个示例性实施例提供的计算机系统的结构框图。该计算机系统可以包括：终端设备10和服务器20。
[0036]终端设备10具有数据传输功能，终端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：确定存储空间中待访问的目标数据，所述存储空间包括缓存空间和非缓存空间，所述缓存空间包括热数据集合和留存冷数据集合；更新所述目标数据的第一频率参数和所述目标数据的第二频率参数，所述目标数据的第一频率参数用于表示在所述目标数据最近两次访问间隔内被访问的不重复数据的个数，所述目标数据的第二频率参数用于表示在最近n次访问中所述目标数据的被访问次数，n为正整数；在所述目标数据属于所述留存冷数据集合的情况下，若所述目标数据的第一频率参数小于或等于第一阈值，且所述目标数据的第二频率参数大于或等于第二阈值，则将所述目标数据从所述留存冷数据集合转移至所述热数据集合中。2.根据权利要求1所述的方法，其特征在于，所述将所述目标数据从所述留存冷数据集合转移至所述热数据集合中，包括：确定所述热数据集合中各个热数据的第一频率参数，所述热数据的第一频率参数用于表示在所述热数据最近两次访问间隔内被访问的不重复数据的个数；从所述热数据集合中，选择所述第一频率参数符合第一条件的热数据，作为目标热数据；将所述目标数据从所述留存冷数据集合中移除，并添加至所述热数据集合中；以及，将所述目标热数据从所述热数据集合中移除，并添加至所述留存冷数据集合中。3.根据权利要求1所述的方法，其特征在于，所述将所述目标数据从所述留存冷数据集合转移至所述热数据集合中，包括：确定所述热数据集合中各个热数据的第二频率参数，所述热数据的第二频率参数用于表示在最近n次访问中所述热数据的被访问次数；从所述热数据集合中，选择所述第二频率参数符合第二条件的热数据，作为目标热数据；将所述目标数据从所述留存冷数据集合中移除，并添加至所述热数据集合中；以及，将所述目标热数据从所述热数据集合中移除，并添加至所述留存冷数据集合中。4.根据权利要求1所述的方法，其特征在于，所述更新所述目标数据的第一频率参数和所述目标数据的第二频率参数，包括：将所述目标数据的第三频率参数赋值给所述目标数据的第一频率参数，所述目标数据的第三频率参数用于表示所述目标数据最近一次访问后，被访问的不重复数据的个数；将所述目标数据的第二频率参数的当前数值加1，得到更新后的所述目标数据的第二频率参数。5.根据权利要求1所述的方法，其特征在于，所述确定存储空间中待访问的目标数据之后，还包括：在所述目标数据属于所述非缓存空间的情况下，从所述留存冷数据集合中包含的留存数据中，确定需要移出的目标留存数据；将所述目标数据从所述非缓存空间中移除，并添加至所述留存冷数据集合中；以及，将所述目标留存数据从所述留存数据集合中移除，并添加至所述非缓存空间中。6.根据权利要求5所述的方法，其特征在于，所述从所述留存冷数据集合中包含的留存
...

【专利技术属性】
技术研发人员：石志林，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：