基于数据缓存的本地资源调用方法技术

本发明专利技术涉及数据处理技术领域，具体涉及基于数据缓存的本地资源调用方法，包括：采集本地资源历史缓存日志数据；根据本地资源历史缓存日志数据获取历史缓存日志数据操作序列；根据不同时刻相同历史缓存日志数据操作序列获取各个时刻下各种历史缓存日志数据之间的周期性；根据相同时刻下不同历史缓存日志数据操作序列获取各时刻下不同历史缓存日志数据之间的关联性；根据各个时刻下各种历史缓存日志数据之间的周期性以及各时刻下不同历史缓存日志数据之间的关联性，获取缓存对象。本发明专利技术通过缓存数据的周期性和缓存数据之间的关联性，得到缓存数据的调取概率，以此为基础获取被调用的数据，提高系统运行效率。提高系统运行效率。提高系统运行效率。

【技术实现步骤摘要】
基于数据缓存的本地资源调用方法


[0001]本专利技术涉及数据处理
，具体涉及基于数据缓存的本地资源调用方法。

技术介绍

[0002]在大数据时代，高效的数据处理和存储变得越来越重要。随着数据的增长，我们的计算需求也日益增长，对本地资源的需求也相应增加。然而，当我们尝试从本地资源加载大量数据时，我们经常会遇到性能瓶颈。这是因为在大多数系统中，数据的读取和写入都需要进行磁盘I/O操作，这通常是一个耗时的过程。
[0003]为了优化这个过程，人们提出了各种历史缓存日志数据缓存的方法。数据缓存是一种存储方法，它将经常访问的数据或值存储在快速访问的硬件中，以减少对慢速访问的硬件的访问次数。通过使用数据缓存，可以显著提高数据读取和写入的速度，从而提高系统的整体性能。
[0004]尽管数据缓存在大多数情况下都能提高性能，但在某些特定的使用场景下，其表现可能并不理想。例如，当本地资源请求的数据量过大，超出了缓存的容量时，就会引发所谓的“缓存失效”，这将导致系统不得不频繁地从慢速的硬件中加载数据，从而抵消了使用数据缓存的优势。

技术实现思路

[0005]本专利技术提供基于数据缓存的本地资源调用方法，以解决现有的问题：当本地资源请求的数据量过大，超出了缓存的容量时，就会引发缓存失效；导致系统不得不频繁地从慢速的硬件中加载数据。
[0006]本专利技术的基于数据缓存的本地资源调用方法采用如下技术方案：本专利技术一个实施例提供了基于数据缓存的本地资源调用方法，该方法包括以下步骤：采集本地资源历史缓存日志数据；根据本地资源历史缓存日志数据获取历史缓存日志数据操作序列；根据不同时刻相同历史缓存日志数据操作序列获取一级差异序列；根据一级差异序列获取差异序列；根据差异序列获取差异矩阵；根据差异矩阵获取各个时刻下各种历史缓存日志数据之间的周期性；根据相同时刻下不同历史缓存日志数据操作序列获取一级对比序列；根据一级对比序列获取对比序列；根据对比序列获取对比矩阵；根据对比矩阵获取各时刻下不同历史缓存日志数据之间的关联性；根据各个时刻下各种历史缓存日志数据之间的周期性以及各时刻下不同历史缓存日志数据之间的关联性，获取各时刻下各种历史缓存日志数据调用概率，根据各时刻下各种历史缓存日志数据调用概率获取缓存对象。
[0007]优选的，所述采集本地资源历史缓存日志数据，包括的具体方法为：
通过在缓存系统中的日志数据获取API接口，根据API接口获取缓存系统每天的每种历史缓存日志数据，所述缓存系统每天的每种历史缓存日志数据包含各缓存对象对应的缓存键值、对缓存键值的操作以及对缓存键值的操作时间。
[0008]优选的，所述根据本地资源历史缓存日志数据获取历史缓存日志数据操作序列；根据不同时刻相同历史缓存日志数据操作序列获取一级差异序列；根据一级差异序列获取差异序列，包括的具体方法为：对于第天的第种历史缓存日志数据，按照时间的先后顺序将第天的第种历史缓存日志数据中的缓存键值对应的所有操作进行排列，得到第天的第种历史缓存日志数据的操作序列；获取第天的第种历史缓存日志数据的操作序列；然后将中的第一个值与中的第一个值之间差的绝对值，作为第种数据在第天的一级差异序列中的第一个值；将中的第二个值与中的第二个值之间差的绝对值，作为第种数据在第天的一级差异序列中的第二个值；将中的第三个值与中的第三个值之间差的绝对值，作为第种数据在第天的一级差异序列中的第三个值；以此类推，直至将中的最后一个值与中的最后一个值之间差的绝对值，作为第种数据在第天的一级差异序列中的最后一个值；得到与的一级差异序列；获取一级差异序列中所有为0的元素记为第一0元素，获取每个第一0元素对应的两个操作，当第一0元素对应的两个操作均为0时，则将第一0元素用1元素替换，当第一0元素对应的两个操作不为0时，将第一0元素保持不变，得到第种历史缓存日志数据在第天的差异序列。
[0009]优选的，所述根据差异序列获取差异矩阵，包括的具体方法为：对于第种历史缓存日志数据，预设一个空的差异矩阵以及时间长度，将天内第一天的第种历史缓存日志数据的差异序列置于差异矩阵的第一列；将天内第二天的第种历史缓存日志数据的差异序列置于差异矩阵的第二列；将天内第三天的第种历史缓存日志数据的差异序列置于差异矩阵的第三列；以此类推，设置每个差异序列在差异矩阵中的位置，得到差异矩阵。
[0010]优选的，所述各个时刻下各种历史缓存日志数据之间的周期性，包括的具体计算
公式为：根据4邻域规则，获取差异矩阵中值为0的数据点组成的连通域记为目标连通域；然后将目标连通域最右侧的所有数据点中的最上侧的数据点、最右侧的所有数据点中的最下侧的数据点以及最左侧的所有数据点中的最上侧的数据点分别记为：目标连通域中的右上数据点、右下数据点以及左上数据点；然后计算目标连通域中的右上数据点与右下数据点之间的欧氏距离记为，再计算目标连通域中的右上数据点与左上数据点之间的欧氏距离记为；再统计目标连通域内数据点的数量记为；最后根据，以及得到目标连通域的周期性，其具体的计算公式为：式中，表示目标连通域中右上数据点与右下数据点之间的欧氏距离；表示目标连通域中右上数据点与左上数据点之间的欧氏距离；表示目标连通域内数据点的数量；表示目标连通域的周期性，同时也表示目标连通域内每个数据点的周期性。
[0011]优选的，所述根据相同时刻下不同历史缓存日志数据操作序列获取一级对比序列；根据一级对比序列获取对比序列，包括的具体方法为：第天的第种历史缓存日志数据的操作序列；将中的第一个值与中的第一个值之间差的绝对值，作为第天的第种数据与第种数据的一级对比序列中的第一个值；将中的第二个值与中的第二个值之间差的绝对值，作为第天的第种数据与第种数据的一级对比序列中的第二个值；将中的第三个值与中的第三个值之间差的绝对值，作为第天的第种数据与第种数据的一级对比序列中的第一个值；以此类推，直至将中的最后一个值与中的最后一个值之间差的绝对值，作为第天的第种数据与第种数据的一级对比序列中的最后一个值，得到与之间的一级对比序列；获取一级对比序列中所有为0的元素，记为第二0元素，获取每个第二0元素对应的操作值，当第二0元素对应的操作值均为0时，将第二0元素利用1元素替换，当第二0元素对
应的操作值不为0时，将第二0元素保持不变，得到第天的第种数据与第种数据的对比序列。
[0012]优选的，所述根据对比序列获取对比矩阵，包括的具体方法为：对于第种历史缓存日志数据以及第种历史缓存日志数据，预设一个空的对比矩阵以及时间长度，将天内第一天第种历史缓存日志数据与第种历史缓存日志数据的对比序列置于对比矩阵的第一列；将天内第二天第种历史缓存日志数据与第种历史缓存日志数据的对比序列置于对比矩阵的第二列；将天内第三天第种历史缓存日志数据与第种历史缓存日志数据的对比序列置于对比矩阵的第三列；以此类推，设置每个对比序列在对比矩阵中的位置，得到第种历史缓存日志数据与第种历史缓存日志数据的对比矩阵。
[0013]优选的，所述根据对比矩阵获取各时刻下不同历史缓存日志数据之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于数据缓存的本地资源调用方法，其特征在于，该方法包括以下步骤：采集本地资源历史缓存日志数据；根据本地资源历史缓存日志数据获取历史缓存日志数据操作序列；根据不同时刻相同历史缓存日志数据操作序列获取一级差异序列；根据一级差异序列获取差异序列；根据差异序列获取差异矩阵；根据差异矩阵获取各个时刻下各种历史缓存日志数据之间的周期性；根据相同时刻下不同历史缓存日志数据操作序列获取一级对比序列；根据一级对比序列获取对比序列；根据对比序列获取对比矩阵；根据对比矩阵获取各时刻下不同历史缓存日志数据之间的关联性；根据各个时刻下各种历史缓存日志数据之间的周期性以及各时刻下不同历史缓存日志数据之间的关联性，获取各时刻下各种历史缓存日志数据调用概率，根据各时刻下各种历史缓存日志数据调用概率获取缓存对象。2.根据权利要求1所述基于数据缓存的本地资源调用方法，其特征在于，所述采集本地资源历史缓存日志数据，包括的具体方法为：通过在缓存系统中的日志数据获取API接口，根据API接口获取缓存系统每天的每种历史缓存日志数据，所述缓存系统每天的每种历史缓存日志数据包含各缓存对象对应的缓存键值、对缓存键值的操作以及对缓存键值的操作时间。3.根据权利要求2所述基于数据缓存的本地资源调用方法，其特征在于，所述根据本地资源历史缓存日志数据获取历史缓存日志数据操作序列；根据不同时刻相同历史缓存日志数据操作序列获取一级差异序列；根据一级差异序列获取差异序列，包括的具体方法为：对于第天的第种历史缓存日志数据，按照时间的先后顺序将第天的第种历史缓存日志数据中的缓存键值对应的所有操作进行排列，得到第天的第种历史缓存日志数据的操作序列；获取第天的第种历史缓存日志数据的操作序列；然后将中的第一个值与中的第一个值之间差的绝对值，作为第种数据在第天的一级差异序列中的第一个值；将中的第二个值与中的第二个值之间差的绝对值，作为第种数据在第天的一级差异序列中的第二个值；将中的第三个值与中的第三个值之间差的绝对值，作为第种数据在第天的一级差异序列中的第三个值；以此类推，直至将中的最后一个值与中的最后一个值之间差的绝对值，作为第种数据在第天的一级差异序列中的最后一个值；得到与的一级差异序列；
获取一级差异序列中所有为0的元素记为第一0元素，获取每个第一0元素对应的两个操作，当第一0元素对应的两个操作均为0时，则将第一0元素用1元素替换，当第一0元素对应的两个操作不为0时，将第一0元素保持不变，得到第种历史缓存日志数据在第天的差异序列。4.根据权利要求1所述基于数据缓存的本地资源调用方法，其特征在于，所述根据差异序列获取差异矩阵，包括的具体方法为：对于第种历史缓存日志数据，预设一个空的差异矩阵以及时间长度，将天内第一天的第种历史缓存日志数据的差异序列置于差异矩阵的第一列；将天内第二天的第种历史缓存日志数据的差异序列置于差异矩阵的第二列；将天内第三天的第种历史缓存日志数据的差异序列置于差异矩阵的第三列；以此类推，设置每个差异序列在差异矩阵中的位置，得到差异矩阵。5.根据权利要求1所述基于数据缓存的本地资源调用方法，其特征在于，所述各个时刻下各种历史缓存日志数据之间的周期性，包括的具体计算公式为：根据4邻域规则，获取差异矩阵中值为0的数据点组成的连通域记为目标连通域；然后将目标连通域最右侧的所有数据点中的最上侧的数据点、最右侧的所有数据点中的最下侧的数据点以及最左侧的所有数据点中的最上侧的数据点分别记为：目标连通域中的右上数据点、右下数据点以及左上数据点；然后计算目标连通域中的右上数据点与右下数据点之间的欧氏距离记为，再计算目标连通域中的右上数据点与左上数据点之间的欧氏距离记为；再统计目标连通域内数据点的数量记为；最后根据，以及得到目标连通域的周期性，其具体的计算公式为：式中，表示目标连通域中右上数据点与右下数据点之间的欧氏距离；表示目标连通域中右上数据点与左上数据点之间的欧氏距离；表示目标连通域内数据点的数量；表示目标连通域的周期性，同时也表示目标连通域内每个数据点的周期性。6.根据权利要求3所述基于数据缓存的本地资源调用方法，其特征在于，所述根据相同时刻下不同历史缓存日志数据操作序列获取一级对比序列；根据一级对比序列获取对比序列，包括的具体方法为：第天的第种历史缓存日志数据的操作序列；将中的第一个值与中的第一个值之间差的绝对值，作为第天的第种数据与第种数据的一级对比序列中的第一个值；
将中的第二个值与中的第二个值之间差的绝对值，作为第天的第种数据与第种...

【专利技术属性】
技术研发人员：张伟，孙肖辉，赵云，庄玉龙，
申请(专利权)人：北京点聚信息技术有限公司，
类型：发明
国别省市：