一种用于系统存取的冷热数据识别优化方法技术方案

本发明专利技术公开了一种用于系统存取的冷热数据识别优化方法，利用时效表格和访问程度表格分别缓存时效性强的数据和访问频繁程度高的数据，将缓存链表中淘汰的数据保存到辅助链表，根据工作负载来预测最佳冷热数据识别，并进行自适应调整识别调整，以适应系统访问最优化调整，根据调整时效表格和访问程度表格的长度来适应实际中的不同的工作负载，在时效表格和访问程度表格中的数据为热数据，采用辅助链表作为再缓存辅助存储列表，辅助链表中仅存放数据页面信息，不存储具体的数据，大大节省了内存空间，通过结合数据的时效性和访问频繁程度，自适应调整冷热数据识别，从而达到系统存储空间的合理分配，提高系统运行效率，降低系统运行成本。统运行成本。统运行成本。

【技术实现步骤摘要】
一种用于系统存取的冷热数据识别优化方法


[0001]本专利技术属于计算机数据存储
，尤其涉及到一种用于系统存取的冷热数据识别优化方法。

技术介绍

[0002]近些年来，互联网的规模不断扩张，数据量不断的增大，各种系统都需要存储大量的数据，有些数据经常访问，则说明此类数据的热度非常高，可能未来一段时间还会被经常访问。有的数据基本上不被访问，则说明此类数据的关注度很低，可能未来一段时间也不会被访问。因此将这两类数据分为冷热数据。在实际情景中，数据的访问模式大多具有一定的“局限性”的，即有些数据会被频繁访问，称为热数据，有些数据则很少或几乎不被访问，称为冷数据。在现代存储系统的设计中通过考虑数据的冷热，将冷热数据识别出来并分离存储，有效提高存储系统的整体性能。因此，冷热数据的识别机制是数据库研究的热点，冷热数据的准确性识别和预测，有效地降低数据的存储成本，同时很好地提高系统性能。而目前冷热数据主要是依靠人为识别分类或者通过数据生成时间来进行识别冷热数据的方法，或者采用基于数据的访问频繁程度来区分冷热数据，目前方法忽略了数据访问频率对数据冷热程度的影响，以及数据生成时间对冷热数据的影响，而访问频率和数据生成时间均对冷热数据有较大的影响，随着存储数据的规模越来越庞大，无法有效对冷热数据进行存储，则会导致数据的存储成本增高，在海量存储数据时数据查询效率和控制成本方面急需提高，因此如何兼顾数据生成时间和数据访问频率来进行冷热数据的识别是现在研究的热点问题。

技术实现思路

[0003]本专利技术的目的在于提供一种用于系统存取的冷热数据识别优化方法，以克服现有技术的不足。
[0004]为达到上述目的，本专利技术采用如下技术方案：
[0005]一种用于系统存取的冷热数据识别优化方法，包括以下步骤：
[0006]S1，按访问时间顺序将系统访问的数据信息依次排列存储至时效表格中，当时效表格中存储的数据信息连续被访问达到设定阈值，则将该数据信息存储至访问程度表格中，并从时效表格中移除该数据信息；
[0007]S2，当时效表格和访问程度表格达到存储上限时，且有新的访问数据进入时效表格或访问程度表格时，则将时效表格或访问程度表格中最末端的数据信息移除，同时将该数据信息所对应的数据链存储至辅助表格中，同时对该数据信息标注时效表格标签或访问程度表格标签；
[0008]S3，当在设定时间范围内，辅助表格中的数据被访问达到再访问次数阈值，则将该数据返回至与其标签对应的时效表格或访问程度表格中，同时，将该数据返回对应的时效表格或访问程度表格长度加一，将该数据返回未对应的访问程度表格或时效表格长度减
一，从而实现系统存取数据的优化。
[0009]进一步的，当访问程度表格满存时，有新的数据被访问达到设定阈值进入访问程度表格，则排在访问程度表格最末端的数据被淘汰，将淘汰数据信息存储在辅助链表中，并对该数据信息设置与访问程度表格对应的标签。
[0010]进一步的，将从访问程度表格中淘汰的数据信息存储至辅助链表中，设置访问位为1。
[0011]进一步的，具体的，在辅助链表中存储页面信息之前设置访问位为1。
[0012]进一步的，当有一个新数据被访问时且时效表格满存时，从时效表格的尾部淘汰数据，并将淘汰的数据信息存储在辅助链表中，并对该数据信息设置与时效表格对应的标签。
[0013]进一步的，将从时效表格中淘汰的数据信息存储至辅助链表中，在存储页面信息之前则设置访问位为0。
[0014]进一步的，辅助链表仅存放访问数据的页面信息。
[0015]进一步的，如果一个数据信息在辅助表格中再次被访问到，则将该数据从后端存储介质中取出放入时效表格或访问程度表格中。
[0016]进一步的，当数据重新放入时效表格时，将缓存中时效表格长度加一，同时访问程度表格长度减一。
[0017]进一步的，当数据被重新加入到访问程度表格时，将访问程度表格长度加一，同时将时效表格长度减一。
[0018]与现有技术相比，本专利技术具有以下有益的技术效果：
[0019]本专利技术一种用于系统存取的冷热数据识别优化方法，利用时效表格和访问程度表格分别缓存时效性强的数据和访问频繁程度高的数据，从缓存链表中淘汰的数据，将数据信息保存到辅助链表，并设置访问位，根据工作负载来预测最佳冷热数据识别，并进行自适应调整识别调整，以适应系统访问最优化调整，时效表格和访问程度表格采用动态变化，根据调整时效表格和访问程度表格的长度来适应实际中的不同的工作负载，在时效表格和访问程度表格中的数据为热数据，采用辅助链表作为再缓存辅助存储列表，即从访问程度表格和时效表格中淘汰出来的数据信息，在这些数据信息中设置访问位，来区分数据是从时效表格还是访问程度表格淘汰出来的数据，辅助链表中仅存放数据页面信息，不存储具体的数据，大大节省了内存空间，通过结合数据的时效性和访问频繁程度，对业务场景工作负载进行预测，能够自适应调整冷热数据识别，从而达到系统存储空间的合理分配，提高系统运行效率，降低系统运行成本。本专利技术将初次访问的数据放入LRU链表，然后当多次访问后放入LFU链表中，LRU链表和LFU链表分别代表最近刚被访问的数据和访问频率比较高的数据，然后通过辅助链表和标签来判断业务情景趋于哪种类型，来自适应调整LRU链表和LFU链表的长度，则当业务情景偏向于数据时效性时，LRU部分缓存链表则扩容，反之LFU部分缓存链表扩容。
附图说明
[0020]图1为本专利技术实施例中LRU链表存入数据示意图。
[0021]图2为本专利技术实施例中LFU链表存入数据示意图。
[0022]图3为本专利技术实施例中从LFU链存入help链表的数据示意图。
[0023]图4为本专利技术实施例中从LRU链存入help链表的数据示意图。
[0024]图5为本专利技术实施例中从help链表返回数据结构示意图。
具体实施方式
[0025]下面结合附图对本专利技术做进一步详细描述：
[0026]一种用于系统存取的冷热数据识别优化方法，包括以下步骤：
[0027]S1，按访问时间顺序将系统访问的数据信息依次排列存储至时效表格中，当时效表格中存储的数据信息连续被访问达到设定阈值，则将该数据信息存储至访问程度表格中，并从时效表格中移除该数据信息；
[0028]具体的，建立时效表格(LRU链表)和访问程度表格(LFU链表)，当系统访问读取数据key1时，将数据key1的信息放入LRU链表进行缓存；如果LRU链表中的数据key
i
被连续访问达到k次，k为设定阈值，则将数据key
i
缓存至LFU链表中，并从LRU链表中移除数据key
i
的缓存信息；LRU链表中的数据将一直存在于LFU链表中并按照LFU链表规则进行管理；
[0029]S2，当时效表格和访问程度表格达到存储上限时，且有新的访问数据进入时效表格或访问程度表格时，则将时效表格或访问程度表格中最末端的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于系统存取的冷热数据识别优化方法，其特征在于，包括以下步骤：S1，按访问时间顺序将系统访问的数据信息依次排列存储至时效表格中，当时效表格中存储的数据信息连续被访问达到设定阈值，则将该数据信息存储至访问程度表格中，并从时效表格中移除该数据信息；S2，当时效表格和访问程度表格达到存储上限时，且有新的访问数据进入时效表格或访问程度表格时，则将时效表格或访问程度表格中最末端的数据信息移除，同时将该数据信息所对应的数据链存储至辅助表格中，同时对该数据信息标注时效表格标签或访问程度表格标签；S3，当在设定时间范围内，辅助表格中的数据被访问达到再访问次数阈值，则将该数据返回至与其标签对应的时效表格或访问程度表格中，同时，将该数据返回对应的时效表格或访问程度表格长度加一，将该数据返回未对应的访问程度表格或时效表格长度减一，从而实现系统存取数据的优化。2.根据权利要求1所述的一种用于系统存取的冷热数据识别优化方法，其特征在于，当访问程度表格满存时，有新的数据被访问达到设定阈值进入访问程度表格，则排在访问程度表格最末端的数据被淘汰，将淘汰数据信息存储在辅助链表中，并对该数据信息设置与访问程度表格对应的标签。3.根据权利要求2所述的一种用于系统存取的冷热数据识别优化方法，其特征在于，将从访问程度表格中淘汰的数据信息存储至辅助链表中...

【专利技术属性】
技术研发人员：李森，庄莉，马小博，梁懿，焦艳斌，陈又咏，丁阳，
申请(专利权)人：国网信息通信产业集团有限公司福建亿榕信息技术有限公司，
类型：发明
国别省市：