一种快速识别冷数据的方法及计算机可读存储介质技术

本发明专利技术涉及数据处理技术领域，具体涉及一种快速识别冷数据的方法及计算机可读存储介质，包括以下步骤：初始化，加载数据到内存，并将其分配到特定区域，形成初始数据堆；加载数据，根据内存空间大小，将整个空间配置为n个数据堆，对内存数据的读写将依次在这n个数据堆里进行，n为正整数；访问内存时，首先访问当前数据堆中的数据块，若访问不到，则由前一位数据堆中查找，直到找到数据；在内存容量超过阈值时，清理内存数据，并在清理掉特定数量冷数据块后，将当前数据堆中被访问到的数据移向初始数据堆。本发明专利技术实现了内存冷数据的快速定位、快速清理，从而极大提升了内存读写的效率和利用率，进而极大提升了数据库访问的性能。进而极大提升了数据库访问的性能。进而极大提升了数据库访问的性能。

【技术实现步骤摘要】
一种快速识别冷数据的方法及计算机可读存储介质


[0001]本专利技术涉及数据处理
，具体涉及一种快速识别冷数据的方法及计算机可读存储介质。

技术介绍

[0002]计算机系统在运行中对数据库数据的读写访问毫无疑问会占用大量的内存空间。当内存不足或访问空间被锁死时，常会出现内存溢出、访问超时甚至系统崩溃等情况，严重影响系统数据库访问的运行效率和性能。
[0003]这就需要内存一方面能够持续不断地加载数据，另一方面还要能够快速有效地清理掉不常用的冷数据，以腾出有限内存空间，并且进行此操作时还要保障数据库的正常访问和系统的正常运行。
[0004]一般处理方法是，当内存数据容量达到一定大小时，系统会暂时锁死内存访问，然后通过不断遍历内存来逐步查找和清理掉不常用的冷数据，清理耗时长，占用系统资源多，容易影响系统数据的正常访问。
[0005]传统通过遍历整个内存数据块，依次找出不常用的冷数据块，再按先后顺序进行清理数据的做法，会造成遍历期间将锁住整个内存块，并且由于内存数据较多，遍历时间过长，从而导致内存无法访问或等待时间过久，无法获取到资源，严重影响到数据的正常调用和业务运行。

技术实现思路

[0006]针对现有技术的不足，本专利技术公开了一种快速识别冷数据的方法及计算机可读存储介质，用于实现系统在读写内存数据时能够快速在内存中找到不常用的冷数据，并能够快速将其清理掉，而且数据清理时能做到对用户无感知、对数据访问无影响，以达到极大提升内存访问速度和使用效率，提升数据库性能和用户体验。
[0007]本专利技术通过以下技术方案予以实现：
[0008]第一方面，本专利技术提供了一种快速识别冷数据的方法，包括以下步骤：
[0009]S1初始化，加载数据到内存，并将其分配到特定区域，形成初始数据堆；
[0010]S2加载数据，根据内存空间大小，将整个空间配置为n个数据堆，对内存数据的读写将依次在这n个数据堆里进行，n为正整数；
[0011]S3访问内存时，首先访问当前数据堆中的数据块，若访问不到，则由前一位数据堆中查找，直到找到数据；
[0012]S4在内存容量超过阈值时，清理内存数据，并在清理掉特定数量冷数据块后，将当前数据堆中被访问到的数据移向初始数据堆。
[0013]更进一步的，所述方法中，数据堆由海量的数据块组成，用于存放内存数据。
[0014]更进一步的，所述方法中，当初始数据堆容量达到阈值大小后，其中被访问到的数据块将开始搬移到下一个数据堆，而留下的是未被访问的数据块。
[0015]更进一步的，所述方法中，搬移规则是：每间隔一个时间周期，当前数据堆中的数据块将搬移到下一个数据堆中；
[0016]只搬移被访问到的数据块，留下未被访问的数据块。
[0017]更进一步的，所述方法中，当前数据堆中的数据块均为搬移过来的最新数据，被再次访问的概率最大，则这种头部数据为热数据；
[0018]数据堆中留下来的数据，由于其未被访问为冷数据。
[0019]更进一步的，所述方法中，清理内存的规则是，依时间先后顺序，从最久的冷数据块开始清理。
[0020]更进一步的，所述方法中，初始数据堆中的冷数据最早，优先从清理初始数据堆开始。
[0021]更进一步的，所述方法中，当在初始数据堆中清理掉特定数量的冷数据块后，将基于搬移规则把当前数据堆中被访问到的数据移向初始数据堆，使得初始数据堆从尾部又变成了头部最热数据堆，重新开始新一轮循环。
[0022]更进一步的，所述方法中，访问内存时，首先访问当前数据堆中的数据块，若访问不到，则到上前一位数据堆中查找，再访问不到，再到前前位数据堆中查找，依次类推，直到找到数据。
[0023]第二方面，本专利技术提供了一种计算机可读存储介质，包括处理器以及存储有执行指令的寄存器，当所述处理器执行所述寄存器存储的所述执行指令时，所述处理器硬件执行第一方面所述的快速识别冷数据的方法。
[0024]本专利技术的有益效果为：
[0025]本专利技术实现了内存冷数据的快速定位、快速清理，从而极大提升了内存读写的效率和利用率，进而极大提升了数据库访问的性能。
[0026]本专利技术在设备监测实际应用中，可以实现大规模设备的秒级快速轮询，并且数据展示不会间断。多台服务器形成监控集群，可以监控数万台设备，并能保证性能。具有很强的市场前景。
附图说明
[0027]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1是一种快速识别冷数据的方法步骤图；
[0029]图2是一种快速识别冷数据的方法流程原理图。
具体实施方式
[0030]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]实施例1
[0032]参照图1所示，本实施例提供了一种快速识别冷数据的方法，包括以下步骤：
[0033]S1初始化，加载数据到内存，并将其分配到特定区域，形成初始数据堆；
[0034]S2加载数据，根据内存空间大小，将整个空间配置为n个数据堆，对内存数据的读写将依次在这n个数据堆里进行，n为正整数；
[0035]S3访问内存时，首先访问当前数据堆中的数据块，若访问不到，则由前一位数据堆中查找，直到找到数据；
[0036]S4在内存容量超过阈值时，清理内存数据，并在清理掉特定数量冷数据块后，将当前数据堆中被访问到的数据移向初始数据堆。
[0037]本实施例针对运维监测中内存数据不断增加，需要不断清理的实际情况，本实施例通过改进内存数据清理方法以实现内存数据的快速定位、快速清理、快速调用和最大化利用。
[0038]本实施例为了实现系统在读写内存数据时能够快速在内存中找到不常用的冷数据，并能够快速将其清理掉，而且数据清理时能做到对用户无感知、对数据访问无影响，以达到极大提升内存访问速度和使用效率，极大提升数据库性能和用户体验的目的。
[0039]本实施例实现了内存冷数据的快速定位、快速清理，从而极大提升了内存读写的效率和利用率，进而极大提升了数据库访问的性能。
[0040]实施例2
[0041]在具体实施层面，本实施例提供一种快速识别冷数据方法的具体应用，具体如下：系统启动后加载数据到内存，并将其分配到一定的区域，形成初始数据堆。数据堆由海量的数据块组成，用于存放内存数据。
[0042]随着数据的不断加载，系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种快速识别冷数据的方法，其特征在于，所述方法包括以下步骤：S1初始化，加载数据到内存，并将其分配到特定区域，形成初始数据堆；S2加载数据，根据内存空间大小，将整个空间配置为n个数据堆，对内存数据的读写将依次在这n个数据堆里进行，n为正整数；S3访问内存时，首先访问当前数据堆中的数据块，若访问不到，则由前一位数据堆中查找，直到找到数据；S4在内存容量超过阈值时，清理内存数据，并在清理掉特定数量冷数据块后，将当前数据堆中被访问到的数据移向初始数据堆。2.根据权利要求1所述的一种快速识别冷数据的方法，其特征在于，所述方法中，数据堆由海量的数据块组成，用于存放内存数据。3.根据权利要求1所述的一种快速识别冷数据的方法，其特征在于，所述方法中，当初始数据堆容量达到阈值大小后，其中被访问到的数据块将开始搬移到下一个数据堆，而留下的是未被访问的数据块。4.根据权利要求3所述的一种快速识别冷数据的方法，其特征在于，所述方法中，搬移规则是：每间隔一个时间周期，当前数据堆中的数据块将搬移到下一个数据堆中；只搬移被访问到的数据块，留下未被访问的数据块。5.根据权利要求1所述的一种快速识别冷数据的方法，其特征在于，所述方法中，当前数据堆中的数据块均为搬...

【专利技术属性】
技术研发人员：陈新刚，
申请(专利权)人：陈新刚，
类型：发明
国别省市：