一种数据存储方法及装置制造方法及图纸

本发明专利技术公开了一种数据存储方法及装置，涉及计算机及通讯技术领域，其方法包括：统计当前时间片内存储数据的被访问次数；根据所述被访问次数计算所述存储数据在当前时间片的热度评分，并根据所述热度评分确定所述存储数据在当前时间片的热度级别；根据所述热度级别将所述存储数据存储于对应的存储器件。

【技术实现步骤摘要】
一种数据存储方法及装置
本专利技术涉及计算机及通讯
，特别涉及一种数据存储方法及装置。
技术介绍
近年来，以闪存为代表的新型存储器件迎来了飞速发展，但是仍然无法撼动已经存在几十年的存储金字塔结构。究其根本原因，高速的存储器件(如闪存、内存)虽然性能高，但价格贵、容量小、寿命短；而低速的存储器件(如磁盘、磁带)虽然容量大、价格低、寿命长，但性能低下，如图1所示。存储金字塔结构正是解决高低速存储器件在性能、容量、寿命、价格等因素上巨大鸿沟的最佳的、折衷的、常规的手段。在实际的应用业务中，数据(包括但不限于页Page、块Block、文件File、对象Object，在本专利技术中统称数据)访问热度符合帕累托定律(也叫二八定律)，即少数的数据被频繁访问(热数据)，因此将热数据存放在高速存储器件中，获得较高的性能；多数的数据被不频繁访问(冷数据)，因此将冷数据存放在低速存储器件中，获得较低的成本；当产生新的热数据时，需要将高速存储器件中的冷数据换出到低速存储器件中，从而可以将新的热数据换入到高速存储器件中，这个过程即为缓存替换。不难看出，缓存替换是否合理的关键在于——对热度的判断是否准确。在上个世纪，典型的存储金字塔结构为：内存作为缓存，磁盘作为存储池，缓存替换算法主要有：FIFO(FirstInputFirstOutput，先入先出)、LFU(LeastFrequentlyUsed最少使用频率)、LRU(LeastRecentlyUsed，最近最久未使用)。如图2所示，其中，FIFO算法淘汰最先被访问的数据，仅考虑时间因素和是否被访问，未考虑访问次数。其中，LFU算法淘汰访问次数最少的数据，但未考虑访问时间的远近；其中，LRU算法淘汰最久没有被访问的数据，只记录访问但不区分访问次数。以上缓存替换存在的主要问题包括：(1)热度判断的主体局限于进入缓存的数据，以上缓存替换算法不仅缺乏对被换出数据的长期跟踪，而且缺乏对全体数据的热度判断，被换出数据的再次被换入时其热度等同于首次进入缓存的数据，但其实热度是不同的。(2)热度判断准确率低下，以上缓存替换算法没有同时考虑访问时间和历史访问频率，导致一些只是近期没有被访问到，但实际上访问频率很高的数据替换出去，热度判断的合理性存在较大提升空间。(3)未能充分发挥硬件性能，受限于当时的CPU计算能力和内存容量，以上缓存替换算法十分节约计算和内存，以链表作为最主要的缓存管理方法。也正是因为问题(3)，使得问题(1)和问题(2)更加难以得到解决；也是因为问题(1)，使得问题(2)更加难以得到解决。进入21世纪后，计算机产生了巨大的变化：(1)计算机由单机向分布式集群发展，存储金字塔结构更加复杂(典型的存储金字塔结构为：内存作为一级缓存，闪存作为二级缓存，本地磁盘作为一级存储池，云存储作为二级存储池)，涉及到多个存储层级之间的冷热数据的判断与迁移，需要对全体数据进行热度统计与计算。(2)对热度判断的准确性提出了更高的期望，一旦出现缓存命中率低则产生大量的跨网络读写，时延较大。(3)硬件水平迅速发展。CPU(CentralPocessingUnit，中央处理器)、内存等电子器件遵循摩尔定律——性能每隔18个月提高一倍，价格下降一半。以CPU为例，从1980年至2010年，CPU的有效周期时间从1000纳秒降为0.1纳秒，降低了10000倍。硬件水平(计算和内存)不再是制约计算机系统设计的绊脚石。然而，产生于上世纪的经典缓存替换算法沿用至今，虽然国内外诸多计算机学家针对FIFO、LRU、LFU做了大量的改进，提出了诸如LRV、Hybrid、Lowest-Latency-First、Pitkow、Recker、Hyper-G、Chunkstash、I-CASH等缓存算法，但受制于经典缓存替换算法的惯性思维，这些缓存替换算法仍旧无法全面地考虑全体数据的热度情况；仍旧难以提升热度判断的准确率，难以满足新时代的新期望；仍旧在计算和内存上畏手畏脚，仍旧停留在以链表作为主要的缓存管理方法。
技术实现思路
根据本专利技术实施例提供的方案解决的技术问题是不能准确有效得对数据热度进行判断。根据本专利技术实施例提供的一种数据存储方法，包括：统计当前时间片内存储数据的被访问次数；根据所述被访问次数计算所述存储数据在当前时间片的热度评分，并根据所述热度评分确定所述存储数据在当前时间片的热度级别；根据所述热度级别将所述存储数据存储于对应的存储器件。优选地，所述根据所述被访问次数计算所述存储数据在当前时间片的热度评分包括：根据所述存储数据在上个时间片的热度评分以及在当前时间片内的被访问次数，计算所述存储数据在当前时间片的热度评分。优选地，根据所述热度评分确定所述存储数据在当前时间片的热度级别包括：根据热度阈值表中热度评分和热度级别的对应关系，确定所述存储数据在当前时间片的热度级别。优选地，根据所述热度级别将所述存储数据存储于对应的存储器件包括：根据热度阈值表中热度级别与存储器件的对应关系，确定所述存储数据在当前时间片对应的存储器件，并将所述存储数据存储于所确定的存储器件。优选地，所述根据热度阈值表中热度级别与存储器件的对应关系，确定所述存储数据在当前时间片对应的存储器件，并将所述存储数据存储于所确定的存储器件包括：根据所述存储数据在当前时间片的热度级别从所述热度阈值表中查找对应的存储器件；对所述存储器件的当前存储容量进行检测；在所述当前存储容量达到存储容量阈值的情况下，通过调整所述热度阈值表中热度评分和热度级别的对应关系，重新确定所述存储数据在当前时间片所对应的存储器件，并将所述存储数据存储于所确定的存储器件。根据本专利技术实施例提供的一种数据存储装置，包括：统计模块，用于统计当前时间片内存储数据的被访问次数；计算及确定模块，用于根据所述被访问次数计算所述存储数据在当前时间片的热度评分，并根据所述热度评分确定所述存储数据在当前时间片的热度级别；存储模块，用于根据所述热度级别将所述存储数据存储于对应的存储器件。优选地，所述计算及确定模块包括计算单元，用于根据每个存储数据在其上个时间片结束时计算的热度评分以及在当前时间片内统计每个存储数据被访问次数，计算当前时间片结束时所述每个存储数据的热度评分。优选地，所述计算及确定模块包括确定单元，用于根据热度阈值表中热度评分和热度级别对应关系，确定所述存储数据在当前时间片的热度级别。优选地，所述存储模块具体用于根据热度阈值表中热度级别与存储器件的对应关系，确定所述存储数据在当前时间片对应的存储器件，并将所述存储数据存储于所确定的存储器件。优选地，所述存储模块包括：查找单元，用于根据所述存储数据在当前时间片的热度级别从所述热度阈值表中查找对应的存储器件；检测单元，用于对所述存储器件的当前存储容量进行检测；存储单元，用于在所述当前存储容量达到存储容量阈值的情况下，通过调整所述热度阈值表中热度评分和热度级别的对应关系，重新确定所述存储数据在当前时间片所对应的存储器件，并将所述存储数据存储于所确定的存储器件。根据本专利技术实施例提供的方案，取得了热度判断的主体全面的进步，达到了热度判断准确率高效果，充分发挥了硬件性能。附图说明图1是现有技术提供的旧式存储金字塔结构示意图；图2是现有技术提供的经本文档来自技高网...

【技术保护点】
1.一种数据存储方法，包括：统计当前时间片内存储数据的被访问次数；根据所述被访问次数计算所述存储数据在当前时间片的热度评分，并根据所述热度评分确定所述存储数据在当前时间片的热度级别；根据所述热度级别将所述存储数据存储于对应的存储器件。

【技术特征摘要】
1.一种数据存储方法，包括：统计当前时间片内存储数据的被访问次数；根据所述被访问次数计算所述存储数据在当前时间片的热度评分，并根据所述热度评分确定所述存储数据在当前时间片的热度级别；根据所述热度级别将所述存储数据存储于对应的存储器件。2.根据权利要求1所述的方法，其中，所述根据所述被访问次数计算所述存储数据在当前时间片的热度评分包括：根据所述存储数据在上个时间片的热度评分以及在当前时间片内的被访问次数，计算所述存储数据在当前时间片的热度评分。3.根据权利要求1所述的方法，其中，根据所述热度评分确定所述存储数据在当前时间片的热度级别包括：根据热度阈值表中热度评分和热度级别的对应关系，确定所述存储数据在当前时间片的热度级别。4.根据权利要求1所述的方法，其中，根据所述热度级别将所述存储数据存储于对应的存储器件包括：根据热度阈值表中热度级别与存储器件的对应关系，确定所述存储数据在当前时间片对应的存储器件，并将所述存储数据存储于所确定的存储器件。5.根据权利要求4所述的方法，其中，所述根据热度阈值表中热度级别与存储器件的对应关系，确定所述存储数据在当前时间片对应的存储器件，并将所述存储数据存储于所确定的存储器件包括：根据所述存储数据在当前时间片的热度级别从所述热度阈值表中查找对应的存储器件；对所述存储器件的当前存储容量进行检测；在所述当前存储容量达到存储容量阈值的情况下，通过调整所述热度阈值表中热度评分和热度级别的对应关系，重新确定所述存储数据在当前时间片所对应的存储器...

【专利技术属性】
技术研发人员：杨洪章，韩银俊，高洪，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44