一种缓存数据处理方法及装置制造方法及图纸

技术编号:12876319 阅读:88 留言:0更新日期:2016-02-17 12:32
本发明专利技术提供一种缓存数据处理方法及装置,上述方法包括以下步骤:获取数据块特征值并与预设阈值进行比较并根据比较结果,对数据块进行处理;根据获取的访问缓存数据次数、第一生存时间阈值、第二生存时间阈值,确定对应的缓存数据处理策略;实现了在缓存数据运行时,由访问频率自行决定生存时间,使得缓存数据的生存时间更加合理,不经常访问的数据调出缓存,节省空间;经常访问的数据常驻缓存,提高命中率,从而加快访问速度,提高访问效率。

【技术实现步骤摘要】

本专利技术涉及缓存数据管理领域,尤其涉及一种缓存数据处理方法及装置
技术介绍
Redis出现之前,数据都直接缓存至内存;缓存数据替换、缓存数据清除等操作都 需要用户程序自己管理即通过专门的缓存管理模块对缓存数据进行管理,处理起来比较麻 烦,严重影响了用户体验。 随着具有强大数据管理功能的Redis出现,使得对缓存数据管理能力得到了提 高,其优越性能、高速读取速度越来越受到各种应用程序青睐,多数传统数据库访问程序, 也把Redis作为缓存端提高数据访问效率。 然而Redis作为内存数据库,其容量不能达到传统数据库的容量,因此如何在有 限空间内,尽可能提高数据命中率来提高数据访问效率,是亟需解决的技术问题。
技术实现思路
本专利技术提供一种缓存数据处理方法及装置,以解决上述问题。 本专利技术提供一种缓存数据处理方法。上述方法包括以下步骤: 获取数据块特征值并与预设阈值进行比较并根据比较结果,对数据块进行处理; 根据获取的访问缓存数据次数、第一生存时间阈值、第二生存时间阈值,确定对应 的缓存数据处理策略。 本专利技术还提供一种缓存数据处理装置,包括获取模块、比较处理模块、缓存数据处 理模块;其中,所述获取模块通过所述比较处理模块与所述缓存数据处理模块相连; 所述获取模块,用于获取数据块特征值并将所述数据块特征值发送至所述比较处 理模块; 所述比较处理模块,用于将数据块特征值与预设阈值进行比较并根据比较结果, 对数据块进行处理并将处理结果发送至所述缓存数据处理模块; 所述缓存数据处理模块,用于根据获取的访问缓存数据次数、第一生存时间阈值、 第二生存时间阈值,确定对应的缓存数据处理策略。 通过以下方案:获取数据块特征值并与预设阈值进行比较并根据比较结果,对数 据块进行处理;根据获取的访问缓存数据次数、第一生存时间阈值、第二生存时间阈值,确 定对应的缓存数据处理策略;实现了在缓存数据运行时,由访问频率自行决定生存时间,使 得缓存数据的生存时间更加合理,不经常访问的数据调出缓存,节省空间;经常访问的数据 常驻缓存,提高命中率,从而加快访问速度,提高访问效率。 通过以下方案:若在第一生存时间阈值内,所述第一缓存数据被访问,则将所述第 一缓存数据的生存时间重新置为第一生存时间阈值;若第一生存时间阈值到达时,所述第 一缓存数据未被访问,则将所述第一缓存数据删除;采用上述方案使得对于访问比较频繁 的第一缓存数据,由于访问频率高,在第一生存时间阈值到达前被访问,而不至于被清除; 对于访问频率低的第一缓存数据,则会因为第一生存时间阈值到达时尚未被访问而被自动 清除;采用上述方案使得对于突发性访问频率增加的数据更加有效,提高了访问效率,大大 提高了用户体验。【附图说明】 此处所说明的附图用来提供对本专利技术的进一步理解,构成本申请的一部分,本发 明的示意性实施例及其说明用于解释本专利技术,并不构成对本专利技术的不当限定。在附图中: 图1所示为本专利技术实施例1的缓存数据处理方法流程图; 图2所示为本专利技术实施例2的缓存数据处理装置结构图。【具体实施方式】 下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是,在不冲突的 情况下,本申请中的实施例及实施例中的特征可以相互组合。 图1所示为本专利技术实施例1的缓存数据处理方法流程图,包括以下步骤: 步骤101 :获取数据块特征值并与预设阈值进行比较并根据比较结果,对数据块 进行处理; 其中,预设阈值根据实际情况可以灵活设定,例如:512B,在此不用于限定本实施 例保护范围;数据块特征值是指数据块大小值。 进一步地,获取数据块特征值并与预设阈值进行比较并根据比较结果,对数据块 进行处理的过程为: 若数据块大小值小于预设阈值,则将数据块存至预设内存数据库,形成第一缓存 数据,并设定所述第一缓存数据的第一生存时间阈值。 进一步地,若数据块大小值小于预设阈值,则将数据块存至预设内存数据库,形成 第一缓存数据,并设定所述第一缓存数据的第一生存时间阈值的过程为: 若数据块大小值小于预设阈值,则将数据块存至预设内存数据库,形成第一缓存 数据,采用设置时间命令,对所述第一缓存数据进行第一生存时间阈值设定。 其中,根据自身程序的本身环境(因为环境不同,不能统一而定,比如:有的网站 平均访问率高,平均1秒就有一人访问,有的网站可能10秒才有人访问一次),自身程序历 史访问记录的平均间隔,设定第一生存时间阈值(T1)。 进一步地,获取数据块特征值并与预设阈值进行比较并根据比较结果,对数据块 进行处理的过程为: 若数据块大小值大于或等于预设阈值,则对数据块增加1字节空间用于对数据访 问次数进行记录,并将增加字节后的数据块存入预设内存库,形成第二缓存数据并对所述 第二缓存数据设定第二生存时间阈值。 其中,所述预设内存数据库是指Redis内存数据库。 其中,对于数据块大小值大于或等于预设阈值,对数据块增加1字节空间用于记 录数据访问次数,并将初始访问次数,置为〇。 其中,第二生存时间阈值为第一生存时间阈值的整数倍,例如:2倍第一生存时间 阈值(2T)、3倍第一生存时间阈值(3T)、4倍第一生存时间阈值(4T)、5倍第一生存时间阈 值(5T)、6倍第一生存时间阈值(6T)、7倍第一生存时间阈值(7T)、8倍第一生存时间阈值 (8Τ)〇 步骤102 :根据获取的访问缓存数据次数、第一生存时间阈值、第二生存时间阈 值,确定对应的缓存数据处理策略。 进一步地,根据获取的访问缓存数据次数、第一生存时间阈值、第二生存时间阈 值,确定对应的缓存数据处理策略的过程为: 若在第一生存时间阈值内,所述第一缓存数据被访问,则将所述第一缓存数据的 生存时间重新置为第一生存时间阈值;若第一生存时间阈值到达时,所述第一缓存数据未 被访问,则将所述第一缓存数据删除。 采用上述方案使得对于访问比较频繁的第一缓存数据,由于访问频率高,在第一 生存时间阈值到达前被访问,而不至于被清除;对于访问频率低的第一缓存数据,则会因为 第一生存时间阈值到达时尚未被访问而被自动清除。 采用上述方案使得对于突发性访问频率增加的数据更加有效,比如:可能数据访 问突发性比较高,在访问高峰期数据会一直不断缓存在Redis内存数据库,而访问低谷期 则会被清除,并不会长期存储,节省了 Redis内存数据库空间。 进一步地,根据获取的访问缓存数据次数、第一生存时间阈值、第二生存时间阈 值,确定对应的缓存数据处理策略的过程为: 每访问第二缓存数据1次,则访问次数加1,若在第二生存时间阈值内,访问次数 大于或等于预设最大次数,则将所述第二缓存数据的生存时间重新置为第二生存时间阈值 且将访问次数重新置为0。 进一步地,根据获取的访问缓存数据次数、第一生存时间阈值、第二生存时间阈 值,确定对应的缓存数据处理策略的过程为: 每访问第二缓存数据1次,则访问次数加1,若在第二生存时间阈值内访问次数小 于预设最大次数,则将所述第当前第1页1 2 本文档来自技高网...
一种缓存数据处理方法及装置

【技术保护点】
一种缓存数据处理方法,其特征在于,包括以下步骤:获取数据块特征值并与预设阈值进行比较并根据比较结果,对数据块进行处理;根据获取的访问缓存数据次数、第一生存时间阈值、第二生存时间阈值,确定对应的缓存数据处理策略。

【技术特征摘要】

【专利技术属性】
技术研发人员:荆帅帅
申请(专利权)人:浪潮北京电子信息产业有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1