缓存数据处理方法、系统及可读存储介质技术方案

本发明专利技术公开了一种缓存数据处理方法、系统及可读存储介质，所述方法包括：根据访问周期内当前源地址的空间访问量确定当前源地址是否为冷源地址；当所述当前源地址为冷源地址时，判断所述当前源地址在第一访问位置的数据块的引用计数是否小于预设值；若是，则将所述当前源地址删除；若否，则将所述当前源地址移动至第二访问位置并进行保存，所述当前源地址在第二访问位置的数据块的引用计数大于第一访问位置。本发明专利技术能够解决传统的缓存替换方法中，块被标识为冷块或热块完全由其源地址的访问频率或最后一次访问时间决定，而与每次访问的有效内容(实际访问的内容大小)及共享强度无关，从而导致较低的空间利用率的问题，满足了实际应用需求。

Cache Data Processing Method, System and Readable Storage Media

【技术实现步骤摘要】
缓存数据处理方法、系统及可读存储介质
本专利技术涉及计算机信息存储
，特别是涉及一种缓存数据处理方法、系统及可读存储介质。
技术介绍
缓存，作为提高计算机系统性能的一种重要手段，近年来在存储领域已经得到了工业界和学术界的广泛关注。在存储系统中，缓存的主要作用是减缓平滑两级系统之间的性能差异。缓存替换，则是为了在缓存空间已满的时候，选择某个数据块被替换出缓存。缓存替换是通过每次从缓存空间中替换再次被访问概率最低的数据块，从而能带来更好的缓存命中率，获得较高的性能提升。随着现代工作负载的增加，对缓存容量的需求将很快超过缓存设备的有限容量。因此，一些研究人员提出应用重复数据删除或压缩技术，通过减少数据占用，有效地增加缓存逻辑容量。重复数据删除(Deduplication)，简称“去重”，侧重于识别和删除冗余数据，以减少数据占用。重复数据删除，作为备份和存档存储系统中有效减少数据的一项经过验证的技术，也显示出通过删除冗余数据来增加存储缓存的逻辑空间容量的前景。然而，现有的重复数据删除开销很大，缓存替换策略的效率反而更低。其次，在存储缓存中，块大小是固定的，所有请求都需要与缓存的块大小对齐。在传统的缓存替换方法中，块被标识为冷块或热块完全由其源地址的访问频率或最后一次访问时间决定，而与每次访问的有效内容(实际访问的内容大小)及共享强度无关，从而导致较低的空间利用率。
技术实现思路
为了解决上述问题，本专利技术的目的是提供一种能够通过提高缓存命中率来提高空间利用率及系统性能的缓存数据处理方法、系统、可读存储介质。根据本专利技术提供的缓存数据处理方法，应用于数据缓存系统，包括：根据访问周期内当前源地址的空间访问量确定当前源地址是否为冷源地址；当所述当前源地址为冷源地址时，判断所述当前源地址在第一访问位置的数据块的引用计数是否小于预设值；若是，则将所述当前源地址删除；若否，则将所述当前源地址移动至第二访问位置并进行保存，所述当前源地址在第二访问位置的数据块的引用计数大于第一访问位置。根据本专利技术提供的缓存数据处理方法，首先根据访问周期内当前源地址的空间访问量确定当前源地址是否为冷源地址，从而可以更准确地识别块的内容热度，尤其是对于大块，最小化误报热块；通过当所述当前源地址为冷源地址时，判断所述当前源地址在第一访问位置的数据块的引用计数是否小于预设值，来确定是否对当前源地址进行删除或者是位置的迁移的操作，从而实现数据块的替换与相关源地址的访问时间进行关联，作为数据块热度衡量的因素，最终实现通过提高缓存命中率来提高空间利用率及系统性能。本专利技术提供的缓存数据处理方法，通过同一数据块相关联的不同的逻辑地址的个数作为数据块热度的衡量因素之一，以及利用bitmap技术来识别大的数据块中的某些小粒度的访问区域，优化了数据块的缓存替换策略，达到提升存储系统性能的目的。另外，根据本专利技术上述的缓存数据处理方法，还可以具有如下附加的技术特征：进一步地，根据访问周期内当前源地址的空间访问量确定当前源地址是否为冷源地址的步骤包括：将所述当前源地址的地址空间划分为若干子地址空间；通过位图记录每个子地址空间的访问状态；当所述当前源地址中的子地址空间的访问量小于预设访问量，且在该访问周期内未被访问，则所述当前源地址为冷源地址。进一步地，任一数据块均对应多个源地址，将所述当前源地址删除的步骤之后，所述方法还包括：当所述当前源地址所对应的数据块被其他任一源地址所引用，则判断访问周期内该数据块被其他源地址所引用的引用计数是否小于预设值；若是，则将其他源地址及被引用的该数据块同时删除。进一步地，任一数据块均对应多个源地址，将所述当前源地址删除的步骤之后，所述方法还包括：当所述当前源地址所对应的数据块未被其他源地址所引用，则将该数据块删除。进一步地，将所述当前源地址移动至第二访问位置并进行保存的步骤之后，所述方法还包括：判断位于所述第二访问位置的当前源地址的引用计数的减少量是否小于预设减少量；若是，则将所述当前源地址删除；若否，则将所述当前源地址保留并进入下一访问周期。进一步地，所述访问周期为所述当前源地址由第二访问位置移动至第一访问位置的时间。进一步地，所述方法还包括：将源地址存储于第一存储区，将所述源地址所对应的数据块存储于第二存储区；对每个所述数据块所对应的源地址进行哈希计算，以得到数据块指纹，建立所述数据块指纹与数据块对应的布隆过滤器数组。进一步地，所述方法还包括：当接收到一数据块缓存指令时；判断当前数据块的布隆过滤器是否被命中，以确定所述当前数据块是否为第二存储区内的重复数据块；当所述当前数据块为第二存储区内的重复数据块时，拒绝所述当前数据的缓存，并生成一拒绝日志。本专利技术的另一实施例提出一种缓存数据处理系统，解决现有的缓存替换方法中，块被标识为冷块或热块完全由其源地址的访问频率或最后一次访问时间决定，而与每次访问的有效内容(实际访问的内容大小)及共享强度无关，从而导致较低的空间利用率的问题，提高了用户数据缓存体验的满意度。根据本专利技术实施例的缓存数据处理系统，包括：确定模块，用于根据访问周期内当前源地址的空间访问量确定当前源地址是否为冷源地址；判断模块，用于当所述当前源地址为冷源地址时，判断所述当前源地址在第一访问位置的数据块的引用计数是否小于预设值；删除模块，用于将所述当前源地址删除；迁移模块，用于将所述当前源地址移动至第二访问位置并进行保存，所述当前源地址在第二访问位置的数据块的引用计数大于第一访问位置。本专利技术的另一个实施例还提出一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实施例了解到。附图说明图1是本专利技术第一实施例提出的缓存数据处理方法的流程图；图2是图1中步骤S101的具体流程图；图3是图1的具体实施例的原理结构示意图；图4是图1的体实施例的原理结构示意图；图5是本专利技术第二实施例提出的缓存数据处理系统的结构框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术第一实施例提出的一种缓存数据处理方法，其中，包括步骤S101～S104：步骤S101，根据访问周期内当前源地址的空间访问量确定当前源地址是否为冷源地址。本实施例中，以数据缓存设备为例进行说明，但需要了解的是，本专利技术实施例并不限于此，本专利技术实施例的方法可以应用在任何数据缓存设备中，即任何可进行数据缓存的电子设备中。具体的，现有技术中，传统的缓存替换方法中，块被标识为冷块或热块完全由其源地址的访问频率或最后一次访问时间决定，而与每次访问的有效内容(实际访问的内容大小)无关；且每个数据块都由唯一的逻辑地址标识，所有数据块的逻辑地址彼此独立，但是对于重复数据删除，每个数据块都是由其数据内容标识的，这些数据内容可以由多个逻辑地址共同指向，因此，在数据块内容相同的多个逻辑地址之间共享数据内容会导本文档来自技高网...

【技术保护点】
1.一种缓存数据处理方法，应用于数据缓存系统，其特征在于，所述方法包括如下步骤：根据访问周期内当前源地址的空间访问量确定当前源地址是否为冷源地址；当所述当前源地址为冷源地址时，判断所述当前源地址在第一访问位置的数据块的引用计数是否小于预设值；若是，则将所述当前源地址删除；若否，则将所述当前源地址移动至第二访问位置并进行保存，所述当前源地址在第二访问位置的数据块的引用计数大于第一访问位置。

【技术特征摘要】
1.一种缓存数据处理方法，应用于数据缓存系统，其特征在于，所述方法包括如下步骤：根据访问周期内当前源地址的空间访问量确定当前源地址是否为冷源地址；当所述当前源地址为冷源地址时，判断所述当前源地址在第一访问位置的数据块的引用计数是否小于预设值；若是，则将所述当前源地址删除；若否，则将所述当前源地址移动至第二访问位置并进行保存，所述当前源地址在第二访问位置的数据块的引用计数大于第一访问位置。2.根据权利要求1所述的缓存数据处理方法，其特征在于，根据访问周期内当前源地址的空间访问量确定当前源地址是否为冷源地址的步骤包括：将所述当前源地址的地址空间划分为若干子地址空间；通过位图记录每个子地址空间的访问状态；当所述当前源地址中的子地址空间的访问量小于预设访问量，且在该访问周期内未被访问，则所述当前源地址为冷源地址。3.根据权利要求1所述的缓存数据处理方法，其特征在于，任一数据块均对应多个源地址，将所述当前源地址删除的步骤之后，所述方法还包括：当所述当前源地址所对应的数据块被其他任一源地址所引用，则判断访问周期内该数据块被其他源地址所引用的引用计数是否小于预设值；若是，则将其他源地址及被引用的该数据块同时删除。4.根据权利要求1所述的缓存数据处理方法，其特征在于，任一数据块均对应多个源地址，将所述当前源地址删除的步骤之后，所述方法还包括：当所述当前源地址所对应的数据块未被其他源地址所引用，则将该数据块删除。5.根据权利要求1所述的缓存数据处理方法，其特征在于，将所述当前源地址移动至第二访问位置并进行保存的步骤之后，所述方法还包...

【专利技术属性】
技术研发人员：谭玉娟，谢静，许聪聪，刘铎，陈咸彰，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50