一种基于分布式异构存储架构的多租户缓存方法技术

本发明专利技术公开了一种基于分布式异构存储架构的多租户缓存方法，一方面，将租户优先级和缓存结构相结合，充分使用缓存结构的读写性能，能更好地为不同优先级的租户提供差异性服务。另一方面，考虑到缓存穿透的边界情况，利用存储服务集群的空闲负载，实现了最大化利用缓存空间并尽量避免缓存雪崩的情况；同时，本发明专利技术面向场景为分布式异构存储架构，相比于常规的分布式存储系统，面临的问题更复杂，也更符合真实场景。合真实场景。合真实场景。

【技术实现步骤摘要】
一种基于分布式异构存储架构的多租户缓存方法


[0001]本专利技术涉及分布式系统、异构存储架构和多租户缓存策略
，尤其涉及一种基于分布式异构存储架构的多租户缓存方法。

技术介绍

[0002]21世纪以来中国互联网发展迅猛，近十年中国互联网用户数量快速增长，尤其是移动互联网的出现，随着智能手机的普及，走进我们生活的方方面面。大量的互联网用户提供了新的商机，促进了互联网技术与应用的发展，但与用户数量成正比的海量数据对存储技术带来了新的挑战。
[0003]当前大数据领域中，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需求。为解决大数据存储问题，业界普遍使用多台存储服务器，和多种存储技术组成分布式异构存储架构来替代传统的网络存储系统。分布式异构存储架构依旧需要缓存技术来提高请求响应速度，为用户提供更好的服务，而不合理的缓存策略将造成缓存穿透、缓存击穿和缓存雪崩等问题。
[0004]目前关于数据缓存技术的解决方案有很多。在应用进程层面，如LRUHashMap(最近最少使用哈希表键值对的数据结构)、Guava Cache(一套本地缓存机制)、EhCache(一种Java的进程内缓存框架)和Caffeine(一种基于Java8的缓存库)等实现方案，根据不同的淘汰算法来更新缓存；在服务端侧，如CDN(内容分发网络)缓存、反向代理缓存等方案根据地理位置分布式部署缓存服务器、静动态资源分离等方式压缩缓存数据；在应用请求侧，如HTTP(超文本传输协议)缓存、浏览器缓存、APP(应用程度)缓存等方案缓存用户可能重复访问的资源，减少对服务端的请求次数。另外一些技术框架，如Memcached(一种分布式的高速缓存系统)，Redis(远程字典服务)和ATS(一种分级缓存架构)。尽管这些解决方案可以一定程度上实现具有较高命中率的缓存技术，但一般只能适用于单租户分布式存储架构，当前鲜有针对异构存储架构、考虑多租户复用内存空间的缓存策略方案。因此，如何实现多租户复用内存场景下基于分布式异构存储架构的缓存策略至关重要，具有很高的实际应用价值。
[0005]目前主要有如下两种技术方案：1、基于LRU(最近最少使用淘汰算法)的最近最少使用缓存策略。2、基于LFU(最不经常使用页置换算法)的最不经常使用缓存策略。
[0006]然而，以上两种技术方案存在如下技术问题：
[0007]1、当前的缓存策略基本都是公平策略，在复杂的异构缓存体系下，公平策略在缓存满时由于无法根据后端实际负载淘汰缓存，容易导致某些负载能力低的存储服务先被穿透，导致服务雪崩。
[0008]2、公平存储策略在多租户场景下无法很好的根据用户优先级来分配缓存，难以做到对不同优先级的用户提供不同的保障级别并使高优先级用户得到更高的保障级别。

技术实现思路

[0009]本专利技术的目的是提供一种基于分布式异构存储架构的多租户缓存方法，实现分布式异构存储架构场景下，平衡缓存异构存储服务集群的数据，进而按照不同租户的优先级匹配不同的响应速度，从而实现安全可靠的缓存策略。
[0010]本专利技术的目的是通过以下技术方案实现的：
[0011]一种基于分布式异构存储架构的多租户缓存方法，包括：
[0012]接收租户的数据请求，并判断数据是否被缓存结构命中；若数据被缓存结构命中，则将缓存结构中的相应数据返回至所述租户；
[0013]若数据未被缓存结构命中，则从异构存储服务集群中获取相应数据，并返回至所述租户，以及判断缓存结构是否满载；
[0014]若缓存结构中的一级缓存未满载，则使用缓存初始化策略：将相应数据写入一级缓存；
[0015]若缓存结构中的一级缓存满载且二级缓存未满载，则使用缓存置换策略：结合租户的优先级计算相应数据的优先级数值，并根据与一级缓存中的优先级最小值的大小关系，判断将相应数据写入一级缓存或二级缓存；
[0016]若缓存结构中的一级缓存与二级缓存均满载，则使用缓存淘汰策略：结合数据所在的异构存储服务集群的空闲负载情况，计算数据的缓存亲和性数值，并根据与二级缓存中缓存亲和性最小值的大小关系，判断是否将相应数据写入缓存结构。
[0017]由上述本专利技术提供的技术方案可以看出，一方面，将租户优先级和缓存结构相结合，充分使用缓存结构的读写性能，能更好地为不同优先级的租户提供差异性服务。另一方面，考虑到缓存穿透的边界情况，利用存储服务集群的空闲负载，实现了最大化利用缓存空间并尽量避免缓存雪崩的情况；同时，本专利技术面向场景为分布式异构存储架构，相比于常规的分布式存储系统，面临的问题更复杂，也更符合真实场景。
附图说明
[0018]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0019]图1为本专利技术实施例提供的一种基于分布式异构存储架构的多租户缓存方法的流程图；
[0020]图2为本专利技术实施例提供的一种基于分布式异构存储架构的多租户缓存方法的整体架构示意图；
[0021]图3为本专利技术实施例提供的weight(size)离散图。
具体实施方式
[0022]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例，都属于本专利技术的保护范围。
[0023]首先对本文中可能使用的术语进行如下说明：
[0024]术语“和/或”是表示两者任一或两者同时均可实现，例如，X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。
[0025]术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0026]下面对本专利技术所提供的一种基于分布式异构存储架构的多租户缓存方法进行详细描述。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本专利技术实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本专利技术实施例中所用仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
[0027]本专利技术公开了一种基于分布式异构存储架构的多租户缓存方法，根据租户优先级、数据命中频率和数据权重值计算数据的优先级，比较数据优先级的大小来确定缓存置换策略；根据数据命中频率、数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式异构存储架构的多租户缓存方法，其特征在于，包括：接收租户的数据请求，并判断数据是否被缓存结构命中；若数据被缓存结构命中，则将缓存结构中的相应数据返回至所述租户；若数据未被缓存结构命中，则从异构存储服务集群中获取相应数据，并返回至所述租户，以及判断缓存结构是否满载；若缓存结构中的一级缓存未满载，则使用缓存初始化策略：将相应数据写入一级缓存；若缓存结构中的一级缓存满载且二级缓存未满载，则使用缓存置换策略：结合租户的优先级计算相应数据的优先级数值，并根据与一级缓存中的优先级最小值的大小关系，判断将相应数据写入一级缓存或二级缓存；若缓存结构中的一级缓存与二级缓存均满载，则使用缓存淘汰策略：结合数据所在的异构存储服务集群的空闲负载情况，计算数据的缓存亲和性数值，并根据与二级缓存中缓存亲和性最小值的大小关系，判断是否将相应数据写入缓存结构。2.根据权利要求1所述的一种基于分布式异构存储架构的多租户缓存方法，其特征在于，所述一级缓存的容量低于所述二级缓存，所述一级缓存的读写速率高于所述二级缓存。3.根据权利要求1所述的一种基于分布式异构存储架构的多租户缓存方法，其特征在于，所述根据与一级缓存中的优先级最小值的大小关系，判断将相应数据写入一级缓存或二级缓存包括：当数据的优先级数值高于一级缓存中的优先级最小值时，将数据存入一级缓存，并将一级缓存中的优先级最小值对应的缓存数据写入二级缓存；当数据的优先级数值未高于一级缓存中的优先级最小值时，将相应数据写入二级缓存。4.根据权利要求1所述的一种基于分布式异构存储架构的多租户缓存方法，其特征在于，所述缓存置换策略还包括：一级缓存内部的缓存数据更新时，同步更新优先级最小值，二级缓存内部的缓存数据更新时，同步更新优先级最大值；判断二级缓存中的优先级最大值是否大于一级缓存中的优先级最小值；若是，则将一级缓存中的优先级最小值对应的缓存数据写入二级缓存，并将二级缓存中的优先级最大值对应的缓存数据写入一级缓存。5.根据权利要求1或3或4所述的一种基于分布式异构存储架构的多租户缓存方法，其特征在于，数据的优先...

【专利技术属性】
技术研发人员：张致江，吴义平，刘世杰，胡安详，张燕咏，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：