一种缓存系统管理方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种缓存系统管理方法、装置及计算机可读存储介质，在通过接口层接收到应用层发起的读缓存操作时，虚拟文件层通过逻辑控制层向资源管理层获取目标内存文件对象；虚拟文件层从目标内存文件对象中读取文件数据；虚拟文件层将文件数据通过接口层返回至应用层。通过本发明专利技术的实施，采用虚拟文件缓存系统的方式组织内存、磁盘、和网络资源，方便应用层开发，充分提升缓存性能。充分提升缓存性能。充分提升缓存性能。

【技术实现步骤摘要】
一种缓存系统管理方法、装置及计算机可读存储介质


[0001]本专利技术涉及电子
，尤其涉及一种缓存系统管理方法、装置及计算机可读存储介质。

技术介绍

[0002]随着互联网技术的发展和网络带宽的增加，互联网视频业务发展迅猛，因此对内容分发网络(CDN，Content Delivery Network)的需求也越来越大，CDN对网络缓存要求很高，设计一个好的网络缓存系统，能极大的节省CDN的成本，包括硬件成本和维护成本。
[0003]目前CDN缓存服务器，通常使用高配置的服务器，其配置有多种磁盘存储(如性能好的SSD磁盘，性能较差的SATA磁盘)，其中，高性能的磁盘较少，用于缓存较热的文件，低性能的磁盘较多，存储空间大，用于存储次热的文件，但是这种缓存系统中并不涉及内存和网络下载的管理，从而在实际应用中其应用层调用性能和缓存性能较为有限。

技术实现思路

[0004]本专利技术实施例的主要目的在于提供一种缓存系统管理方法、装置及计算机可读存储介质，至少能够解决相关技术中所提供的缓存系统的应用层调用性能和缓存性能较为有限的问题。
[0005]为实现上述目的，本专利技术实施例第一方面提供了一种缓存系统管理方法，应用于包括接口层、虚拟文件层、逻辑控制层和资源管理层的虚拟文件缓存系统，所述虚拟文件缓存系统封装有多种类型不同的存储介质，该方法包括：
[0006]在通过所述接口层接收到应用层发起的读缓存操作时，所述虚拟文件层通过所述逻辑控制层向所述资源管理层获取目标内存文件对象；
>[0007]所述虚拟文件层从所述目标内存文件对象中读取文件数据；
[0008]所述虚拟文件层将所述文件数据通过所述接口层返回至所述应用层。
[0009]为实现上述目的，本专利技术实施例第二方面提供了一种缓存系统管理装置，应用于包括接口层、虚拟文件层、逻辑控制层和资源管理层的虚拟文件缓存系统，所述虚拟文件缓存系统封装有多种类型不同的存储介质，该装置包括：
[0010]获取模块，用于在通过所述接口层接收到应用层发起的读缓存操作时，所述虚拟文件层通过所述逻辑控制层向所述资源管理层获取目标内存文件对象；
[0011]读取模块，用于所述虚拟文件层从所述目标内存文件对象中读取文件数据；
[0012]返回模块，用于所述虚拟文件层将所述文件数据通过所述接口层返回至所述应用层。
[0013]为实现上述目的，本专利技术实施例第三方面提供了一种电子装置，该电子装置包括：处理器、存储器和通信总线；
[0014]所述通信总线用于实现所述处理器和存储器之间的连接通信；
[0015]所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现上述任意一
种缓存系统管理方法的步骤。
[0016]为实现上述目的，本专利技术实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种缓存系统管理方法的步骤。
[0017]根据本专利技术实施例提供的缓存系统管理方法、装置及计算机可读存储介质，在通过接口层接收到应用层发起的读缓存操作时，虚拟文件层通过逻辑控制层向资源管理层获取目标内存文件对象；虚拟文件层从目标内存文件对象中读取文件数据；虚拟文件层将文件数据通过接口层返回至应用层。通过本专利技术的实施，采用虚拟文件缓存系统的方式组织内存、磁盘、和网络资源，方便应用层开发，充分提升缓存性能。
[0018]本专利技术其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本专利技术说明书中的记载变的显而易见。
附图说明
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术第一实施例提供的虚拟文件缓存系统的结构示意图；
[0021]图2为本专利技术第一实施例提供的一种接口层设计示意图；
[0022]图3为本专利技术第一实施例提供的一种内存文件对象的结构示意图；
[0023]图4为本专利技术第一实施例提供的一种内存文件对象管理示意图；
[0024]图5为本专利技术第一实施例提供的一种读缓存方法的细化流程示意图；
[0025]图6为本专利技术第一实施例提供的一种写缓存方法的细化流程示意图；
[0026]图7为本专利技术第一实施例提供的一种文件对象淘汰方法的细化流程示意图；
[0027]图8为本专利技术第三实施例提供的电子装置的结构示意图。
具体实施方式
[0028]为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]第一实施例：
[0030]为了解决相关技术中所提供的缓存系统的应用层调用性能和缓存性能较为有限的技术问题，本实施例提出了一种包括接口层、虚拟文件层、逻辑控制层和资源管理层的虚拟文件缓存系统，虚拟文件缓存系统封装有多种类型不同的存储介质。
[0031]如图1所示为本实施例提供的虚拟文件缓存系统的结构示意图，本实施例的虚拟文件缓存系统可以建立于linux操作系统的之上，对内存、磁盘、网络下载进行封装，给应用层提供统一的调用接口。
[0032]其中，接口层：接口层是虚拟文件缓存系统对外的统一接口，提供文件数据读取的
相关操作，如open，seek，read，onread，close调用。
[0033]虚拟文件层：其作用是，将网络下载的数据按虚拟文件的方式进行管理。把网络下载的HTTP头和文件体一起，当成一个虚拟文件。同时，虚拟文件层，把大文件切分成多个小文件，每个小文件称为一个“文件对象”。例如：对于网络下载的小文件(如4MB以内)，不用切割，把它当成一个文件对象，对于网络下载的大文件(如4MB以上)，把它分割成许多独立的文件对象进行管理。
[0034]逻辑控制层：逻辑控制层控制缓存的读取行为。在本实施例中，逻辑控制层有两个重要作用：a、汇聚应用层的读取行为，把对相同文件的并发读取，合并成一次读取；b、按优先级选择存储介质的读取顺序，先内存读取，再性能好的磁盘，再性能次之的磁盘，最后网络下载。
[0035]资源管理层：管理硬件资源，分为内存管理模块，多级磁盘管理模块(如SSD类型的磁盘，SATA类型的磁盘管理)，网络管理模块(如HTTP下载管理)。
[0036]如图2所示为本实施例提供的一种接口层设计示意图，在本实施例中，接口层为应用层提供统一的接口。第一步，传入网络URL(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缓存系统管理方法，应用于包括接口层、虚拟文件层、逻辑控制层和资源管理层的虚拟文件缓存系统，所述虚拟文件缓存系统封装有多种类型不同的存储介质，其特征在于，包括：在通过所述接口层接收到应用层发起的读缓存操作时，所述虚拟文件层通过所述逻辑控制层向所述资源管理层获取目标内存文件对象；所述虚拟文件层从所述目标内存文件对象中读取文件数据；所述虚拟文件层将所述文件数据通过所述接口层返回至所述应用层。2.如权利要求1所述的缓存系统管理方法，其特征在于，所述虚拟文件层通过所述逻辑控制层向所述资源管理层获取目标内存文件对象，包括：所述虚拟文件层向所述逻辑控制层获取目标内存文件对象；所述逻辑控制层向所述资源管理层获取目标内存文件对象；若所述目标内存文件对象存在于内存，则直接将所述内存中的所述目标内存文件对象返回至所述虚拟文件层；若所述目标内存文件对象不存在于内存，则从其它存储介质中读取文件对象，并将所述文件对象加载至所述内存得到所述目标内存文件对象，然后将所得到的所述目标内存文件对象返回至所述虚拟文件层。3.如权利要求2所述的缓存系统管理方法，其特征在于，所述从其它存储介质中读取文件对象，包括：若所述读缓存操作为并发读缓存操作，则将所述并发读缓存操作进行合并，从其它存储介质中一次读取文件对象；或，获取所述多种类型不同的存储介质的读取优先级排序，然后按照所述读取优先级排序从其它存储介质中顺序读取文件对象。4.如权利要求1至3中任意一项所述的缓存系统管理方法，其特征在于，所述存储介质包括内存和多级磁盘；所述缓存系统管理方法还包括：从所述内存的链表的头部获取一个内存文件对象；获取所述内存文件对象的访问热度；将所述访问热度与所述多级磁盘的每一级磁盘相应的热度阈值进行比较；若所述访问热度达到所述热度阈值，则对所述多级磁盘的相应磁盘进行写缓存操作。5.如权利要求1至3中任意一项所述的缓存系统管理方法，其特征在于，所述缓...

【专利技术属性】
技术研发人员：杨大维，
申请(专利权)人：深圳市佳创视讯技术股份有限公司，
类型：发明
国别省市：