一种数据缓存的方法及装置制造方法及图纸

技术编号:18783174 阅读:17 留言:0更新日期:2018-08-29 06:45
本发明专利技术提供一种数据缓存的方法及装置,接收用户终端发送的数据请求消息;若检测到缓存装置设备中不包括所述数据请求消息请求的目标访问数据,则向所述用户终端发送存储装置中的所述目标访问数据;提取所述存储装置中的所述目标访问数据的参数信息,并判断所述目标访问数据的参数信息是否与预设的参数条件匹配;若所述目标访问数据的参数信息与预设的参数条件匹配,向所述缓存装置传输所述目标访问数据。这样,缓存装置中只存储满足预设参数条件的数据如访问次数多的数据,不会让访问次数少的数据占用缓存装置的存储空间,从而提高了存储资源的利用率和用户终端的数据访问命中率。

【技术实现步骤摘要】
一种数据缓存的方法及装置
本专利技术涉及存储
,特别涉及一种数据缓存的方法及装置。
技术介绍
分布式存储系统是由多个存储设备、缓存设备和I/O(输入/输出,input/output)总线组成,各个存储设备之间通过I/O总线进行数据传输,并基于存储设备间的数据分散布局可以实现高效低廉的数据存储,分布式存储系统因其强大的扩展能力而被广泛应用于密集型计算和云计算领域。目前应用于分布式存储系统的数据缓存的方法主要是采用的是按需调入的策略,即如果检测到缓存设备中没有用户需要的数据时就会将存储在存储设备中的数据调入到缓存设备中以响应用户终端的需求。由于缓存设备的容量有限,上述响应模式中调入缓存设备中的数据会替换缓存设备的其他数据,并且存在新调入缓存设备中的数据在后续不再被访问或者访问次数较少,而存在被替换的数据属于高访问次数的数据的情形,新调入的数据会占用缓存设备中的存储资源而使存储资源不能得到充分利用。并且,分布式存储模式下的缓存粒度较大,对数据块的缓存操作需要大量的网络带宽和存储读写开销。可见,目前应用于分布式存储系统的数据缓存的方法存在存储资源利用率低的问题。
技术实现思路
本专利技术实施例的目的在于提供一种数据缓存的方法及装置,解决了目前应用于分布式存储系统的数据缓存的方法存在存储资源利用率低的问题。为了达到上述目的,本专利技术实施例提供一种数据缓存的方法,包括:接收用户终端发送的数据请求消息;若检测到缓存装置设备中不包括所述数据请求消息请求的目标访问数据,则向所述用户终端发送存储装置中的所述目标访问数据;提取所述存储装置中的所述目标访问数据的参数信息,并判断所述目标访问数据的参数信息是否与预设的参数条件匹配;若所述目标访问数据的参数信息与预设的参数条件匹配,向所述缓存装置传输所述目标访问数据。本专利技术实施例还提供一种数据缓存装置,包括:接收模块,用于接收用户终端发送的数据请求消息;发送模块,用于若检测到缓存装置设备中不包括所述数据请求消息请求的目标访问数据,则向所述用户终端发送存储装置中的所述目标访问数据;提取模块,用于提取所述存储装置中的所述目标访问数据的参数信息,并判断所述目标访问数据的参数信息是否与预设的参数条件匹配;传输模块,用于若所述目标访问数据的参数信息与预设的参数条件匹配,向所述缓存装置传输所述目标访问数据。本专利技术实施例还提供一种计算机存储介质,所述计算机存储介质中存储有计算机可执行的一个或多个程序,所述一个或多个程序被所述计算机执行时使所述计算机执行如上述提供的一种数据缓存的方法。上述技术方案中的一个技术方案具有如下优点或有益效果:本专利技术实施例接收用户终端发送的数据请求消息;若检测到缓存装置设备中不包括所述数据请求消息请求的目标访问数据,则向所述用户终端发送存储装置中的所述目标访问数据;提取所述存储装置中的所述目标访问数据的参数信息,并判断所述目标访问数据的参数信息是否与预设的参数条件匹配;若所述目标访问数据的参数信息与预设的参数条件匹配,向所述缓存装置传输所述目标访问数据。这样,缓存装置中只存储满足预设参数条件的数据如访问次数多的数据,不会让访问次数少的数据占用缓存装置的存储空间,从而提高了存储资源的利用率和用户终端的数据访问命中率。附图说明图1为本专利技术实施例提供的一种数据缓存的方法流程图;图2为本专利技术实施例提供的一种数据缓存的方法的示意图;图3为本专利技术实施例提供的另一种数据缓存的方法的示意图;图4为本专利技术实施例提供的另一种数据缓存的方法的示意图;图5为本专利技术实施例提供的一种数据缓存装置的结构图;图6为本专利技术实施例提供的另一种数据缓存装置的结构图;图7为本专利技术实施例提供的另一种数据缓存装置的结构图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。如图1所示,本专利技术实施例提供一种数据缓存的方法,包括以下步骤:步骤S101、接收用户终端发送的数据请求消息。该步骤中,用户终端与服务器之间通过数据请求消息来进行数据的访问,其中,用户终端可以是手机、平板电脑(TabletPersonalComputer)、膝上型电脑(LaptopComputer)、个人数字助理(personaldigitalassistant,简称PDA)、移动上网装置(MobileInternetDevice,MID)或可穿戴式设备(WearableDevice)等。服务器的存储方式为分布式存储,其包括缓存装置和存储装置,如图2所示,缓存装置用读写速度较快的设备如固态存储盘(SolidStateDrives,SSD),存储装置用读写速度相对慢速的设备如硬盘驱动器(HardDiskDrive,HDD)。其中,缓存装置也可以用硬盘驱动器,存储装置也可以用固态硬盘,这里不做限定。本实施例基于效果考虑以缓存装置使用固态硬盘,存储装置使用硬盘驱动器进行说明。该实施方式的核心思想是将冷数据(访问次数少的数据)和热数据(访问次数多的数据)进行分离,将热数据存储在SSD当中,将冷数据存储在HDD当中并基于服务器的HOSD(HotSpotDetection)模块进行缓存装置与存储装置之间的数据传输的控制。需要说明的是,为了使用户终端与服务器之间的数据请求的稳定性,可以通过外部网(publicnetwork)进行用户终端与服务器之间的数据传输,集群网(clusternetwork)进行服务器内部的缓存装置和存储装置之间的数据传输,以实现缓存装置和存储装置之间的数据流动。步骤S102、若检测到缓存装置中不包括所述数据请求消息请求的目标访问数据,则向所述用户终端发送存储装置中的所述目标访问数据。该步骤中,如图3所示,服务器端接收到用户终端中Objecter模块发送的数据请求消息,并基于该数据请求消息确定所要请求的目标访问数据,然后将目标访问数据与缓存装置中的数据进行对比,如果缓存装置中不包括目标访问数据,则向所述用户终端发送存储装置中的所述目标访问数据,以此来减少缓存操作对I/O时延的影响。其中,缓存装置中还包括Filter模块、Promotion模块和Agent模块;Promotion模块负责将目标访问数据从存储装置中传输至缓存装置中,Agent模块负责将缓存装置中的脏数据即被修改过的数据传输至存储装置中或者将缓存装置中的冷数据即访问次数小的数据清除,从而提高存储资源的利用率和用户终端的数据访问命中率。步骤S103、提取所述存储装置中的所述目标访问数据的参数信息,并判断所述目标访问数据的参数信息是否与预设的参数条件匹配。该步骤中,上述参数信息可以是包括访问次数,也可以是同时包括访问次数和访问时间;如果参数信息为访问次数,判断访问次数是否大于或者等于预设的第一阈值,若所述访问次数大于或者等于预设的第一阈值,向所述缓存装置传输所述目标访问数据,其中,第一阈值可以是3次、5次、6次等,这样就可以把访问频繁的数据传输到缓存装置中以便于用户终端直接访问,因缓存装置中存储的都是访问频繁的数据,从而可以减少缓存污染的问题。如果参数信息同时包括访问次数和访问时间,判断目标访问数据的访问次数是否大于或者等于预设第二阈值且所述目标访问数据的访问时间是否在预设周期内,若目标访问数据的访问次数大于或者等于预设第二本文档来自技高网...

【技术保护点】
1.一种数据缓存的方法,其特征在于,所述方法包括:接收用户终端发送的数据请求消息;若检测到缓存装置设备中不包括所述数据请求消息请求的目标访问数据,则向所述用户终端发送存储装置中的所述目标访问数据;提取所述存储装置中的所述目标访问数据的参数信息,并判断所述目标访问数据的参数信息是否与预设的参数条件匹配;若所述目标访问数据的参数信息与预设的参数条件匹配,向所述缓存装置传输所述目标访问数据。

【技术特征摘要】
1.一种数据缓存的方法,其特征在于,所述方法包括:接收用户终端发送的数据请求消息;若检测到缓存装置设备中不包括所述数据请求消息请求的目标访问数据,则向所述用户终端发送存储装置中的所述目标访问数据;提取所述存储装置中的所述目标访问数据的参数信息,并判断所述目标访问数据的参数信息是否与预设的参数条件匹配;若所述目标访问数据的参数信息与预设的参数条件匹配,向所述缓存装置传输所述目标访问数据。2.根据权利要求1所述的方法,其特征在于,所述参数信息包括访问次数,所述若所述目标访问数据的参数信息与预设的参数条件匹配,向所述缓存装置传输所述目标访问数据的步骤,包括:若所述目标访问数据的访问次数大于或者等于预设第一阈值,向所述缓存装置传输所述目标访问数据。3.根据权利要求1所述的方法,其特征在于,所述参数信息包括访问次数和访问时间,所述若所述目标访问数据的参数信息与预设的参数条件匹配,向所述缓存装置传输所述目标访问数据的步骤,包括:若所述目标访问数据的访问次数大于或者等于预设第二阈值且所述目标访问数据的访问时间在预设周期内,向所述缓存装置传输所述目标访问数据。4.根据权利要求1至3中任一项所述的方法,其特征在于,所述向所述缓存装置传输所述目标访问数据的步骤之后,所述方法还包括:检测所述缓存装置的缓存占用率;若所述缓存占用率大于或者等于预设第三阈值,清除所述缓存装置中访问次数小于或者等于预设第四阈值的数据和/或向所述存储装置传输所述缓存装置中已修改过的数据。5.根据权利要求1至3中任一项所述的方法,其特征在于,所述向所述缓存装置传输所述目标访问数据的步骤之后,所述方法还包括:将所述缓存装置内存中的缓存信息冗余备份至缓存装置的持久化存储设备;若检测到所述缓存装...

【专利技术属性】
技术研发人员:张广艳杨洪章吴桂勇罗圣美
申请(专利权)人:中兴通讯股份有限公司清华大学
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1