数据访问方法和装置制造方法及图纸

技术编号:11642303 阅读:126 留言:0更新日期:2015-06-24 19:41
本发明专利技术提出一种数据访问方法和装置,该数据访问方法包括:接收应用程序的数据访问请求;根据所述数据访问请求查找所述应用程序请求访问的数据块;如果在访问速度较快的存储介质中未查找到所述应用程序请求访问的数据块,则在访问速度较慢的存储介质中查找所述应用程序请求访问的数据块,并将查找到的数据块填充到所述访问速度较快的存储介质的需要淘汰的数据块所占用的存储空间中,以供所述应用程序访问。本发明专利技术充分发挥了混合存储介质的优点,有效地降低了存储的成本,同时提高了单位数据访问的吞吐和性能。

【技术实现步骤摘要】

本专利技术涉及互联网
,尤其涉及一种数据访问方法和装置
技术介绍
为了节省存储,互联网公司逐步从原来的专用配置机型采购向混用型配置机型采购转变。混用型机型不像专用配置机型只能限定应用在某些特定的应用场景和业务,因此具有更高效的利用率和更廉价的业务产出成本,因此也具有更广阔的生产应用前景。在混用型配置机型中,为了能适应更多的业务需求,一般配置了大内存(128GB)、固态硬盘(Solid State Drive ;以下简称:SSD)和串行高级技术附件(Serial AdvancedTechnology Attachment ;以下简称:SATA)。这样,不同性能需求的应用可以混合部署在一起,各自使用不同介质的存储介质。然而,对于存储型应用或者数据处理型应用,因为需要大量数据存储,只能采用SATA介质,但却无法调用SSD或者内存来所带来的性能收益;如果全部采用SSD,又受限于单位容量成本高而不得不增加额外机器的预算。因此,在单位数据访问的吞吐和性能,以及存储容量上很难做到双赢。
技术实现思路
本专利技术的目的旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本专利技术的第一个目的在于提出一种数据访问方法,该方法充分发挥了混合存储介质的优点,有效地降低了存储的成本,同时提高了单位数据访问的吞吐和性能。本专利技术的第二个目的在于提出一种数据访问装置。为了实现上述目的,本专利技术第一方面实施例的数据访问方法,包括:接收应用程序的数据访问请求;根据所述数据访问请求查找所述应用程序请求访问的数据块;如果在访问速度较快的存储介质中未查找到所述应用程序请求访问的数据块,则在访问速度较慢的存储介质中查找所述应用程序请求访问的数据块,并将查找到的数据块填充到所述访问速度较快的存储介质的需要淘汰的数据块所占用的存储空间中,以供所述应用程序访问。本专利技术实施例的数据访问方法,接收应用程序的数据访问请求之后,如果在访问速度较快的存储介质中未查找到上述应用程序请求访问的数据块,则在访问速度较慢的存储介质中查找上述应用程序请求访问的数据块,并将查找到的数据块填充到上述访问速度较快的存储介质的需要淘汰的数据块所占用的存储空间中,以供上述应用程序访问,从而可以充分发挥混合存储介质的优点,有效地降低了存储的成本,同时提高了单位数据访问的吞吐和性能。为了实现上述目的,本专利技术第二方面实施例的数据访问装置,包括:接收模块,用于接收应用程序的数据访问请求;查找模块,用于根据所述接收模块接收的数据访问请求查找所述应用程序请求访问的数据块;以及当在访问速度较快的存储介质中未查找到所述应用程序请求访问的数据块时,在访问速度较慢的存储介质中查找所述应用程序请求访问的数据块;填充模块,用于将所述查找模块查找到的数据块填充到所述访问速度较快的存储介质的需要淘汰的数据块所占用的存储空间中,以供所述应用程序访问。本专利技术实施例的数据访问装置,接收模块接收应用程序的数据访问请求之后,如果查找模块在访问速度较快的存储介质中未查找到上述应用程序请求访问的数据块,则在访问速度较慢的存储介质中查找上述应用程序请求访问的数据块,然后填充模块将查找到的数据块填充到上述访问速度较快的存储介质的需要淘汰的数据块所占用的存储空间中,以供上述应用程序访问,从而可以充分发挥混合存储介质的优点,有效地降低了存储的成本,同时提高了单位数据访问的吞吐和性能。本专利技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本专利技术的实践了解到。【附图说明】本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:图1为本专利技术数据访问方法一个实施例的流程图;图2为本专利技术数据块管理一个实施例的示意图;图3为本专利技术三层存储结构一个实施例的示意图;图4为本专利技术数据访问装置一个实施例的结构示意图;图5为本专利技术数据访问装置另一个实施例的结构示意图。【具体实施方式】下面详细描述本专利技术的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本专利技术,而不能理解为对本专利技术的限制。相反,本专利技术的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。图1为本专利技术数据访问方法一个实施例的流程图,如图1所示,该数据访问方法可以包括:步骤101,接收应用程序的数据访问请求。步骤102,根据上述数据访问请求查找上述应用程序请求访问的数据块。步骤103,如果在访问速度较快的存储介质中未查找到上述应用程序请求访问的数据块,则在访问速度较慢的存储介质中查找上述应用程序请求访问的数据块,并将查找到的数据块填充到上述访问速度较快的存储介质的需要淘汰的数据块所占用的存储空间中,以供上述应用程序访问。本实施例的一种实现方式中,上述访问速度较慢的存储介质可以为远程存储(Global Storage);上述访问速度较快的存储介质可以为本地磁盘,其中,本地磁盘可以包括SSD、闪存(flash)和硬盘(disk);上述方法还包括:当在本地磁盘中发现需要淘汰的数据块时,将上述需要淘汰的数据块对应的元数据位的值标示为空闲(free)。这样,步骤103中,在访问速度较慢的存储介质中查找上述应用程序请求访问的数据块,并将查找到的数据块填充到上述访问速度较快的存储介质的需要淘汰的数据块所占用的存储空间中可以为:触发远程过程调用协议(Remote Procedure Call Protocol ;以下简称:RPC)调用远程存储,在上述远程存储中查找上述应用程序请求访问的数据块,并将查找到的数据块传输到本地磁盘,填充到本地磁盘中标示为空闲的元数据位对应的数据块所占用的存储空间。本实施例的另一种实现方式中,上述访问速度较慢的存储介质可以为本地磁盘,其中,本地磁盘可以包括SSD、闪存(flash)和硬盘(Disk);上述访问速度较快的存储介质可以为内存;这样,步骤103中,在访问速度较慢的存储介质中查找上述应用程序请求访问的数据块,并将查找到的数据块填充到上述访问速度较快的存储介质的需要淘汰的数据块所占用的存储空间中可以为:在本地磁盘中查找上述应用程序请求访问的数据块;如果查找到上述应用程序请求访问的数据块,则将查找到的数据块填充到上述内存需要淘汰的数据块所占用的存储空间中。进一步地,在上述本地磁盘中查找应用程序请求访问的数据块之后,如果未查找到上述应用程序请求访问的数据块,则触发RPC调用远程存储,在远程存储中查找上述应用程序请求访问的数据块,并将查找到的数据块传输到本地磁盘,再将查找到的数据块从上述本地磁盘调度到内存,填充到内存需要淘汰的数据块所占用的存储空间中。本实施例中,数据块会根据冷热程度调度到当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种数据访问方法,其特征在于,包括:接收应用程序的数据访问请求;根据所述数据访问请求查找所述应用程序请求访问的数据块;如果在访问速度较快的存储介质中未查找到所述应用程序请求访问的数据块,则在访问速度较慢的存储介质中查找所述应用程序请求访问的数据块,并将查找到的数据块填充到所述访问速度较快的存储介质的需要淘汰的数据块所占用的存储空间中,以供所述应用程序访问。

【技术特征摘要】

【专利技术属性】
技术研发人员:覃安颜世光李康徐佩林谭待
申请(专利权)人:百度在线网络技术北京有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1