数据访问方法和装置制造方法及图纸

技术编号:32027665 阅读:28 留言:0更新日期:2022-01-27 12:38
本申请公开了一种数据访问方法和装置,应用于存储服务器,该存储服务器包括至少两个磁盘组,每个磁盘组包括至少一个磁盘,在该方法中存储服务器获得电子设备发送的数据访问请求,该数据访问请求用于请求访问数据资源;基于该数据访问请求,生成用于表征该数据资源的信息摘要;如内存中缓存有该信息摘要对应的存储标记,基于该数据访问请求,生成用于表征该数据资源的哈希值;基于一致性哈希算法,从该至少两个磁盘组中,确定该哈希值所映射到的目标磁盘组;从该目标磁盘组中查找该数据资源;将查找到的该数据资源返回给该电子设备。本申请的方案可以提高数据存储的可靠性,提高了数据存储性能。据存储性能。据存储性能。

【技术实现步骤摘要】
数据访问方法和装置


[0001]本申请涉及数据处理
,尤其涉及一种数据访问方法和装置。

技术介绍

[0002]电子设备通过访问网络服务器可以获得各种类型的数据资源,如,图片、文本或者视频等等。但电子设备直接向网络服务器请求数据资源,可能需要经过多层路由,导致数据访问效率较低。
[0003]为了提高数据访问效率,在很多数据访问场景中会单独设置存储服务器,如,在一些公司的局域网内可以设置用于缓存数据的存储服务器,或者是,基于内容分布网络部署存储服务器等。具体的,电子设备在向存储服务器发送数据资源请求后,如果存储服务器中存储有该数据资源请求对应的数据资源,则可以直接将本地存储的该数据资源返回给该电子设备,而无需再向网络服务器请求数据资源;如果存储服务器中不存在该数据资源,则会向网络服务器请求该数据资源并返回给该电子设备,同时,存储服务器会在本地保存该数据资源。
[0004]可见,如果存储服务器的数据处理和存储性能较差,不仅会影响到数据访问效率,还可能会增加存储服务器向网络服务器请求数据资源的次数,从而导致网络资源耗费,因此,如何提高存储服务器的数据处理和存储性能是本领域技术人员需要解决的技术问题。

技术实现思路

[0005]有鉴于此,本申请提供了一种数据访问方法和装置,以提高存储服务器的数据存储性能。
[0006]为实现上述目的,本申请提供了如下技术方案:
[0007]一方面,本申请提供了一种数据访问方法,应用于存储服务器,所述存储服务器包括至少两个磁盘组,每个磁盘组包括至少一个磁盘,所述方法包括:
[0008]获得电子设备发送的数据访问请求,所述数据访问请求用于请求访问数据资源;
[0009]基于所述数据访问请求,生成用于表征所述数据资源的信息摘要;
[0010]如内存中缓存有所述信息摘要对应的存储标记,基于所述数据访问请求,生成用于表征所述数据资源的哈希值,所述存储标记表明所述存储服务器中存储有所述数据资源;
[0011]基于一致性哈希算法,从所述至少两个磁盘组中,确定所述哈希值所映射到的目标磁盘组;
[0012]从所述目标磁盘组中查找所述数据资源;
[0013]将查找到的所述数据资源返回给所述电子设备。
[0014]优选的,所述数据访问请求携带有请求访问的数据资源的数据资源名称;
[0015]所述基于所述数据访问请求,生成用于表征所述数据资源的信息摘要,包括:
[0016]生成所述数据访问请求的信息摘要;
[0017]或者,生成所述数据访问请求中所述数据资源名称的信息摘要。
[0018]优选的,所述从所述目标磁盘组中查找所述数据资源,包括:
[0019]基于所述信息摘要以及设定的目录构建规则,构建出所述数据资源在所述目标磁盘组中的存储路径;
[0020]依据所述存储路径,从所述目标磁盘组中查找所述数据资源。
[0021]优选的,所述基于所述信息摘要以及设定的目录构建规则,构建出所述数据资源在所述目标磁盘组中的存储路径,包括:
[0022]将所述目标磁盘组的名称确定为根目录;
[0023]依据所述信息摘要以及多级目录构建规则,构建出所述根目录下的至少两层子目录;
[0024]将所述信息摘要确定为存储路径中的文件名称,并将所述根目录、所述至少两层子目录以及所述文件名称拼接为存储路径。
[0025]优选的,所述磁盘组包括由至少两个磁盘构成的独立磁盘冗余阵列;
[0026]所述从所述目标磁盘组中查找所述数据资源,包括:
[0027]从所述目标磁盘组的独立磁盘冗余阵列中获得所述数据资源。
[0028]优选的,所述内存中缓存有所述信息摘要对应的存储标记包括:
[0029]所述内存中缓存有所述信息摘要对应的文件更新时间。
[0030]优选的,还包括:
[0031]如内存中未缓存有所述信息摘要对应的存储标记,依据所述数据访问请求向网络服务器请求所述数据资源;
[0032]获得所述网络服务器返回的所述数据资源;
[0033]基于所述数据访问请求,生成用于表征所述数据资源的哈希值;
[0034]基于一致性哈希算法,从所述至少两个磁盘组中,确定所述哈希值所映射到的磁盘组;
[0035]将所述网络服务器返回的数据资源存储到所述哈希值所映射到的磁盘组;
[0036]在内存中缓存所述信息摘要对应的存储标记;
[0037]将所述网络服务器返回的数据资源发送给所述电子设备。
[0038]又一方面,本申请还提供了一种数据访问装置,应用于存储服务器,所述存储服务器包括至少两个磁盘组,每个磁盘组包括至少一个磁盘,所述装置包括:
[0039]请求获得单元,用于获得电子设备发送的数据访问请求,所述数据访问请求用于请求访问数据资源;
[0040]摘要生成单元,用于基于所述数据访问请求,生成用于表征所述数据资源的信息摘要;
[0041]第一哈希计算单元,用于如内存中缓存有所述信息摘要对应的存储标记,基于所述数据访问请求,生成用于表征所述数据资源的哈希值,所述存储标记表明所述存储服务器中存储有所述数据资源;
[0042]第一磁盘定位单元,用于基于一致性哈希算法,从所述至少两个磁盘组中,确定所述哈希值所映射到的目标磁盘组;
[0043]资源查找单元,用于从所述目标磁盘组中查找所述数据资源;
[0044]第一资源返回单元,用于将查找到的所述数据资源返回给所述电子设备。
[0045]优选的,所述请求获得单元获得的所述数据访问请求携带有请求访问的数据资源的数据资源名称;
[0046]所述摘要生成单元,具体为,用于生成所述数据访问请求的信息摘要;或者,生成所述数据访问请求中所述数据资源名称的信息摘要。
[0047]优选的,还包括:
[0048]资源请求单元,用于如内存中未缓存有所述信息摘要对应的存储标记,依据所述数据访问请求向网络服务器请求所述数据资源;
[0049]资源获得单元,用于获得所述网络服务器返回的所述数据资源;
[0050]第二哈希计算单元,用于基于所述数据访问请求,生成用于表征所述数据资源的哈希值;
[0051]第二磁盘定位单元,用于基于一致性哈希算法,从所述至少两个磁盘组中,确定所述哈希值所映射到的磁盘组;
[0052]资源存储单元,用于将所述网络服务器返回的数据资源存储到所述哈希值所映射到的磁盘组;
[0053]存储标记缓存单元,用于在内存中缓存所述信息摘要对应的存储标记;
[0054]第二资源返回单元,用于将所述网络服务器返回数据资源发送给所述电子设备。
[0055]由以上内容可知,本申请中存储服务器在基于数据访问请求生成用于表征该数据访问请求所请求的数据资源对应的信息摘要之后,通过检测内存中是否缓存有该信息摘要对应的存储标记便可以分析本地是否存储有该数据本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据访问方法,其特征在于,应用于存储服务器,所述存储服务器包括至少两个磁盘组,每个磁盘组包括至少一个磁盘,所述方法包括:获得电子设备发送的数据访问请求,所述数据访问请求用于请求访问数据资源;基于所述数据访问请求,生成用于表征所述数据资源的信息摘要;如内存中缓存有所述信息摘要对应的存储标记,基于所述数据访问请求,生成用于表征所述数据资源的哈希值,所述存储标记表明所述存储服务器中存储有所述数据资源;基于一致性哈希算法,从所述至少两个磁盘组中,确定所述哈希值所映射到的目标磁盘组;从所述目标磁盘组中查找所述数据资源;将查找到的所述数据资源返回给所述电子设备。2.根据权利要求1所述的方法,其特征在于,所述数据访问请求携带有请求访问的数据资源的数据资源名称;所述基于所述数据访问请求,生成用于表征所述数据资源的信息摘要,包括:生成所述数据访问请求的信息摘要;或者,生成所述数据访问请求中所述数据资源名称的信息摘要。3.根据权利要求1所述的方法,其特征在于,所述从所述目标磁盘组中查找所述数据资源,包括:基于所述信息摘要以及设定的目录构建规则,构建出所述数据资源在所述目标磁盘组中的存储路径;依据所述存储路径,从所述目标磁盘组中查找所述数据资源。4.根据权利要求3所述的方法,其特征在于,所述基于所述信息摘要以及设定的目录构建规则,构建出所述数据资源在所述目标磁盘组中的存储路径,包括:将所述目标磁盘组的名称确定为根目录;依据所述信息摘要以及多级目录构建规则,构建出所述根目录下的至少两层子目录;将所述信息摘要确定为存储路径中的文件名称,并将所述根目录、所述至少两层子目录以及所述文件名称拼接为存储路径。5.根据权利要求1所述的方法,其特征在于,所述磁盘组包括由至少两个磁盘构成的独立磁盘冗余阵列;所述从所述目标磁盘组中查找所述数据资源,包括:从所述目标磁盘组的独立磁盘冗余阵列中获得所述数据资源。6.根据权利要求1所述的方法,其特征在于,所述内存中缓存有所述信息摘要对应的存储标记包括:所述内存中缓存有所述信息摘要对应的文件更新时间。7.根据权利要求1至6任一项所述的方法,其特征在于,还包括:如内存中未缓存有所述信息摘要对应的存储标记,依据所述数据访问请求向网络服务器请求所述数据资源...

【专利技术属性】
技术研发人员:徐佳宏陈华兵黄金龙曾珂
申请(专利权)人:深圳市茁壮网络股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1