一种数据处理方法、服务器及系统技术方案

技术编号:13545179 阅读:40 留言:0更新日期:2016-08-18 10:19
本发明专利技术实施例提供一种数据处理方法、服务器及系统,该方法包括:接收终端发送的对目标数据的处理请求;查找本地是否缓存有所述目标数据;若本地未缓存有所述目标数据,则向存储所述目标数据的分布式存储系统请求所述目标数据;根据所述处理请求处理所述目标数据,并将处理结果反馈给所述终端。本发明专利技术实施例能够降低分布式存储系统的读取压力,为保障分布式存储系统的性能提供可能。

【技术实现步骤摘要】
201610184099

【技术保护点】
一种数据处理方法,其特征在于,包括:接收终端发送的对目标数据的处理请求;查找本地是否缓存有所述目标数据;若本地未缓存有所述目标数据,则向存储所述目标数据的分布式存储系统请求所述目标数据;根据所述处理请求处理所述目标数据,并将处理结果反馈给所述终端。

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:接收终端发送的对目标数据的处理请求;查找本地是否缓存有所述目标数据;若本地未缓存有所述目标数据,则向存储所述目标数据的分布式存储系统请求所述目标数据;根据所述处理请求处理所述目标数据,并将处理结果反馈给所述终端。2.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:接收终端上传的文件块内容数据及文件块元信息,一个文件块元信息对应至少一个文件块内容数据;将所述文件块内容数据写入对应的分布式文件内容存储系统,并在本地的第一存储装置中缓存所述文件块内容数据;及将所述文件块元信息写入对应的分布式元信息存储系统,并在本地的第二存储装置中缓存所述文件块元信息。3.根据权利要求2所述的数据处理方法,其特征在于,所述目标数据包括目标文件块元信息;所述查找本地是否缓存有所述目标数据包括:查找本地的第二存储装置中是否缓存有目标文件块元信息;所述若本地未缓存有所述目标数据,则向存储所述目标数据的分布式存储系统请求所述目标数据包括:若所述第二存储装置未缓存有所述目标文件块元信息,则向分布式元信息存储系统请求所述目标文件块元信息,并将请求的目标文件块元信息缓存在所述第二存储装置中。4.根据权利要求2所述的数据处理方法,其特征在于,所述在本地的第一存储装置中缓存所述文件块内容数据包括:将文件块内容数据缓存在所述第一存储装置中,并在所述第二存储装置中建立相应索引,所述索引指示有各文件块内容数据在第一存储装置中的对应存储位置。5.根据权利要求4所述的数据处理方法,其特征在于,所述索引记
\t录有文件块内容数据的文件名及目录名;所述文件名以文件块内容数据的键信息命名,所述目录名以所述文件名对应的二进制前缀的N位字符命名;其中,文件块内容数据分配存储在所述第一存储装置中与对应目录名相应的存储区域中,所述第一存储装置根据至少一个目录名划分有至少一个存储区域,一个目录名对应至少一个存储区域。6.根据权利要求4所述的数据处理方法,其特征在于,所述目标数据包括目标文件块内容数据;所述若本地未缓存有所述目标数据,则向存储所述目标数据的分布式存储系统请求所述目标数据包括:若所述第一存储装置中未缓存有所述目标文件块内容数据,获得所述目标文件块内容数据对应的目标文件块元信息;所述目标文件块元信息记录有第一信息,所述第一信息用于确定所述目标文件块内容数据在所述分布式文件内容存储系统中的存储位置;根据所述第一信息,向所述分布式文件内容存储系统请求与所述存储位置相应的目标文件块内容数据。7.根据权利要求6所述的数据处理方法,其特征在于,所述目标文件块元信息包括键信息和值信息,所述值信息至少包含所述第一信息;所述获得所述目标文件块内容数据对应的目标文件块元信息包括:确定所述目标文件块内容数据的键信息,根据所述键信息确定所述第二存储装置中缓存的对应的目标文件块元信息。8.根据权利要求6所述的数据处理方法,其特征在于,所述将所述文件块内容数据写入对应的分布式文件内容存储系统包括:将连续接收的多个文件块内容数据打包成内容容器,...

【专利技术属性】
技术研发人员:王敏李明强郑阳赵鑫唐云
申请(专利权)人:联想北京有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1