【技术实现步骤摘要】
数据存储方法、系统、装置、设备及存储介质
[0001]本公开涉及计算机
,尤其涉及分布式数据存储领域,具体涉及一种数据存储方法、系统、装置、设备及存储介质。
技术介绍
[0002]为降低图片下载所需带宽,用户通常存在下载图片的缩略图以及在线预览图片的需求。为了满足用户需求,服务端可以将图片原图进行压缩,转换成客户端展现需要的分辨率,即数据量较小的文件。
[0003]并且,为了保证较低时延,需要将图片的缩略图以及在线预览请求所请求的图片,预先存储在服务端。
技术实现思路
[0004]本公开提供了一种数据存储方法、系统、装置、设备以及存储介质。
[0005]根据本公开的一方面,提供了一种数据存储方法,应用于键值KV存储系统中的代理服务器;所述KV存储系统还包括多个存储服务器;所述方法包括:
[0006]获取作为值value的待存储文件,以及所述待存储文件的键key;
[0007]基于所述key,从多个数据库DB单元中,选取目标DB单元;其中,所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程;
[0008]确定所述目标DB单元所位于的存储服务器,作为目标服务器;
[0009]向所述目标服务器发送所述待存储文件和key,以使所述目标服务器调用所述目标DB单元,以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间,并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
[0010]根据本公开的另一方面,提供了 ...
【技术保护点】
【技术特征摘要】
1.一种数据存储方法,应用于键值KV存储系统中的代理服务器;所述KV存储系统还包括多个存储服务器;所述方法包括:获取作为值value的待存储文件,以及所述待存储文件的键key;基于所述key,从多个数据库DB单元中,选取目标DB单元;其中,所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程;确定所述目标DB单元所位于的存储服务器,作为目标服务器;向所述目标服务器发送所述待存储文件和key,以使所述目标服务器调用所述目标DB单元,以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间,并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。2.根据权利要求1所述的方法,其中,所述基于所述key,从多个数据库DB单元中,选取目标DB单元,包括:对所述key进行哈希运算,得到待利用哈希值;根据关于哈希值与DB单元的映射关系,以及所述待利用哈希值,从多个DB单元中,确定目标DB单元。3.根据权利要求2所述的方法,其中,所述根据关于哈希值与DB单元的映射关系,以及所述待利用哈希值,从多个DB单元中,确定目标DB单元,包括:从关于哈希值与DB单元的映射关系中,确定所述待利用哈希值对应的DB单元,作为备选单元;检测所述备选单元是否符合预定条件,所述预定条件为分裂为至少两个从属单元;如果否,将所述备选单元,确定为目标DB单元;如果是,按照预定的从属单元确定方式,从所述备选单元的各个从属单元中,选取待利用的从属单元,作为所述目标DB单元。4.根据权利要求1
‑
3任一项所述的方法,所述确定所述目标DB单元所位于的存储服务器,作为目标服务器之后,所述方法还包括:向所述目标服务器发送所述目标DB单元的标识,以使所述目标服务器基于所接收到的标识,确定所述目标DB单元。5.根据权利要求1
‑
3任一项所述的方法,其中,所述获取作为值value的待存储的待存储文件,以及所述待存储文件的键key,包括:获取业务方发送的作为值value的待存储的待存储文件,以及所述待存储文件的key;其中,所述key为所述业务方按照预定的生成规则所生成。6.根据权利要求1
‑
3任一项所述的方法,其中,所述方法还包括:当所述KV存储系统进行集群扩容后,按照负载均衡原则,从多个DB单元中,选取待迁移DB单元;确定待迁移DB单元所位于的存储服务器,作为指定服务器;向所述指定服务器发送针对所述待迁移DB单元的迁移指令,以使所述指定服务器将所述待迁移DB单元和所述待迁移进程所申请的数据块空间的数据,对应迁移到扩容服务器中。7.一种数据存储方法,应用于键值KV存储系统中的目标服务器,所述目标服务器为所述KV存储系统中的任一存储服务器,所述KV存储系统还包括代理服务器;所述方法包括:
获取所述代理服务器下发的作为值value的待存储文件,以及所述待存储文件的key;从预先初始化的DB单元中,确定所述目标DB单元;调用所述目标DB单元,以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间,并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。8.根据权利要求7所述的方法,其中,调用所述目标DB单元,以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间,并记录所述key和写入有所述待存储文件的空间位置信息的对应关系,包括:调用所述目标DB单元,以按照顺序写入空间的规则,将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间,并在预设的用于存储键的存储引擎中,记录所述key和写入有所述待存储文件的空间位置信息的对应关系。9.根据权利要求8所述的方法,还包括:在任一DB单元所申请的数据块空间满足数据淘汰条件时,从满足数据淘汰条件的第一数据块空间中,选取预定比例的文件;其中,所述预定比例的文件的写入时间均早于所述第一数据块空间中的其他文件;删除所述预定比例的文件。10.根据权利要求9所述的方法,还包括:在任一DB单元所申请的数据块空间中的指定文件,存在读取操作时,调用该DB单元...
【专利技术属性】
技术研发人员:李磊,陈亮,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。