【技术实现步骤摘要】
数据的存储方法、装置、系统及电子设备
[0001]本专利技术涉及数据存储的
,尤其是涉及一种数据的存储方法、装置、系统及电子设备。
技术介绍
[0002]文件系统的核心是数据的可靠存储。写入文件系统的数据要能在系统重启之后正确无误的读取出来,否则就是一个不可靠的文件系统。
[0003]单机文件系统能保证在硬盘,机器正常的场景下可靠的存储数据;作为面向大容量高并发场景下的分布式文件系统,能够在单机文件系统的基础上提供即使出现硬盘级别,机器级别的故障,也能保证用户成功写入的数据后,仍然正常的读取。
[0004]因此,分布式文件系统通常通过多副本来保证数据的可靠性,而分布式文件系统通常由客户端和服务端组成,客户端写入数据时需要先跟服务端通讯,获取到数据需要写入的存储节点地址,然后通过流水线方式依次完成多节点的数据写入。但是,由于数据需要在每个存储节点依次复制,只有最后一个存储节点成功返回存储完成后,才最终返回到客户端,会导致较高的延时,并且,由于需要节点全部成功才能返回客户端,如果最后一个节点失败,会导致整个 ...
【技术保护点】
【技术特征摘要】
1.一种数据的存储方法,其特征在于,应用于客户端,所述客户端与服务端通信,所述方法包括:接收所述服务端根据数据写入请求返回的存储地址列表,其中,所述存储地址列表包括至少一个数据存储节点,以及每个所述数据存储节点的地址;基于所述存储地址列表向所述服务端并发发送待存储数据,以使所述服务端在所述数据存储节点中对所述待存储数据进行并发存储处理;接收所述服务端返回的存储反馈信息,其中,所述服务端被配置为在任意一个所述数据存储节点存储完成后均向所述客户端发送所述存储反馈信息;记录所述存储反馈信息的条数,如果所述存储反馈信息的条数超过所述数据存储节点的数量对应的数量阈值,则确定所述待存储数据存储完成。2.根据权利要求1所述的方法,其特征在于,接收所述服务端根据数据写入请求返回的存储地址列表之前,所述方法还包括:如果监测到用户输入的数据写入操作,向所述服务端发送数据写入请求。3.根据权利要求1所述的方法,其特征在于,基于所述存储地址列表向所述服务端并发发送待存储数据的步骤包括:提取每个所述数据存储节点的地址;基于所述地址向每个所述数据存储节点并发发送所述待存储数据。4.根据权利要求1所述的方法,其特征在于,接收所述服务端根据所述数据写入请求返回的存储地址列表之后,所述方法还包括:统计所述存储地址列表中包括的所述数据存储节点的数量;根据所述数据存储节点的数量确定所述数量阈值。5.根据权利要求4所述的方法,其特征在于,根据所述数据存储节点的数量确定所述数量阈值的步骤包括:计算所述数据存储节点的数量的一半对应的值;将所述数据存储节点的数量的一半对应的值确定为所述数量阈值。6.根据权利要求1所述的方法,其特征在于,确定所述待存储数据存储完成之后,所述方法还包括:向所述服务端反馈存储完成的信息,以使所述服务端发起副本恢复操作,在至少一个所述数据存储节点中完成对所述待存储数据进行存储。7.一种数据的存储方法,其特征在于,应用于服务端,所述服务端与客户端通信,所述方法包括:接收所述客户端发送的数据写入请求,其中,所述数据写入请求为所述客户端监测到用户输入的数据写入操作时发送的;获取预先存储的存储地址列表,其中,所述存储地址列表包括至少一个当前可用的数据存储节点,以及每个所述数据存储节点的地址;将所述存储地址列表发送至所述客户端,以使所述客户端基于所述存储地址列表向所述服务端并发发送待存储数据;通过至少一个所述数据存储节点接收所述待存储数据,在至少一个所述数据存储节点中对所述待存储数据进行并发存储处理,并在监测到任意一个所述数据存储节点存储完成
后均向所述客户端发送存储反馈信息,以使所述客户端记录所述存储反馈信息的条数,并在所述存储反馈信息的条数超过所述数据存储节点的数量对应的数量阈值时确定所述待存储数据存储完成。8.根据权利要求7所述的方法,其特征在于,所述方法还包...
【专利技术属性】
技术研发人员:邱涛,
申请(专利权)人:北京金山云网络技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。