数据写入方法、装置及系统制造方法及图纸

技术编号:14880103 阅读:55 留言:0更新日期:2017-03-24 02:54
本发明专利技术提供的一种数据写入方法、装置及系统,涉及数据存储技术领域,可以实现在对象存储中支持流式写入数据。所述方法包括:服务端接收流式数据的写入请求,所述写入请求中携带有所述流式数据对应的文件标识;根据所述文件标识,确定与所述流式数据对应的上传标识和可用分片标识并发送给客户端;接收所述流式数据对应的分片数据,以及与所述分片数据对应的上传标识和可用分片标识,所述服务端每次接收到的分片数据的分片长度不受约束限制;根据所述上传标识和可用分片标识,对所述分片数据进行存储。本发明专利技术适用于数据的写入。

【技术实现步骤摘要】

本专利技术涉及数据存储
,尤其涉及一种数据写入方法、装置及系统
技术介绍
随着互联网的发展,对象存储越来越受到关注。对象存储与文件存储不同,对象不以目录分层结构进行组织,而是每个对象都位于被称为存储池的扁平空间的相同层级,每一级的每个元素在存储系统中都有唯一的标识,用户通过这个标识来访问容器或者对象。流式写入是指以流的方式进行写入,写入者并不知道数据的边界,也不确定每次产生的字节流的长度。目前,对象存储支持两种写入方式,第一种是一次性上传整个文件,第二种是分片上传,即将一个文件切分成多个分片进行上传。然而,专利技术人在实现专利技术的过程中发现了,一次性上传整个文件不能用于流式写入,因为流式写入是多次的上传操作而不是一次性的;且分片上传也不能用于流式写入,因为其约束是除了最后一个分片之外,其余分片的长度必须一致,而流式写入的每次写入长度是不确定的。因此,由于上述两种方式都不能用于流式写入,进而造成在对象存储中不支持流式写入。
技术实现思路
本专利技术实施例提供了一种数据写入方法、装置及系统,用以解决现有技术中对象存储中不支持流式写入的问题。针对现有技术存在的问题,本专利技术实施例本文档来自技高网...
数据写入方法、装置及系统

【技术保护点】
一种数据写入方法,其特征在于,包括:服务端接收流式数据的写入请求,所述写入请求中携带有所述流式数据对应的文件标识;根据所述文件标识,确定与所述流式数据对应的上传标识和可用分片标识并进行发送;接收所述流式数据对应的分片数据,以及与所述分片数据对应的上传标识和可用分片标识,所述服务端每次接收到的分片数据的分片长度不受约束限制;根据所述上传标识和可用分片标识,对所述分片数据进行存储。

【技术特征摘要】
1.一种数据写入方法,其特征在于,包括:服务端接收流式数据的写入请求,所述写入请求中携带有所述流式数据对应的文件标识;根据所述文件标识,确定与所述流式数据对应的上传标识和可用分片标识并进行发送;接收所述流式数据对应的分片数据,以及与所述分片数据对应的上传标识和可用分片标识,所述服务端每次接收到的分片数据的分片长度不受约束限制;根据所述上传标识和可用分片标识,对所述分片数据进行存储。2.根据权利要求1所述的数据写入方法,其特征在于,所述根据所述文件标识,确定与所述流式数据对应的上传标识和可用分片标识,具体包括:检测是否存在与所述文件标识对应的上传标识;若存在,则根据所述上传标识对应的已存储分片数据的分片标识,确定所述流式数据对应的可用分片标识;若不存在,则分配与所述流式数据对应的上传标识和可用分片标识。3.根据权利要求1或2所述的数据写入方法,其特征在于,所述方法还包括:根据所述流式数据对应的上传标识,检测是否存在上传失败分片数据;若存在,则发送所述上传失败分片数据的确认信息,所述确认信息中包含与所述上传失败分片数据对应的失败分片标识;若接收到确认丢失信息,则根据所述失败分片标识进行相应记录;若接收到所述上传失败分片数据,则根据所述失败分片标识,对所述上传失败分片数据进行存储。4.根据权利要求1所述的数据写入方法,其特征在于,所述方法还包括:接收所述分片数据对应的分片长度;检测所述分片长度是否大于零;若否,则确定所述分片数据上传失败并发送上传失败响应信息。5.一种数据写入方法,其特征在于,包括:客户端发送流式数据的写入请求,所述写入请求中携带有所述流式数据对应的文件标识;接收所述流式数据对应的上传标识和可用分片标识;根据所述上传标识和可用分片标识,发送所述流式数据对应的分片数据,以及与所述分片数据对应的上传标识和可用分片标识,所述客户端每次发送的分片数据的分片长度不受约束限制。6.根据权利要求5所述的数据写入方法,其特征在于,所述方法还包括:接收上传失败分片数据的确认信息,所述确认信息中包含与所述上传失败分片数据对应的失败分片标识;检测是否缓存有与所述失败分片标识对应的分片数据;若是,则将所述分片数据和与所述分片数据对应的失败分片标识进行重新发送;若否,则根据所述失败分片标识输出提示信息,所述提示信息用于提示确认与所述失败分片标识对应的分片数据是否丢失;根据用户输入的确认指令,发送确认丢失信息。7.根据权利要求5所述的数据写入方法,其特征在于,所述根据所述上传标识和可用分片标识,发送所述流式数据对应的分片数据,以及与所述分片数据对应的上传标识和可用分片标识之后,所述方法还包括:若在预设时间段内未接收到上传成功响应信息,则对所述分片数据进行重新发送,所述分片数据的分片长度与所述分片数据上一次发送时的分片长度保持一致。8.一种服务端,其特征在于,包括:接收单元,用于接收流式数据的写入请求,所述写入请求中携带有所述流式数据对应的文件标识;确定单元,用于根据所述文件标识,确定与所述流式数据对应的上传标识和可用分片标识;发送单元,用于发送所述确定单元确定的与所述流式数据对应的上传标识和可用分片标识;所述接收单元,还用于接...

【专利技术属性】
技术研发人员:吴兴义
申请(专利权)人:乐视控股北京有限公司乐视云计算有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1