数据的续传方法和装置制造方法及图纸

本发明专利技术公开了一种数据的续传方法，包括：通过存储集群接收用户发送的文件查询请求，执行查询操作；对查询到的需要上传的文件进行检测，判断是否符合预设要求；若需要上传的文件符合预设要求，则执行上传并计算上传带宽；若需要上传的文件不符合预设要求，则将需要续传的文件的分块大小发送至用户，执行续传操作。上述数据的续传方法可适配用户的网络情况，避免用户反复重传已经传完的部分，节省用户流量。本公开还公开了一种数据的续传装置。

【技术实现步骤摘要】

本公开涉及计算机应用
，特别是涉及一种数据的续传方法和装置。
技术介绍
目前，对象存储在互联网的大潮中受到了广泛关注，并得到了迅速的发展。对象存储与文件存储不同，对象不以目录分层的结构进行组织。每个对象都位于被称为存储池的扁平的空间的相同层级，每一级的每个元素在存储系统中都有唯一的标识，用户通过这个标识来访问容器或者对象。采用扁平的数据组织结构抛弃了嵌套的文件夹，避免维护庞大的目录树。在大数据和互联网时代，存储的文件/对象超过上百万个，单位时间内的访问次数和并发访问量也达到了前所未有的量级，在这种情况下，目录树会给存储系统带来很大的开销和诸多问题，成为系统的瓶颈。另外一个让对象存储焕发生命力的因素是，对象存储不再提供POSIX兼容的接口(如open，close，read，write等)，而是可以非常方便地通过HTTP Restful API接口和对象进行交互:通过PUT和GET进行上传下载，通过DELETE进行删除。对象存储广泛用于存储视频、图片和日志都各种不同类型的文件，但是用户上传的网络环境各有不同:1.直接通过局域网上传到服务器的内部应用；2.通过主干网或者专线的跨IDC应用；3.通过小区宽带的公网应用；4.通过移动互联网接入的应用。但是，上述提到的四种环境网络带宽有很大不同且每种环境都可能出现网络抖动或者应用本身的bug导致文件上传到对象存储集群中失败的问题。此时，有必要处理用户的断点续传请求，即对于已经保存到存储服务器中的 数据，通知用户不需要重新上传，而是从终端处执行续传即可。在对象存储中，传统的断点续传方案都是通过规定一个固定的分块大小让用户上传，这种传统的方案不能适应当前复杂多变的网络环境，在用户网络较差的情况下，这种固定的分块策略会导致用户不断重试已经传完的部分，这样会造成对流量的极大浪费，并且严重威胁用户体验。
技术实现思路
基于此，有必要提供一种节省流量，避免重传的数据的续传方法和装置。一种数据的续传方法，该方法包括：存储集群接收用户发送的文件查询请求，执行查询操作；对查询到的需要上传的所述文件进行检测，判断是否符合预设要求；若需要上传的所述文件符合所述预设要求，则执行上传并计算上传带宽；若需要上传的所述文件不符合所述预设要求，则将需要续传的所述文件的分块大小发送至用户，执行续传操作。在其中一个实施例中，其中，所述存储集群接收用户发送的文件查询请求，执行查询操作包括：若查询到所述文件的上传编号，所述存储集群将所述文件已上传的各个分块的列表发送至用户；若没有查询到所述文件的所述上传编号，所述存储集群将具有标识的唯一的所述上传编号发送至用户，并设置所述文件已上传的各个分块的列表为空。在其中一个实施例中，其中，所述对查询到的需要上传的所述文件进行检测，判断是否符合预设要求包括：若上传的所述文件符合所述预设要求，记录与所述文件相关联的多个信息，其中，所述多个信息包括：用户发送的所述文件的上传请求时间、写入到磁盘的所述文件的大小、对所述文件写入到所述磁盘的结束时间；若上传的所述文件不符合所述预设要求，则将需要上传的所述文件的分 块大小发送至用户。在其中一个实施例中，其中，所述若需要上传的所述文件符合所述预设要求，则执行上传并计算上传带宽包括；根据用户发送的所述文件的上传请求时间、写入到磁盘的所述文件的大小、对所述文件写入到所述磁盘的结束时间计算用户上传所述文件的带宽；判断用户上传所述文件的所述带宽是否小于预设带宽；当用户上传所述文件的所述带宽小于所述预设带宽时，判定为低速网络，当用户上传所述文件的所述带宽大于等于所述预设带宽时，判定为高速网络。在其中一个实施例中，其中，所述若需要上传的所述文件不符合所述预设要求，则将需要续传的所述文件的分块大小发送至用户，执行续传操作包括：当用户上传所述文件的所述带宽判定为低速网络时，需要续传的所述文件的分块大小为预设值；当用户上传所述文件的所述带宽判定为高速网络时，设置需要续传的所述文件的分块大小，并将设置信息发送至用户；其中，用户接受所述设置信息，则按照设置的需要续传的所述文件的分块大小执行续传操作；用户不接受所述设置信息时，则将预设的所需要续传的所述文件的分块大小发送至所述存储集群。一种数据的续传装置，包括：查询模块，用于存储集群接收用户发送的文件查询请求，执行查询操作；检测模块，用于对查询到的需要上传的所述文件进行检测，判断是否符合预设要求；上传计算模块，用于若需要上传的所述文件符合所述预设要求，则执行上传并计算上传带宽；续传模块，用于若需要上传的所述文件不符合所述预设要求，则将需要续传的所述文件的分块大小发送至用户，执行续传操作。在其中一个实施例中，其中，所述查询模块包括：列表发送模块，用于若查询到所述文件的上传编号，所述存储集群将所述文件已上传的各个分块的列表发送至用户；列表设置模块，用于若没有查询到所述文件的所述上传编号，所述存储集群将具有标识的唯一的所述上传编号发送至用户，并设置所述文件已上传的各个分块的列表为空。在其中一个实施例中，其中，所述检测模块包括：记录模块，用于若上传的所述文件符合所述预设要求，记录与所述文件相关联的多个信息，其中，所述多个信息包括：用户发送的所述文件的上传请求时间、写入到磁盘的所述文件的大小、对所述文件写入到所述磁盘的结束时间；分块发送模块，用于若上传的所述文件不符合所述预设要求，则将需要上传的所述文件的分块大小发送至用户。在其中一个实施例中，其中，所述上传计算模块包括；计算模块，用于根据用户发送的所述文件的上传请求时间、写入到磁盘的所述文件的大小、对所述文件写入到所述磁盘的结束时间计算用户上传所述文件的带宽；判断模块，用于判断用户上传所述文件的所述带宽是否小于预设带宽；判定模块，用于当用户上传所述文件的所述带宽小于所述预设带宽时，判定为低速网络，当用户上传所述文件的所述带宽大于等于所述预设带宽时，判定为高速网络。在其中一个实施例中，其中，所述续传模块包括：第一续传模块，用于当用户上传所述文件的所述带宽判定为低速网络时，需要续传的所述文件的分块大小为预设值；分块设置模块，用于当用户上传所述文件的所述带宽判定为高速网络时，设置需要续传的所述文件的分块大小，并将设置信息发送至用户；其中，用户接受所述设置信息，则按照设置的需要续传的所述文件的分 块大小执行续传操作；用户不接受所述设置信息时，则将预设的所需要续传的所述文件的分块大小发送至所述存储集群。上述数据的续传方法和装置，通过存储集群接收用户发送的文件查询请求，执行查询操作；对查询到的需要上传的文件进行检测，判断是否符合预设要求；若需要上传的文件符合预设要求，则执行上传并计算上传带宽；若需要上传的文件不符合预设要求，则将需要续传的文件的分块大小发送至用户，执行续传操作。上述数据的续传方法可适配用户的网络情况，避免用户反复重传已经传完的部分，节省用户流量。附图说明图1是一个实施例中数据的续传方法的流程示意图；图2是一个实施例中数据的续传装置的结构示意图；以及图3是另一个实施例中数据的续传装置的结构示意图。具体实施方式为使本公开的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本公开进一步详细说明。应该理解，这些描述只是示例性的，本文档来自技高网...

【技术保护点】
一种数据的续传方法，该方法包括：存储集群接收用户发送的文件查询请求，执行查询操作；对查询到的需要上传的所述文件进行检测，判断是否符合预设要求；若需要上传的所述文件符合所述预设要求，则执行上传并计算上传带宽；若需要上传的所述文件不符合所述预设要求，则将需要续传的所述文件的分块大小发送至用户，执行续传操作。

【技术特征摘要】
1.一种数据的续传方法，该方法包括：存储集群接收用户发送的文件查询请求，执行查询操作；对查询到的需要上传的所述文件进行检测，判断是否符合预设要求；若需要上传的所述文件符合所述预设要求，则执行上传并计算上传带宽；若需要上传的所述文件不符合所述预设要求，则将需要续传的所述文件的分块大小发送至用户，执行续传操作。2.根据权利要求1所述的方法，其中，所述存储集群接收用户发送的文件查询请求，执行查询操作包括：若查询到所述文件的上传编号，所述存储集群将所述文件已上传的各个分块的列表发送至用户；若没有查询到所述文件的所述上传编号，所述存储集群将具有标识的唯一的所述上传编号发送至用户，并设置所述文件已上传的各个分块的列表为空。3.根据权利要求1所述的方法，其中，所述对查询到的需要上传的所述文件进行检测，判断是否符合预设要求包括：若上传的所述文件符合所述预设要求，记录与所述文件相关联的多个信息，其中，所述多个信息包括：用户发送的所述文件的上传请求时间、写入到磁盘的所述文件的大小、对所述文件写入到所述磁盘的结束时间；若上传的所述文件不符合所述预设要求，则将需要上传的所述文件的分块大小发送至用户。4.根据权利要求1所述的方法，其中，所述若需要上传的所述文件符合所述预设要求，则执行上传并计算上传带宽包括；根据用户发送的所述文件的上传请求时间、写入到磁盘的所述文件的大小、对所述文件写入到所述磁盘的结束时间计算用户上传所述文件的带
\t宽；判断用户上传所述文件的所述带宽是否小于预设带宽；当用户上传所述文件的所述带宽小于所述预设带宽时，判定为低速网络，当用户上传所述文件的所述带宽大于等于所述预设带宽时，判定为高速网络。5.根据权利要求1或4所述的方法，其中，所述若需要上传的所述文件不符合所述预设要求，则将需要续传的所述文件的分块大小发送至用户，执行续传操作包括：当用户上传所述文件的所述带宽判定为低速网络时，需要续传的所述文件的分块大小为预设值；当用户上传所述文件的所述带宽判定为高速网络时，设置需要续传的所述文件的分块大小，并将设置信息发送至用户；其中，用户接受所述设置信息，则按照设置的需要续传的所述文件的分块大小执行续传操作；用户不接受所述设置信息时，则将预设的所需要续传的所述文件的分块大小发送至所...

【专利技术属性】
技术研发人员：吴兴义，
申请(专利权)人：乐视控股北京有限公司，乐视云计算有限公司，
类型：发明
国别省市：北京;11