对象上传方法、装置、电子设备及机器可读存储介质制造方法及图纸

本申请提供对象存储系统的对象上传方法、装置、电子设备及机器可读存储介质。在本申请中，获取待上传的对象，针对所述对象创建分段任务，得到所述分段任务的任务标识；将所述对象在所述分段任务中按预设策略进行分段，获得分段对象，并为所述分段对象分配对应的分段编号，其中，所述分段编号用于指示所述分段对象在所述对象中的顺序；基于至少包括所述任务标识及所述分段编号的哈希值，将所述分段对象上传至所述桶，实现了超过5GB的对象上传到对象存储系统中，充分利用了多个存储介质容量，另外，通过并发上传，实现了上传效率大幅提高。

Object uploading methods, devices, electronic devices and machine-readable storage media

This application provides an object upload method, device, electronic device and machine readable storage medium of an object storage system. In this application, the object to be uploaded is acquired, and the task identification of the segment task is obtained by creating the segment task for the object; the segment object is segmented according to the preset strategy in the segment task, and the segment object is obtained, and the corresponding segment number is assigned to the segment object, in which the segment number is used to indicate that the segment object is in the said object. Sequence: Based on the hash value which includes at least the task identification and the segment number, the segment object is uploaded to the bucket, and the object over 5GB is uploaded to the object storage system, making full use of multiple storage media capacity. In addition, the upload efficiency is greatly improved by concurrent upload.

【技术实现步骤摘要】
对象上传方法、装置、电子设备及机器可读存储介质
本申请涉及存储
，尤其涉及对象存储系统的对象上传方法、装置、电子设备及机器可读存储介质。
技术介绍
随着互联网应用的迅猛发展，PB级甚至EB级的海量数据存储变得尤为重要。对象存储系统作为一种新型的分布式存储系统，对象是对象存储系统中的基本实体，通过提供基于对象的访问接口，可存储任意类型的数据，比如：图片、视频、音频、文本等。对象存储系统有效解决了传统存储共享能力有限、扩展性差等问题。
技术实现思路
本申请提供一种对象存储系统的对象上传方法，所述对象存储系统至少包括桶，其中，所述桶为用于保存所述对象的容器，其特征在于，所述方法包括：获取所述对象，针对所述对象创建分段任务，得到所述分段任务的任务标识，其中所述任务标识用于唯一标识所述分段任务；将所述对象在所述分段任务中按预设策略进行分段，获得分段对象，并为所述分段对象分配对应的分段编号，其中，所述分段编号用于指示所述分段对象在所述对象中的顺序；基于至少包括所述任务标识及所述分段编号的哈希值，将所述分段对象上传至所述桶。可选的，在所述将所述分段对象上传至所述桶的同时，还包括：创建或更新所述对象的索引，其中，所述索引用于指示所述分段对象在所述桶的存储位置。可选的，所述索引至少包括索引头、索引信息，其中，所述索引头至少包括所述对象的对象名、所述桶及所述任务标识，所述索引信息至少包括所述分段编号。可选的，当待下载所述对象的指定容量范围时，还包括：基于所述索引及所述指定容量范围，获取所述对象指定容量范围对应的分段编号及其所指示的分段对象；将所述对象的指定容量范围对应分段编号所指示的分段对象下载到本地。可选的，当待上传与所述对象的对象名重复的新对象时，在将所述新对象的分段对象上传至所述桶的同时，还包括：创建所述新对象的索引，删除所述对象的索引以及所述索引对应的分段对象。本申请还提出一种对象存储系统的对象上传装置，所述对象存储系统至少包括桶，其中，所述桶为用于保存所述对象的容器，其特征在于，所述装置包括：创建模块，用于获取所述对象，针对所述对象创建分段任务，得到所述分段任务的任务标识，其中所述任务标识用于唯一标识所述分段任务；所述创建模块，将所述对象在所述分段任务中按预设策略进行分段，获得分段对象，并为所述分段对象分配对应的分段编号，其中，所述分段编号用于指示所述分段对象在所述对象中的顺序；上传模块，用于基于至少包括所述任务标识及所述分段编号的哈希值，将所述分段对象上传至所述桶。可选的，在所述将所述分段对象上传至所述桶的同时，还包括：所述创建模块进一步，用于创建或更新所述对象的索引，其中，所述索引用于指示所述分段对象在所述桶的存储位置。可选的，所述索引至少包括索引头、索引信息，其中，所述索引头至少包括所述对象的对象名、所述桶及所述任务标识，所述索引信息至少包括所述分段编号。可选的，当待下载所述对象的指定容量范围时，还包括：所述上传模块进一步，基于所述索引及所述指定容量范围，获取所述对象指定容量范围对应的分段编号及其所指示的分段对象；下载模块，用于将所述对象的指定容量范围对应分段编号所指示的分段对象下载到本地。可选的，当待上传与所述对象的对象名重复的新对象时，在将所述新对象的分段对象上传至所述桶的同时，还包括：所述创建模块进一步，创建所述新对象的索引，删除所述对象的索引以及所述索引对应的分段对象。本申请还提供一种电子设备，包括通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行上述的方法。本申请还提供一种机器可读存储介质，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，实现上述方法。通过以上实施例，对象存储系统至少包括桶，其中，所述桶为用于上传所述对象的容器，获取待上传的对象，针对所述对象创建分段任务，得到所述分段任务的任务标识，其中所述任务标识用于唯一标识所述分段任务；将所述对象在所述分段任务中按预设策略进行分段，获得分段对象，并为所述分段对象分配对应的分段编号，其中，所述分段编号用于指示所述分段对象在所述对象中的顺序；基于至少包括所述任务标识及所述分段编号的哈希值，将所述分段对象上传至所述桶，实现了超过5GB的对象上传到对象存储系统中，充分利用了多个存储介质容量，另外，通过并发上传，实现了上传效率大幅提高。附图说明图1是一示例性实施例提供的一种对象存储系统的对象上传方法的流程图。图2是一示例性实施例提供的一种对象存储系统的对象下载流程图。图3是一示例性实施例提供的一种对象存储系统的对象的上传装置的框图。图4是一示例性实施例提供的一种电子设备的硬件结构图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。为了使本
的人员更好地理解本申请实施例中的技术方案，先对本申请实施例涉及的对象存储系统的相关技术，进行简要说明。在一些场景下，现有对象存储系统仅支持通过的单个PUT或POST非多分段接口上传不大于5GB的对象。如果用户需要通过的单个PUT或POST非多分段接口，上传超过一个超过5GB的对象到对象存储系统中，则无法实现。基于此，本申请提出一种对象存储系统的对象上传方案，该方案应用于对象存储系统的管理节点，所述管理节点获取待上传的超过5GB的对象，针对所述对象创建分段任务，得到所述分段任务的任务标识，其中所述任务标识用于唯一标识所述分段任务；将所述对象在所述分段任务中按预设策略进行分段，获得分段对象，并为所述分段对象分配对应的分段编号，其中，所述分段编号用于指示所述分段对象在所述对象中的顺序；基于至少包括所述任务标识及所述分段编号的哈希值，将所述分段对象上传至所述桶，实现了超过5GB的对象上传到对象存储系统中，充分利用了多个存储介质容量，另外，通过并发上传，实现了上传效率大幅提高。下面通过具体实施例并结合具体的应用场景对本申请进行描述。请参考图1，图1是本申请一实施例提供的一种对象存储系统的对象上传方法，应用于所述对象存储系统的管理节点，后续描述简称管理节点；所述对象存储系统至少包括桶，其中，所述桶为用于保存本文档来自技高网...

【技术保护点】
1.一种对象存储系统的对象上传方法，所述对象存储系统至少包括桶，其中，所述桶为用于保存所述对象的容器，其特征在于，所述方法包括：获取所述对象，针对所述对象创建分段任务，得到所述分段任务的任务标识，其中所述任务标识用于唯一标识所述分段任务；将所述对象在所述分段任务中按预设策略进行分段，获得分段对象，并为所述分段对象分配对应的分段编号，其中，所述分段编号用于指示所述分段对象在所述对象中的顺序；基于至少包括所述任务标识及所述分段编号的哈希值，将所述分段对象上传至所述桶。

【技术特征摘要】
1.一种对象存储系统的对象上传方法，所述对象存储系统至少包括桶，其中，所述桶为用于保存所述对象的容器，其特征在于，所述方法包括：获取所述对象，针对所述对象创建分段任务，得到所述分段任务的任务标识，其中所述任务标识用于唯一标识所述分段任务；将所述对象在所述分段任务中按预设策略进行分段，获得分段对象，并为所述分段对象分配对应的分段编号，其中，所述分段编号用于指示所述分段对象在所述对象中的顺序；基于至少包括所述任务标识及所述分段编号的哈希值，将所述分段对象上传至所述桶。2.根据权利要求1所述的方法，其特征在于，在所述将所述分段对象上传至所述桶的同时，还包括：创建或更新所述对象的索引，其中，所述索引用于指示所述分段对象在所述桶的存储位置。3.根据权利要求2所述的方法，其特征在于，所述索引至少包括索引头、索引信息，其中，所述索引头至少包括所述对象的对象名、所述桶及所述任务标识，所述索引信息至少包括所述分段编号。4.根据权利要求3所述的方法，其特征在于，当待下载所述对象的指定容量范围时，还包括：基于所述索引及所述指定容量范围，获取所述对象指定容量范围对应的分段编号及其所指示的分段对象；将所述对象的指定容量范围对应分段编号所指示的分段对象下载到本地。5.根据权利要求3所述的方法，其特征在于，当待上传与所述对象的对象名重复的新对象时，在将所述新对象的分段对象上传至所述桶的同时，还包括：创建所述新对象的索引，删除所述对象的索引以及所述索引对应的分段对象。6.一种对象存储系统的对象上传装置，所述对象存储系统至少包括桶，其中，所述桶为用于保存所述对象的容器，其特征在于，所述装置包括：创建模块，用于获取所述对象，针对所述对象创建分段任务，得到所述分段任务的任务标识，其中所述任务标识用于唯一标识所述分段任务；所...

【专利技术属性】
技术研发人员：柯丹丹，沈泽宇，
申请(专利权)人：杭州宏杉科技股份有限公司，
类型：发明
国别省市：浙江,33