一种快速合并对象的方法和系统技术方案

本发明专利技术提出一种快速合并对象的方法和系统，属于对象存储技术领域。所述方法基于一种新的对象结构来合并对象，所述新的对象结构为：以一个索引对象和至少一个数据对象构成一个向用户提供服务的完整对象，所述至少一个数据对象用于存储数据，索引对象用于记录对象的基本信息以及至少一个数据对象中的数据在整个数据段中的位置。当要将多个对象合并时，会先创建一个索引对象，然后在索引对象中记录数据段对应的数据对象及其数据段信息。本发明专利技术的优点在于只需要创建一个对象，就能快速合并多个对象，特别是针对大小非常大的对象，能实现秒级合并，而且支持任何大小的对象。

A method and system for quickly merging objects

The invention provides a method and a system for quickly merging objects, belonging to the field of object storage technology. The method combines objects based on a new object structure, which is composed of an index object and at least one data object to form a complete object serving users, at least one data object to store data, and an index object to record basic information of the object and at least one data object. The position of a data object in the entire data segment. When multiple objects are merged, an index object is created first, and then the corresponding data object and its segment information are recorded in the index object. The advantages of the present invention are that only one object can be created, and multiple objects can be merged quickly, especially for very large objects, which can achieve second-level merging and support objects of any size.

【技术实现步骤摘要】
一种快速合并对象的方法和系统
本专利技术属于对象存储
，具体涉及一种快速合并对象的方法和系统。
技术介绍
对象存储是一种基于对象的存储形态，在基于对象存储的存储系统或服务中，对象(Object)是存储的基本数据单位，用户上传的数据以对象的形式存储在一个或多个容器(Bucket，桶)中。对象存储采用扁平化结构管理所有数据，容器和对象都有一个全局唯一的ID，用户/应用经过认证接入后，只需要根据ID就可以访问容器/对象及相关的数据(Data)、元数据(metadata)和对象属性(Attribute)，解决了文件系统复杂目录树结构在海量数据情况下的数据查找耗时长的问题，这使得对象存储具备极强的扩展性。同时也能更好的满足特定非结构化数据(例如视频、录音、图片等)的存储要求。在一些场景下，需要将对象存储中的多个对象合并成一个对象。目前业界通常使用的方法是通过S3API中提供的MultipartUploadCopy相关接口，将多个对象拷贝并合并为一个对象。但是该方法需要在对象存储设备内部完整拷贝所有数据，对象越大合并时间越长，而且对分块对象有很多限制，例如，每个待合并的分块对象(part)本文档来自技高网...

【技术保护点】
1.一种快速合并对象的方法，其特征在于，所述方法基于一种新的对象结构来合并对象，所述新的对象结构为：以一个索引对象和至少一个数据对象构成一个向用户提供服务的完整对象，所述至少一个数据对象用于存储数据，所述索引对象用于记录对象的基本信息以及所述至少一个数据对象中的数据在整个数据段中的位置；在合并对象时，读取待合并对象的索引对象，基于索引对象中记录的信息进行整理合并。

【技术特征摘要】
1.一种快速合并对象的方法，其特征在于，所述方法基于一种新的对象结构来合并对象，所述新的对象结构为：以一个索引对象和至少一个数据对象构成一个向用户提供服务的完整对象，所述至少一个数据对象用于存储数据，所述索引对象用于记录对象的基本信息以及所述至少一个数据对象中的数据在整个数据段中的位置；在合并对象时，读取待合并对象的索引对象，基于索引对象中记录的信息进行整理合并。2.根据权利要求1所述一种快速合并对象的方法，其特征在于，所述索引对象包括索引头信息和数据段信息，其中，所述索引头信息包括：对象标识：表示该对象是否为索引对象；数据总长度：表示完整对象中所有数据对象的总长度；数据段个数：表示完整对象中数据段的个数；所述数据段信息包括：数据偏移：表示该数据段在整个数据中的偏移；数据对象中的偏移：表示该数据段在对应的数据对象中的偏移；数据段长度：表示该数据段的长度。3.根据权利要求2所述一种快速合并对象的方法，其特征在于，合并对象的操作包括以下步骤：读取待合并对象的索引对象；合并索引对象中的数据段信息，并将这些信息按照索引对象信息格式写入新的索引对象中；删除被合并对象的索引对象。4.根...

【专利技术属性】
技术研发人员：V·W·陈，蒋建涛，盛滢，吴永凯，
申请(专利权)人：南京紫光云信息科技有限公司，
类型：发明
国别省市：江苏,32