一种用于提高对象存储系统中对象上传速度的方法和系统技术方案

本发明专利技术公开了一种用于提高对象存储系统中对象上传速度的方法和系统，该方法包括：根据对象上传请求，获取所需上传的各对象的文件大小；根据各对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；将各数据包进行上传；对上传的各数据包进行解析，并进行存储。在本技术方案中，将若干对象进行合并，整合成一个数据包，这样在进行对象上传时，就可以将一些符合预设合并条件的对象，如小对象，合并成若干个数据包，然后将这些数据包进行上传。对于一个数据包的上传操作而言，将多次对象的上传操作转化为一次数据包的上传操作，极大地降低了网络交互，从而提高了对象的上传速度以及网络利用率。

Method and system for improving object upload speed in object storage system

The invention discloses a method and system for improving object storage system in the upload speed, the method comprises: according to upload object request, the object to obtain the required upload file size; according to the size of the file object, will meet the preset conditions with the merger of elephant, integration into a plurality of data packets each data packet; upload; on each data packet parsing, and storage. In this scheme, some objects are merged into a data packet, so the object can be uploaded, with some objects with preset conditions, such as small objects, merged into a plurality of data packets, and these packets upload. For a packet of data upload operation, multiple object upload operation into a data packet upload operation, greatly reduces the network interaction, so as to improve the utilization rate of the object and the network upload speed.

【技术实现步骤摘要】
一种用于提高对象存储系统中对象上传速度的方法和系统
本专利技术涉及计算机存储
，特别是涉及一种用于提高对象存储系统中对象上传速度的方法。
技术介绍
随着大数据和互联网的不断发展，人们每天在各种社交网站上上传海量的视频、图片、语音，每天发送数亿封电子邮件，数据规模日益扩大。为了满足用户大数据量和非结构化数据，对象存储作为一种新型的存储系统应育而生。对象存储是一种基于对象的存储系统，具备智能、自我管理能力，通过web服务协议(如：REST、SOAP)实现对象的读写和存储资源的访问。对象存储系统中包含两种数据描述：容器(bucket)、对象(object)，其中，容器和对象都有全局唯一的ID。对象存储采用扁平化结构管理所有数据，用户/应用通过接入码认证后，只需要通过ID就可以访问容器/对象及相关的数据(Data)和元数据(metadata)。对象存储系统通常在一个横向扩展架构上构建一个统一命名空间。通常情况下，认为大小在1MB以内的数据为小对象。社交活动、移动通信、网络视频音频、电子商务、传感器网络、科学实验等各种应用往往会产生大量小对象，这些海量小对象在上传到对象存储时，由于受限于网络交互，导致小对象上传速度存在瓶颈。因此，如何提高对象的上传速度，并提高网络利用率，是本领域技术人员目前需要解决的技术问题。
技术实现思路
本专利技术的目的是提供一种用于提高对象存储系统中对象上传速度的方法和系统，可以提高对象的上传速度，并提高网络利用率。为解决上述技术问题，本专利技术提供了如下技术方案：一种用于提高对象存储系统中对象上传速度的方法，包括：根据对象上传请求，获取所需上传的各对象的文件大小；根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；将各所述数据包进行上传；对上传的各所述数据包进行解析，并进行存储。优选地，所述根据对象上传请求，获取所需上传的各对象的文件大小，包括：根据所述对象上传请求，通过多线程并发访问客户端所需上传的对象数据；对所述对象数据中的各对象进行分析，获取各所述对象的文件大小。优选地，所述根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包，包括：筛选出文件大小小于预设阈值的对象，并定义为小对象；对各所述小对象的对象数据、元数据和对象描述信息进行编码；将编码后的小对象合并整合成若干个数据包。优选地，将各所述数据包进行上传，包括：判断上传的对象数据是否为由若干所述小对象合并成的数据包；若是，则按照预设的合并对象上传协议对该数据包进行上传。优选地，所述对上传的各所述数据包进行解析，并进行存储，包括：通过对象存储网关对上传的对象数据进行解析；判断该对象数据的上传协议是否为所述合并对象上传协议；若是，则对该对象数据进行拆解和处理，解析出数据包中的所有对象的对象数据、元数据和对象描述信息；对经过解析的各所述对象进行并行写入处理，并将对象上传结果返回至所述客户端。一种用于提高对象存储系统中对象上传速度的系统，包括：获取模块，用于根据对象上传请求，获取所需上传的各对象的文件大小；对象合并模块，用于根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；数据上传模块，用于将各所述数据包进行上传；处理模块，用于对上传的各所述数据包进行解析，并进行存储。优选地，所述获取模块包括：访问单元，用于根据所述对象上传请求，通过多线程并发访问客户端所需上传的对象数据；对象大小获取单元，对所述对象数据中的各对象进行分析，获取各所述对象的文件大小。优选地，所述对象合并模块包括：筛选单元，用于筛选出文件大小小于预设阈值的对象，并定义为小对象；编码单元，用于对各所述小对象的对象数据、元数据和对象描述信息进行编码；整合单元，用于将编码后的小对象合并整合成若干个数据包。优选地，所述数据上传模块包括：第一判断单元，用于判断上传的对象数据是否为由若干所述小对象合并成的数据包；上传单元，用于在所述第一判断单元判定上传的对象数据为由若干所述小对象合并成的数据包时，按照预设的合并对象上传协议对该数据包进行上传。优选地，所述处理模块包括：第一解析单元，用于通过对象存储网关对上传的对象数据进行解析；第二判断单元，用于判断该对象数据的上传协议是否为所述合并对象上传协议；第二解析单元，用于在所述第二判断单元判定该对象数据的上传协议为所述合并对象上传协议时，对该对象数据进行拆解和处理，解析出数据包中的所有对象的对象数据、元数据和对象描述信息；存储单元，用于对经过解析的各所述对象进行并行写入处理，并将对象上传结果返回至所述客户端。与现有技术相比，上述技术方案具有以下优点：本专利技术所提供的一种用于提高对象存储系统中对象上传速度的方法，包括：根据对象上传请求，获取所需上传的各对象的文件大小；根据各对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；将各数据包进行上传；对上传的各数据包进行解析，并进行存储。在本技术方案中，将若干对象进行合并，整合成一个数据包，这样在进行对象上传时，就可以将一些符合预设合并条件的对象，如小对象，合并成若干个数据包，然后将这些数据包进行上传。对于一个数据包的上传操作而言，将多次对象的上传操作转化为一次数据包的上传操作，极大地降低了网络交互，从而提高了对象的上传速度以及网络利用率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种具体实施方式所提供的用于提高对象存储系统中对象上传速度的方法流程图；图2为本专利技术一种具体实施方式所提供的用于提高对象存储系统中对象上传速度的系统结构示意图。具体实施方式本专利技术的核心是提供一种用于提高对象存储系统中对象上传速度的方法和系统，可以提高对象的上传速度，并提高网络利用率。为了使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。在以下描述中阐述了具体细节以便于充分理解本专利技术。但是本专利技术能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广。因此本专利技术不受下面公开的具体实施的限制。请参考图1，图1为本专利技术一种具体实施方式所提供的用于提高对象存储系统中对象上传速度的方法流程图。本专利技术的一种具体实施方式提供了一种用于提高对象存储系统中对象上传速度的方法，包括：S11：根据对象上传请求，获取所需上传的各对象的文件大小。在本专利技术的一种实施方式中，根据对象上传请求，获取所需上传的各对象的文件大小，包括：根据对象上传请求，通过多线程并发访问客户端所需上传的对象数据；对对象数据中的各对象进行分析，获取各对象的文件大小。在本实施方式中，对客户端进行海量对象上传的分析，并获取各需要上传的对象的文件大小，以为后续的对象合并提供整合基础。S12：根据各对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包。在本专利技术的一种实施方式中，根据各对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包，包括本文档来自技高网...

【技术保护点】
一种用于提高对象存储系统中对象上传速度的方法，其特征在于，包括：根据对象上传请求，获取所需上传的各对象的文件大小；根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；将各所述数据包进行上传；对上传的各所述数据包进行解析，并进行存储。

【技术特征摘要】
1.一种用于提高对象存储系统中对象上传速度的方法，其特征在于，包括：根据对象上传请求，获取所需上传的各对象的文件大小；根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；将各所述数据包进行上传；对上传的各所述数据包进行解析，并进行存储。2.根据权利要求1所述的方法，其特征在于，所述根据对象上传请求，获取所需上传的各对象的文件大小，包括：根据所述对象上传请求，通过多线程并发访问客户端所需上传的对象数据；对所述对象数据中的各对象进行分析，获取各所述对象的文件大小。3.根据权利要求2所述的方法，其特征在于，所述根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包，包括：筛选出文件大小小于预设阈值的对象，并定义为小对象；对各所述小对象的对象数据、元数据和对象描述信息进行编码；将编码后的小对象合并整合成若干个数据包。4.根据权利要求3所述的方法，其特征在于，将各所述数据包进行上传，包括：判断上传的对象数据是否为由若干所述小对象合并成的数据包；若是，则按照预设的合并对象上传协议对该数据包进行上传。5.根据权利要求4所述的方法，其特征在于，所述对上传的各所述数据包进行解析，并进行存储，包括：通过对象存储网关对上传的对象数据进行解析；判断该对象数据的上传协议是否为所述合并对象上传协议；若是，则对该对象数据进行拆解和处理，解析出数据包中的所有对象的对象数据、元数据和对象描述信息；对经过解析的各所述对象进行并行写入处理，并将对象上传结果返回至所述客户端。6.一种用于提高对象存储系统中对象上传速度的系统，其特征在于，包括：获取模块，用于根据对象上传请求，获取所...

【专利技术属性】
技术研发人员：侯斌，白学余，任东旭，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41