对象存储方法和系统技术方案

本公开提供的对象存储方法，应用于云端数据存储，包括：建立从客户端到云存储端的通信连接；接收所述客户端的存储空间创建请求，所述存储空间创建请求包括存储空间标识符和压缩配置；根据所述存储空间创建请求创建存储空间；接收所述客户端的对象上载请求，所述对象上载请求包括至少一个对象及第一存储空间标识符；获得所述第一存储空间标识符对应的所述存储空间的压缩配置；以及根据所述压缩配置将所述至少一个对象压缩后存储到所述第一存储空间标识符对应的所述存储空间。通过用户的压缩配置压缩该用户上载的对象，从而节省存储空间。将压缩选择交给用户，云存储端提供接口，使用户能够进行个性化设置。

【技术实现步骤摘要】

本公开涉及云存储领域，具体涉及一种对象存储方法和系统。
技术介绍
对象存储在互联网的大潮中受到了广发关注，并得到了迅速的发展。对象存储与文件存储不同，对象不以目录分层的结构进行组织。每个对象都位于被称为存储池的扁平的空间的相同层级，每一级的每个元素在存储系统中都有唯一的标识，用户通过这个标识来访问容器或者对象。采用扁平的数据组织结构抛弃了嵌套的文件夹，避免维护庞大的目录树。在大数据和互联网时代，存储的文件/对象超过上百万个，单位时间内的访问次数和并发访问量也达到了前所未有的量级，在这种情况下，目录树会给存储系统带来很大的开销和诸多问题，成为系统的瓶颈。另外一个让对象存储焕发生命力的因素是，对象存储不再提供POSIX兼容的接口(如open，close，read，write等)，而是可以非常方便地通过HTTP Restful API接口和对象进行交互：通过PUT和GET进行上传下载，通过DELETE进行删除。在进行对象存储时，用户首先需要为对象申请一个存储空间(bucket)，然后将对象上载到一个存储空间(bucket)中，供后续下载使用。有时用户将存储空间中的全部文件打包进行下载，比如用户在每一年的第一天把对象存储中的全部文件下载下来，打包并存档到自己的磁盘中，以便进行备份。此时用户需要遍历其整个存储空间，并且把整个文件下载下来再进行打包，这样非常耗费流量和时间，特别是在网络环境不好的情况下。另外一种场景是，用户上载的一些数据仅仅是作为一个在线的备份手段，很少使用，但却占用了较多的存储区，因而导致存储区的利用率不高。
技术实现思路
有鉴于此，本公开提供一种对象存储方法，以解决上述问题。根据本公开的第一方面，本公开提供一种对象存储方法，应用于云端数据存储，包括：建立从客户端到云存储端的通信连接，接收所述客户端的存储空间创建请求，所述存储空间创建请求包括存储空间标识符和压缩配置；根据所述存储空间创建请求创建存储空间；接收所述客户端的对象上载请求，所述对象上载请求包括至少一个对象及第一存储空间标识符；获得所述第一存储空间标识符对应的所述存储空间的压缩配置；以及根据所述压缩配置将所述至少一个对象压缩后存储到所述第一存储空间标识符对应的所述存储空间。优选地，所述压缩配置包括：是否压缩及压缩算法。优选地，还包括：根据所述压缩算法将所述至少一个对象的每一对象分别压缩。优选地，还包括：接收所述客户端的对象压缩请求；以及根据所述对象压缩请求进行对象压缩。优选地，还包括：将对象压缩后的文件名返回给所述客户端。优选地，还包括：接收所述客户端的下载请求，所述下载请求中包括对象压缩后的文件名；以及将所述文件名对应的压缩包返回给所述客户端。优选地，所述存储空间创建请求和所述对象上载请求为HTTP请求。根据本公开的第二方面，本公开提供一种对象存储系统，包括多个客户端和云存储端，所述客户端包括：和所述云存储端建立通信连接；提交存储空间创建请求和对象上载请求；所述云存储端包括：建立和所述客户端的通信连接；接收所述客户端的存储空间创建请求，所述存储空间创建请求包括存储空间标识符和压缩配置；根据所述存储空间创建请求创建存储空间；接收对象上载请求，所述对象上载请求包括至少一个对象及第一存储空间标识符；获得所述第一存储空间标识符对应的所述存储空间的压缩配置；以及根据所述压缩配置将所述至少一个对象压
缩后存储到所述第一存储空间标识符对应的所述存储空间。优选地，所述压缩配置包括：是否压缩及压缩算法。优选地，还包括：根据所述压缩算法将所述至少一个对象的每一对象分别压缩。本公开提供的对象存储方法和对象存储系统，通过用户的压缩配置压缩该用户上载的对象，从而节省存储空间。将压缩选择交给用户，云存储端提供接口，使用户能够进行个性化设置。另外一点是，对象存储集群通常都具有较强的计算能力，如果能够帮助用户进行数据压缩工作，也能够充分利用现有资源。附图说明通过参照以下附图对本公开实施例的描述，本公开的上述以及其它目的、特征和优点将更为清楚，在附图中：图1是根据本公开实施例的对象存储系统的示意图；图2是根据本公开实施例的对象存储方法的流程图；图3是根据本公开实施例的客户端和云存储端建立通信连接的示意图。具体实施方式以下基于实施例对本公开进行描述，但是本公开并不仅仅限于这些实施例。在下文对本公开的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本公开。为了避免混淆本公开的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。在本公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。图1是根据本公开实施例的对象存储系统的示意图。所述对象系统包括客户端100和云存储端101。这里，客户端可以是一个手机APP，或视频系统、电商系统的前端程序或后台程序。云存储端则为包括软硬件
结合的云服务系统。客户端100和云存储端101建立通信连接，通过该通信连接发送存储空间创建请求，云存储端接收到该请求后，创建对应的存储空间。这里，可以把云存储端的存储区域看做一个网络SAN(Storage Area Network)，即一个集中式管理的高速存储网络，由多供应商存储系统、存储管理软件、应用程序服务器和网络硬件组成。存储空间(bucket)可以理解为对象容器，云存储端将存储区域分为若干存储空间(bucket)。从存储空间创建请求中提取用户ID等信息，为该用户申请一个存储空间(bucket)。云存储端101接着接收客户端的对象上载请求，从该上载请求中提取用户ID、数字对象和存储空间标识符,将数字对象的数据进行压缩后存储到存储空间标识符对应的存储空间中。优选地，该对象存储系统还包括一个用于存储存储空间和对象索引数据的文件系统，通过存储空间标识符检索文件系统能够获得存储空间的位置。优选地，云存储端具有多个数据存储节点，在客户端提交存储空间创建请求时，指定一个存储空间(bucket)所使用的存储节点。例如，一个云存储系统在北京、杭州等地区都有存储节点，默认使用本地的存储节点(或最近的存储节点)，从而最优化延迟，最小化费用或者满足监管要求等。在图1中，102是存储区域的示意图例，102包括1～n个存储空间(bucket)，每个存储空间(bucket)则分别包括多个对象。图2是根据本公开实施例的对象存储方法的流程图。所述方法包括步骤201～206。在步骤201中，建立云存储端和客户端的连接。具体客户端和云存储端的安全通信连接的建立过程可参考图3的示意图。图3示出了一个手机APP和云存储端建立安全通信连接的过程。标记30为客户端，标记31为权限管理服务器，通过客户端访问权限管理服务器。当需要进行云端存储时，客户端通过步骤301向权限管理服务器发送一个云端授权请求，权限管理服务器接收后，向云存储端转发，云存储端进行校验后，返回临时授权ID或访问令牌(Access token)，
权限管理服务器接收到该授权ID或访问令牌，返回给客户端。客户端将该授权ID或访问令牌缓存在本地，并通过该授权ID或访问令牌和云存储端进行通信连接。为了保证授权ID或访问令牌不本文档来自技高网...

【技术保护点】
一种对象存储方法，应用于云端数据存储，包括：建立从客户端到云存储端的通信连接；接收所述客户端的存储空间创建请求，所述存储空间创建请求包括存储空间标识符和压缩配置；根据所述存储空间创建请求创建存储空间；接收所述客户端的对象上载请求，所述对象上载请求包括至少一个对象及第一存储空间标识符；获得所述第一存储空间标识符对应的所述存储空间的压缩配置；以及根据所述压缩配置将所述至少一个对象压缩后存储到所述第一存储空间标识符对应的所述存储空间。

【技术特征摘要】
1.一种对象存储方法，应用于云端数据存储，包括：建立从客户端到云存储端的通信连接；接收所述客户端的存储空间创建请求，所述存储空间创建请求包括存储空间标识符和压缩配置；根据所述存储空间创建请求创建存储空间；接收所述客户端的对象上载请求，所述对象上载请求包括至少一个对象及第一存储空间标识符；获得所述第一存储空间标识符对应的所述存储空间的压缩配置；以及根据所述压缩配置将所述至少一个对象压缩后存储到所述第一存储空间标识符对应的所述存储空间。2.根据权利要求1所述的对象存储方法，其中，所述压缩配置包括：是否压缩及压缩算法。3.根据权利要求2所述的对象存储方法，还包括：根据所述压缩算法将所述至少一个对象的每一对象分别压缩。4.根据权利要求1所述的对象存储方法，还包括：接收所述客户端的对象压缩请求；以及根据所述对象压缩请求进行对象压缩。5.根据权利要求4所述的对象存储方法，还包括：将对象压缩后的文件名返回给所述客户端。6.根据权利要求5所述的对象存储方法，还包括：接收所述客户端的下载请求，...

【专利技术属性】
技术研发人员：吴兴义，
申请(专利权)人：乐视控股北京有限公司，乐视云计算有限公司，
类型：发明
国别省市：北京;11