一种基于CMSP和KUDU的分布式对象存储架构和平台制造技术

本发明专利技术公开一种基于CMSP和KUDU的分布式对象存储架构和平台，涉及存储架构技术领域，包括对象存储服务端和对象存储客户端。对象存储服务端包括对象存储节点、对象存储管理节点、对象存储元数据节点、对象存储元数据管理节点四部分，若干个对象存储元数据节点组成对象存储元数据集群。对象存储客户端包括一组对象存储API。对象存储节点、对象存储管理节点、对象存储元数据管理节点三部分分别基于CMSP实现，对象存储元数据节点基于KUDU实现。对象存储应用通过对象存储API与对象存储管理节点、对象存储元数据集群相连，并最终连接到某个具体的对象存储节点，通过该具体的对象存储节点进行对象的存储、获取、更新、命名或删除操作，实现对象存储大容量平滑扩展。

A Distributed Object Storage Architecture and Platform Based on CMSP and KUDU

The invention discloses a distributed object storage architecture and platform based on CMSP and KUDU, and relates to the technical field of storage architecture, including object storage server and object storage client. Object storage server includes object storage node, object storage management node, object storage metadata node and object storage metadata management node. Several object storage metadata nodes constitute object storage metadata cluster. Object storage client includes a set of object storage APIs. Object storage node, object storage management node and object storage metadata management node are implemented based on CMSP respectively, and object storage metadata node is implemented based on KUDU. Object storage applications connect object storage API with object storage management node and object storage metadata cluster, and ultimately connect to a specific object storage node. Through the specific object storage node, the object storage can be stored, acquired, updated, named or deleted to achieve smooth expansion of large capacity of object storage.

【技术实现步骤摘要】
一种基于CMSP和KUDU的分布式对象存储架构和平台
本专利技术涉及存储架构
，具体的说是一种基于CMSP和KUDU的分布式对象存储架构和平台。
技术介绍
大数据分为结构化数据、半结构化数据和非结构化数据，而半结构化数据最终存储时要么转换为结构化数据，要么以非结构化数据存在，非结构化数据在存储量(空间占用)方面远远大于结构化数据，因此非结构化数据的存储技术对存储利用大数据非常关键。现有的非结构化数据有的分散存储于不同主机上文件系统中，分散存储不利于管理和利用；有的存储于分布式文件系统中，如HDFS，逻辑上统一管理，但HDFS架构上扩展性有缺陷，不能处理太大规模的非结构化数据，另外不适合于对于迟延要求较低的场景。现有的非结构化数据也可以存储于对象存储中，目标数据从对象中进行读写，然后通过键值获取对应的对象，整个存储的形式为key-object的存储方式，较典型的例子：开源的Ceph、亚马逊的S3存储和阿里云的OSS存储，对象存储可以管理更多的非结构化数据，不同的对象存储因技术不同也各有优缺，如一些不能够平滑扩展、成本问题、较高迟延等。
技术实现思路
本专利技术针对目前技术发展的需求和本文档来自技高网...

【技术保护点】
1.一种基于CMSP和KUDU的分布式对象存储架构和平台，其特征在于,包括对象存储服务端和对象存储客户端；所述对象存储服务端包括对象存储节点、对象存储管理节点、对象存储元数据节点、对象存储元数据管理节点四部分，若干个对象存储元数据节点组成对象存储元数据集群；所述对象存储客户端包括一组对象存储API；所述对象存储节点、对象存储管理节点、对象存储元数据管理节点三部分分别基于CMSP实现，所述对象存储元数据节点基于KUDU实现；对象存储应用通过对象存储API与对象存储管理节点、对象存储元数据集群相连，并最终连接到某个具体的对象存储节点，通过该具体的对象存储节点进行对象的存储、获取、更新、命名或删除操...

【技术特征摘要】
1.一种基于CMSP和KUDU的分布式对象存储架构和平台，其特征在于,包括对象存储服务端和对象存储客户端；所述对象存储服务端包括对象存储节点、对象存储管理节点、对象存储元数据节点、对象存储元数据管理节点四部分，若干个对象存储元数据节点组成对象存储元数据集群；所述对象存储客户端包括一组对象存储API；所述对象存储节点、对象存储管理节点、对象存储元数据管理节点三部分分别基于CMSP实现，所述对象存储元数据节点基于KUDU实现；对象存储应用通过对象存储API与对象存储管理节点、对象存储元数据集群相连，并最终连接到某个具体的对象存储节点，通过该具体的对象存储节点进行对象的存储、获取、更新、命名或删除操作。2.根据权利要求1所述的一种基于CMSP和KUDU的分布式对象存储架构和平台，其特征在于，对象存储节点是实际的对象存储服务器，每个对象存储节点包括至少一个Topic、至少一个容器和一组对象存储服务；至少一个Topic用于缓存对象存储客户端发过来待存的对象数据，还可根据需求配置若干Topic用于复制缓存的对象数据，复制功能利用CMSP的复制功能实现，复制的缓存对象数据可发送到其它对象存储节点进行备份，其中，一个对象可以有多个副本，并可异地存储，以保证对象存储的高可用，发送功能利用CMSP的发送功能实现；至少一个容器用于实际存储对象数据，容器可为一个文件系统文件、一个逻辑卷、一块裸盘、一个LUN、一块内存等不同的介质，对象写入容器时，可以不依赖操作系统的文件系统，采用非缓冲方式直接写入容器中；一组对象存储服务包括容器的创建、增加、删除、监控，包括对象的存储、获取、更新、更名、删除、判断对象是否存在、元数据生成各项服务。3.根据权利要求2所述的一种基于CMSP和KUDU的分布式对象存储架构和平台，其特征在于，对象存储节点基于CMSP实现；每个...

【专利技术属性】
技术研发人员：李朝铭，邓光超，崔洪志，王建华，林杰，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：山东,37