【技术实现步骤摘要】
一种基于Openstack云平台实现海量数据可伸缩性存储的系统及其构建方法与应用
本专利技术涉及一种基于Openstack云平台实现海量数据可伸缩性存储的系统及其构建方法与应用,属于云环境下存储优化的
技术介绍
云存储是在云计算(cloudcomputing)概念上延伸和衍生发展出来的一个新的概念,也是云计算应用在存储领域的产物。云存储通过集群应用、网格技术或分布式系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协调工作,共同对外提供数据存储和业务访问功能,从而保证了数据的安全性,并节约存储空间。云存储系统的结果模型由4层组成:(1)存储层:是云存储最基础的部分。存储设备可以是FC光纤通道,可以是NAS和ISCSI等IP存储设备,也可以是SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布在不同地域,彼此通过广域网、互联网连接在一起。(2)基础管理层:这是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。(3)应用接口层:这是云存储中最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、网络硬盘应用平台、远程数据备份应用平台等。(4)访问层:任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。Opensta ...
【技术保护点】
一种基于Openstack云平台实现海量数据可伸缩性存储的系统,其特征在于,包括基础设施模块、数据存储模块和数据检索模块;基础设施模块对计算资源、存储资源和网络资源进行管理并对用户身份进行认证;数据存储模块实现数据弹性存储和维护;数据弹性存储通过构建CouchDB数据库集群实现,所述CouchDB数据库集群利用openstack云平台提供的云主机构建,采用扁平化结构部署;每台云主机构建一个CouchDB数据库,提供数据存储与检索功能;所述openstack云平台上的云主机通过CouchDB的复制机制实现对等。
【技术特征摘要】
1.一种基于Openstack云平台实现海量数据可伸缩性存储的系统,其特征在于,包括基础设施模块、数据存储模块和数据检索模块;基础设施模块对计算资源、存储资源和网络资源进行管理并对用户身份进行认证;数据存储模块实现数据弹性存储和维护;数据弹性存储通过构建CouchDB数据库集群实现,所述CouchDB数据库集群利用openstack云平台提供的云主机构建,采用扁平化结构部署;每台云主机构建一个CouchDB数据库,提供数据存储与检索功能;所述openstack云平台上的云主机通过CouchDB的复制机制实现对等。2.根据权利要求1所述的基于Openstack云平台实现海量数据可伸缩性存储的系统,其特征在于,CouchDB的复制机制对于实现分布式数据复制包括一次性复制和持久性复制;一次性复制发送POST请求到指定数据库的_replicateURL;其中,请求题为JSON文档,包含以下内容:POST/_replicateHTTP/1.1{“source”:“example-database”,“target”:“http://example.org/example-database”};source与target分别表示复制的源数据库和目的数据库。3.根据权利要求1所述的基于Openstack云平台实现海量数据可伸缩性存储的系统,其特征在于,基础设施模块包括主控制节点和计算节点;主控制节点管理和监控整个Openstack云平台,提供用户界面功能、RESTfulAPI功能、网络资源管理功能和安全认证功能;计算节点为用户提供云主机资源和存储资源,提供云主机管理功能、虚拟网络管理功能和数据存储功能。4.根据权利要求3所述的基于Openstack云平台实现海量数据可伸缩性存储的系统,其特征在于,计算节点包括KVM模块、neutron模块和nova模块;通过配置计算节点的nova模块,在nova.conf配置文件中添加主控制节点的IP及主控制节点中keystone的认证令牌tenant,实现主控制节点对计算节点的控制操作。5.根据权利要求3所述的基于Openstack云平台实现海量数据可伸缩性存储的系统,其特征在于,所述安全认证功能包括openstack权限管理、用户身份认证、组件服务的注册和访问端点的注册。6.根据权利要求1所述的基于Openstack云平台实现海量数据可伸缩性存储的系统,其特征在于,数据检索模块通过CouchDB视图实现文档检索,CouchDB视图通过JavaScript函数定义,并保存于designdocuments文档中;数据检索模块通过MapReduce运行。7.根据权利要求6所述的基于Openstack云平台实现海量数据可伸缩性存储的系统,其特征在于,CouchDB视图要完成的文档过滤和索引描述,在designdocuments中的map和reduce函数中定义;其中,Map函数实现对数据的过滤或者查询,reduce函数实现对Map函数返回结果的聚合。8.一种如权利要求1-7任意一项所述存储...
【专利技术属性】
技术研发人员:张卫品,戴鸿君,孙宇清,
申请(专利权)人:山东大学,
类型:发明
国别省市:山东,37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。