【技术实现步骤摘要】
数据下载方法、上传方法及分布式存储系统
[0001]本专利技术涉及数据存储领域，具体而言，涉及一种数据下载方法、上传方法及分布式存储系统。
技术介绍
[0002]Ceph(分布式文件系统)是一个非常流行的开源分布式存储系统，其具有良好的设计理念，架构设计上它避免了每个组件的单点故障，并提供了良好的扩展性和性能。其作为一个PB级的对象存储系统，几乎不用在底层架构上做太多改进就可以用于生产环境。但是现有的Ceph系统中会存在扩展性问题，并且在存放文件数量较多时，Ceph中的性能会受到影响。
[0003]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0004]本专利技术实施例提供了一种数据下载方法、上传方法及分布式存储系统，以至少解决由于通过RGW存储文件的元数据造成的每个RGW的bucket存放文件数过多而影响性能的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种数据下载方法，该方法应用于分布式存储系统中，分布式存储系统中包括：第一对象存储网关、分布式存储集群和关...
【技术保护点】
【技术特征摘要】
1.一种数据下载方法，其特征在于，该方法应用于分布式存储系统中，所述分布式存储系统中包括：第一对象存储网关、分布式存储集群和关系型数据库集群，所述方法包括：所述第一对象存储网关接收访问请求；所述第一对象存储网关获取所述访问请求中的目标文件标识；所述第一对象存储网关从所述关系型数据库集群中确定与所述目标文件标识对应的目标关系型数据库，并从所述目标关系型数据库中查询所述目标文件标识所对应目标文件的元数据，其中，所述元数据为所述目标文件的描述信息；所述第一对象存储网关从与所述第一对象存储网关对应的多个分布式存储集群中确定与所述元数据所对应的目标分布式存储集群以及所述目标分布式集群中的第二对象存储网关；所述第一对象存储网关将所述访问请求转发至所述目标分布式集群中的所述第二对象存储网关，以从所述第二对象存储网关中获取所述目标文件。2.根据权利要求1所述的方法，其特征在于，所述分布式存储系统中包括：负载均衡网关；所述第一对象存储网关接收访问请求，包括：所述第一对象存储网关接收来自所述负载均衡网关转发的所述访问请求。3.根据权利要求2所述的方法，其特征在于，所述第一对象存储网关接收来自所述负载均衡网关转发的所述访问请求之前，所述方法还包括：所述负载均衡网关接收多个所述访问请求；从预设网关列表中按照预设权重选择所述第一对象存储网关，其中，所述预设权重为预设网关列表中各个网关的权重，权重越大，被分配的并行处理的访问请求数量越大。4.根据权利要求1所述的方法，其特征在于，所述第一对象存储网关从与所述第一对象存储网关对应的多个分布式存储集群中确定与所述元数据所对应的目标分布式存储集群以及所述目标分布式集群中的第二对象存储网关，包括：所述第一对象存储网关从所述目标关系型数据库中的集群信息表中确定与所述元数据所对应的目标分布式存储集群；从所述目标关系型数据库中的元数据信息表确定所述第二对象存储网关。5.根据权利要求4所述的方法，其特征在于，所述集群信息表中包括以下至少之一：集群标识、集群的可读写状态、集群地址信息；所述元数据信息表中包括以下至少之一：所述目标文件所在的集群标识、所述目标文件的文件信息、文件的写入状态、文件大小。6.根据权利要求5所述的方法，其特征在于，所述集群的可读写状态和所述文件的写入状态通过以下方式确定：所述关系型数据库集群中的关系型数据库响应于目标对象的修改请求，对所述集群的可读写状态和所述文件的写入状态进行修改；其中，在检测到触发事件时，触发对第二对象存储网关存储的文件执行与修改后的集群的可读写状态和所述文件的写入状态对应的操作。7.一种数据上传方法，其特征在于，该方法应用于分布式存储系统中，所述分布式存储系统中包括：第一对象存储网关、分布式存储集群和关系型数据库集群，所述方法包括：所述第一对象存储网关接收文件上传请求；所述第一对象存储网关获取所述文件上传请求所对应待上传文件的元数据；所述第一对象存储网关将所述元数据发送至关系型数据库集群中进行存储，以及将所
述待上传数据发送至分布式存储集群中的第二对象存储网关。8.据权利要求7所述的方法，其特征在于，所述文件上传请求为多个；将所述待上传数据发送至分布式存储集群中的第二对象存储网关之前，所述方法还包括：负载均衡网关接收多个所述文件上传请求；从预设网...
【专利技术属性】
技术研发人员：龙小斌，
申请(专利权)人：广州视睿电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。