【技术实现步骤摘要】
异构对象存储集群访问方法、装置、设备及存储介质
本专利技术涉及大数据领域,尤其涉及一种异构对象存储集群访问方法、装置、设备及存储介质。
技术介绍
随着互联网时代的到来,各行各业每时每刻都在产生各种数据,为了管理这些数据,一些大的互联网企业或者其他产生大量数据的公司都建立了公共的或者私有的数据中心,异构对象存储以其良好的横向扩展性和存取效率逐渐取代文件系统成为静态海量数据存储的主流。当前几乎所有的异构对象存储集群软件厂商都对外提供了访问集群的接口,目前市面上主流的云厂商的对象存储服务和开源的对象存储系统仅支持在异构对象存储集群间单向同步对象数据的基本功能,为了更加高效的访问集群,因而不得不去基于这些接口进行二次开发去访问集群,这无形之中就提高了应用的门槛,而且实现过程繁琐不够简便。
技术实现思路
本专利技术的主要目的在于解决如何高效访问异构对象存储集群的技术问题。本专利技术第一方面提供了一种异构对象存储集群访问方法,所述异构对象存储集群访问方法包括:接收业务系统发起的对象路由查询请求 ...
【技术保护点】
1.一种异构对象存储集群访问方法,其特征在于,所述异构对象存储集群访问方法包括:/n接收业务系统发起的对象路由查询请求;/n若所述查询请求为文件上传路由查询,则根据所述查询请求携带的请求参数,确定与所述请求参数匹配的写路由策略;/n根据所述写路由策略,确定待上传文件对应的对象存储集群ID并返回至所述业务系统;/n接收所述业务系统基于所述对象存储集群ID发起的集群信息查询请求;/n根据所述对象存储集群ID,确定对应的集群信息并返回至所述业务系统,以供所述业务系统通过内置的通用对象存储二方库将文件上传到对应的对象存储集群;/n接收所述业务系统成功上传文件后上报的所述文件对应的路 ...
【技术特征摘要】
1.一种异构对象存储集群访问方法,其特征在于,所述异构对象存储集群访问方法包括:
接收业务系统发起的对象路由查询请求;
若所述查询请求为文件上传路由查询,则根据所述查询请求携带的请求参数,确定与所述请求参数匹配的写路由策略;
根据所述写路由策略,确定待上传文件对应的对象存储集群ID并返回至所述业务系统;
接收所述业务系统基于所述对象存储集群ID发起的集群信息查询请求;
根据所述对象存储集群ID,确定对应的集群信息并返回至所述业务系统,以供所述业务系统通过内置的通用对象存储二方库将文件上传到对应的对象存储集群;
接收所述业务系统成功上传文件后上报的所述文件对应的路由信息、对象属性、自定义标签和访问记录并存入对应数据库中。
2.根据权利要求1所述的异构对象存储集群访问方法,其特征在于,在所述接收业务系统发起的对象路由查询请求之后,还包括:
若所述查询请求为文件下载路由查询,则根据所述查询请求携带的请求参数,确定待下载文件对应的对象存储集群ID并返回至所述业务系统;
接收所述业务系统基于所述对象存储集群ID发起的集群信息查询请求;
根据所述对象存储集群ID,确定对应的集群信息并返回至所述业务系统,以供所述业务系统通过内置的通用对象存储二方库从对应的对象存储集群下载文件;
接收所述业务系统成功下载文件后上报的所述文件对应的对象属性、自定义标签和访问记录并存入对应数据库中。
3.根据权利要求1或2所述的异构对象存储集群访问方法,其特征在于,在所述接收业务系统发起的对象路由查询请求之前,还包括:
创建租户的账户信息,并配置所述租户对应的策略数据,所述策略数据包括:写路由策略、数据标注策略及数据迁移策略中的一种或多种。
4.根据权利要求3所述的异构对象存储集群访问方法,其特征在于,所述写路由策略包含多条文件匹配规则及各文件匹配规则对应的对象存储集群ID;所述数据标注策略包括指定的对象存储集群信息及对象范围、多个标签及各标签对应的标签匹配规则;所述数据迁移策略包括源对象存储集群信息及对象范围、目标对象存储集群信息、迁移匹配规则。
5.根据权利要求4所述的异构对象存储集群访问方法,其特征在于,所述异构对象存储集群访问方法还包括:
开启对象打标任务线程,并根据所述数据标注策略中指定的对象存储集群信息及对象范围,获取指定范围的对象列表;
遍历所述对象列表,查询每个对象的对象属性和/或访问记录,以判断遍历对象...
【专利技术属性】
技术研发人员:李明,周亮彪,梁荣,
申请(专利权)人:康键信息技术深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。