多类型存储引擎对象存储系统、方法和计算机可读介质技术方案

本申请公开了多类型存储引擎对象存储系统、方法和计算机可读介质，本申请的系统完全隔离存储层和业务层，业务层只需要接入客户端即可实现对象数据存储，无需关心存储层实现，业务层在版本迭代和演进过程中可以轻易替换存储层而无需做任务修改重新对接不同的存储层；后方存储层数据安全保障性高：业务层所有对数据操作的请求都必须经过业务模块请求控制器，可以根据需要做定制控制；此外，本发明专利技术可以让业务层账号和存储层账号隔离，进一步保障存储层数据安全，支持多个存储层共用。支持多个存储层共用。支持多个存储层共用。

【技术实现步骤摘要】
多类型存储引擎对象存储系统、方法和计算机可读介质


[0001]本申请涉及计算机存储领域，尤其是多类型存储引擎对象存储系统、方法和计算机可读介质。

技术介绍

[0002]对象存储是用来描述解决和处理离散单元的方法的通用术语。对象存储在一个层结构中不会再有层级结构，是以扩展元数据为特征的。目前的对象存储产品通过一定的术语转换，也可以按照AWSS3规范实现对象数据的存储。但是，相关对象存储技术中，存储层和业务层并未完全隔离，业务层在实现对象数据存储时需要考虑存储层能否实现对象存储，并且在版本迭代和演进过程中无法替换存储层，因此需要进行任务修改并重新对接不同的存储层，导致对象存储的流程复杂且效率较低。
[0003]因此，相关技术存在的上述技术问题亟待解决。

技术实现思路

[0004]本申请旨在解决相关技术中的技术问题之一。为此，本申请实施例提供多类型存储引擎对象存储系统、方法和计算机可读介质，能够提高对象存储的效率，简化对象存储的流程。
[0005]根据本申请实施例一方面，提供多类型存储引擎对象存储系统，所述系统包括：业务模块、服务模块、业务模块请求控制器和对象存储层；所述业务模块为对象存储的使用方，所述业务模块引入AWSS3的用户且按照预设的规范实现对象数据的操作；所述服务模块对AWS S3、FTP、SFTP、HBase、HDFS中的各个用户进行封装，并对外开放AWSS3标准协议服务，接收所述业务模块通过发送的请求；所述业务模块请求控制器用于处理请求数据的解析与封装，所述业务模块将解析与封装后的请求数据转发到StorageService层，按照 AWS S3 协议规范响应StorageService层返回的数据解析，并返回至所述业务模块。
[0006]在其中一个实施例中，所述服务模块接收所述业务模块通过发送的请求后，所述服务模块对所述业务模块通过发送的请求进行内部适配，将内部适配后的请求转发到存储层。
[0007]在其中一个实施例中，所述系统还包括账号认证模块，所述账号认证模块用于对账号进行认证，所述账号认证模块生成配置文件，所述配置文件会作用在所述业务模块请求控制器中，当业务模块发送的请求进入所述业务模块请求控制器时，业务模块请求控制器校验请求参数中的accessKey参数和secretKey参数的合法性。
[0008]在其中一个实施例中，所述对象存储层具有自身服务地址和账号配置，当操作请求进入到所述业务模块请求控制器时，所述业务模块请求控制器根据请求参数中的账号信息，查询到对应账户所支持的对象存储层实现。
[0009]在其中一个实施例中，所述业务模块请求控制器根据请求参数中的账号信息查询到对应账户所支持的对象存储层实现，包括：所述业务模块请求控制器通过account.json查询对应账户支持的对象存储层；调用所述对象存储层实现对象存储。
[0010]在其中一个实施例中，所述系统包括ServiceType组件和StorageService组件，所述ServiceType组件对应StorageService接口实现的类型，至少包括MINIO、AWS_S3、FTP、SFTP、HBASE、HDFS类型；所述StorageService组件至少包括putObject、getObject、deleteObject接口。
[0011]在其中一个实施例中，所述业务模块所有对数据操作的请求经过所述业务模块请求控制器，所述业务模块请求控制器对putObject、getObject、deleteObject做定制控制。
[0012]在其中一个实施例中，系统默认账号配置中的账号为业务模块使用的账号，所述业务模块账号和对象存储层账号隔离。
[0013]根据本申请实施例一方面，提供多类型存储引擎对象存储方法，所述方法包括：引入AWSS3的用户且按照预设的规范实现对象数据的操作；对AWS S3、FTP、SFTP、HBase、HDFS中的各个用户进行封装，并对外开放AWSS3标准协议服务，接收业务模块通过发送的请求；将解析与封装后的请求数据转发到StorageService层，按照 AWS S3 协议规范响应StorageService层返回的数据解析，并返回至业务模块。
[0014]根据本申请实施例一方面，提供计算机可读介质，所述计算机可读介质存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时实现如前面实施例中所述的多类型存储引擎对象存储方法。
[0015]本申请实施例提供的多类型存储引擎对象存储系统、方法和计算机可读介质的有益效果为：本申请的系统包括：业务模块、服务模块、业务模块请求控制器和对象存储层；所述业务模块为对象存储的使用方，所述业务模块引入AWSS3的用户且按照预设的规范实现对象数据的操作；所述服务模块对AWS S3、FTP、SFTP、HBase、HDFS中的各个用户进行封装，并对外开放AWSS3标准协议服务，接收所述业务模块通过发送的请求；所述业务模块请求控制器用于处理请求数据的解析与封装，所述业务模块将解析与封装后的请求数据转发到StorageService层，按照 AWS S3 协议规范响应StorageService层返回的数据解析，并返回至所述业务模块。本申请的业务层只需要接入客户端即可实现对象数据存储，无需关心存储层实现，业务层在版本迭代和演进过程中可以轻易替换存储层而无需做任务修改重新对接不同的存储层；本申请的存储层数据安全保障性高。
[0016]本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本申请实施例提供的多类型存储引擎对象存储系统的主要组成部分示意
图；图2为本申请实施例提供的多类型存储引擎对象存储系统的组成部分和结构关系示意图；图3为本申请实施例提供的多类型存储引擎对象存储系统的工作流程示意图；图4为本申请实施例提供的多类型存储引擎对象存储方法的流程图。
具体实施方式
[0019]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0020]本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多类型存储引擎对象存储系统，其特征在于，所述系统包括：业务模块、服务模块、业务模块请求控制器和对象存储层；所述业务模块为对象存储的使用方，所述业务模块引入AWSS3的用户且按照预设的规范实现对象数据的操作；所述服务模块对AWS S3、FTP、SFTP、HBase、HDFS中的各个用户进行封装，并对外开放AWSS3标准协议服务，接收所述业务模块通过发送的请求；所述业务模块请求控制器用于处理请求数据的解析与封装，所述业务模块将解析与封装后的请求数据转发到StorageService层，按照 AWS S3 协议规范响应StorageService层返回的数据解析，并返回至所述业务模块。2.根据权利要求1所述的多类型存储引擎对象存储系统，其特征在于，所述服务模块接收所述业务模块通过发送的请求后，所述服务模块对所述业务模块通过发送的请求进行内部适配，将内部适配后的请求转发到存储层。3.根据权利要求1所述的多类型存储引擎对象存储系统，其特征在于，所述系统还包括账号认证模块，所述账号认证模块用于对账号进行认证，所述账号认证模块生成配置文件，所述配置文件会作用在所述业务模块请求控制器中，当业务模块发送的请求进入所述业务模块请求控制器时，业务模块请求控制器校验请求参数中的accessKey参数和secretKey参数的合法性。4.根据权利要求1所述的多类型存储引擎对象存储系统，其特征在于，所述对象存储层具有自身服务地址和账号配置，当操作请求进入到所述业务模块请求控制器时，所述业务模块请求控制器根据请求参数中的账号信息，查询到对应账户所支持的对象存储层实现。5.根据权利要求4所述的多类型存储引擎对象存储系统，其特征在于，所述业务模块请求控制器根据请求参数中的账号信息查询到对应账户所支持的对象存储层...

【专利技术属性】
技术研发人员：黄天沛，李敏风，林少明，
申请(专利权)人：广州市玄武无线科技股份有限公司，
类型：发明
国别省市：