基于web的对象存储查询方法及装置制造方法及图纸

本发明专利技术提供了一种基于web的对象存储查询方法及装置，涉及计算机技术领域，包括接收web客户端发送的针对目标对象存储查询请求；基于预先确定的目标对象存储的Hive元数据，确定SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；基于待查询对象对应的存储地址以及待查询的表字段，从目标对象存储中获取目标内容，并对目标内容进行聚合操作，得到查询结果；将查询结果发送至web客户端。以此可以实现快速，高效的对对象存储进行查询，并且用户可以得到更清晰的查询结果，提升了查询效率。

【技术实现步骤摘要】
基于web的对象存储查询方法及装置
本专利技术涉及计算机
，尤其是涉及一种基于web的对象存储查询方法及装置。
技术介绍
随着云计算的快速发展，对象存储作为一个价格低廉、稳定、高效的存储存统被广泛应用，有格式化文件，比如网民的访问行为日志，还有非格式化文件，如视频文件等。当格式化存在对象存储后如何快捷使用是大家面临的一个问题，如何做到低成本且高效的使用是一个较大的挑战。当前分析数据存储数据的方案如下：通过调用对象存储接口，使用curl、wget或sdk编写程序将对象下载到本地，然后使用shell、Python等开发语言编程实现。或者，搭建hadoop集群，使用hadoop访问对象存储数据，通过编写MapReduce、Spark程序进行统计分析，也可以通过hive访问对象存储数据。但是，对于上述方案，对资源需求量大、成本高，每次需要将数据从对象存储拉取到本地，对本地磁盘的存储空间需求量比较大，同时也会带来带宽成本；耗时长，从对象拉取数据耗时长，由于是单机计算效率低。不易上手，需要有一定的开发能力，需要了解对象存储接口和脚本编本文档来自技高网...

【技术保护点】
1.一种基于web的对象存储查询方法，其特征在于，包括：/n接收web客户端发送的针对目标对象存储查询请求，所述查询请求包括结构化查询语言SQL语句；/n基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；/n基于所述待查询对象对应的存储地址以及待查询的表字段，从所述目标对象存储中获取目标内容，并对所述目标内容进行聚合操作，得到查询结果；/n将所述查询结果发送至所述web客户端。/n

【技术特征摘要】
1.一种基于web的对象存储查询方法，其特征在于，包括：
接收web客户端发送的针对目标对象存储查询请求，所述查询请求包括结构化查询语言SQL语句；
基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；
基于所述待查询对象对应的存储地址以及待查询的表字段，从所述目标对象存储中获取目标内容，并对所述目标内容进行聚合操作，得到查询结果；
将所述查询结果发送至所述web客户端。


2.根据权利要求1所述的方法，其特征在于，基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段的步骤，包括：
基于预先确定的配置数据库中的预设要求，对所述SQL语句的格式进行变更；
基于预先确定的所述目标对象存储的Hive元数据以及变更后的所述SQL语句，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段。


3.根据权利要求2所述的方法，其特征在于，在接收web客户端发送的针对目标对象存储查询请求的步骤之后，所述方法还包括：
向权限管理系统申请所述目标对象存储的访问许可；
在接收到所述权限管理系统发送的许可指示后，执行基于预先确定的所述目标对象存储的Hive元数据以及变更后的所述SQL语句，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段的步骤。


4.根据权利要求3所述的方法，其特征在于，在向权限管理系统申请所述目标对象存储的访问许可的步骤之前，所述方法还包括：
向权限管理系统请求判断所述web客户端是否具有操作所述目标对象存储的权限；
如果存在则执行向权限管理系统申请所述目标对象存储的访问许可的步骤。


5.根据权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：侯雪峰，王威，徐寅斐，祝贝贝，张振勇，王娜，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11