基于web的对象存储查询方法及装置制造方法及图纸

本发明专利技术提供了一种基于web的对象存储查询方法及装置，涉及计算机技术领域，包括接收web客户端发送的针对目标对象存储查询请求；基于预先确定的目标对象存储的Hive元数据，确定SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；基于待查询对象对应的存储地址以及待查询的表字段，从目标对象存储中获取目标内容，并对目标内容进行聚合操作，得到查询结果；将查询结果发送至web客户端。以此可以实现快速，高效的对对象存储进行查询，并且用户可以得到更清晰的查询结果，提升了查询效率。

【技术实现步骤摘要】
基于web的对象存储查询方法及装置
本专利技术涉及计算机
，尤其是涉及一种基于web的对象存储查询方法及装置。
技术介绍
随着云计算的快速发展，对象存储作为一个价格低廉、稳定、高效的存储存统被广泛应用，有格式化文件，比如网民的访问行为日志，还有非格式化文件，如视频文件等。当格式化存在对象存储后如何快捷使用是大家面临的一个问题，如何做到低成本且高效的使用是一个较大的挑战。当前分析数据存储数据的方案如下：通过调用对象存储接口，使用curl、wget或sdk编写程序将对象下载到本地，然后使用shell、Python等开发语言编程实现。或者，搭建hadoop集群，使用hadoop访问对象存储数据，通过编写MapReduce、Spark程序进行统计分析，也可以通过hive访问对象存储数据。但是，对于上述方案，对资源需求量大、成本高，每次需要将数据从对象存储拉取到本地，对本地磁盘的存储空间需求量比较大，同时也会带来带宽成本；耗时长，从对象拉取数据耗时长，由于是单机计算效率低。不易上手，需要有一定的开发能力，需要了解对象存储接口和脚本编程。
技术实现思路
本专利技术的目的在于提供一种基于web的对象存储查询方法及装置，以缓解了现有技术中存在的查询效率低的技术问题。第一方面，本专利技术实施例提供一种基于web的对象存储查询方法，包括：接收web客户端发送的针对目标对象存储查询请求，所述查询请求包括结构化查询语言(StructuredQueryLanguage，SQL)语句；<br>基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；基于所述待查询对象对应的存储地址以及待查询的表字段，从所述目标对象存储中获取目标内容，并对所述目标内容进行聚合操作，得到查询结果；将所述查询结果发送至所述web客户端。在可选的实施方式中，基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段的步骤，包括：基于预先确定的配置数据库中的预设要求，对所述SQL语句的格式进行变更；基于预先确定的所述目标对象存储的Hive元数据以及变更后的所述SQL语句，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段。在可选的实施方式中，在接收web客户端发送的针对目标对象存储查询请求的步骤之后，所述方法还包括：向权限管理系统申请所述目标对象存储的访问许可；在接收到所述权限管理系统发送的许可指示后，执行基于预先确定的所述目标对象存储的Hive元数据以及变更后的所述SQL语句，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段的步骤。在可选的实施方式中，在向权限管理系统申请所述目标对象存储的访问许可的步骤之前，所述方法还包括：向权限管理系统请求判断所述web客户端是否具有操作所述目标对象存储的权限；如果存在则执行向权限管理系统申请所述目标对象存储的访问许可的步骤。在可选的实施方式中，基于所述待查询对象对应的存储地址以及待查询的表字段，从所述目标对象存储中获取目标内容的步骤，包括：基于所述待查询对象对应的存储地址以及待查询的表字段生成多个子任务；并行执行所述子任务分别得到目标内容。在可选的实施方式中，对所述目标内容进行聚合操作，得到查询结果的步骤，包括：分别对目标内容进行第一次聚合得到子结果；对所述子结果进行第二次聚合得到所述查询结果。在可选的实施方式中，基于所述待查询对象对应的存储地址以及待查询的表字段，从所述目标对象存储中获取目标内容，并对所述目标内容进行聚合操作，得到查询结果的步骤基于MPP架构实现。第二方面，本专利技术实施例提供一种基于web的对象存储查询装置，包括：接收模块，用于接收web客户端发送的针对目标对象存储查询请求，所述查询请求包括结构化查询语言SQL语句；确定模块，用于基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；获取模块，用于基于所述待查询对象对应的存储地址以及待查询的表字段，从所述目标对象存储中获取目标内容，并对所述目标内容进行聚合操作，得到查询结果；发送模块，用于将所述查询结果发送至所述web客户端。第三方面，本专利技术实施例提供一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述前述实施方式任一项所述的方法。本专利技术提供的一种基于web的对象存储查询方法及装置，通过接收web客户端发送的针对目标对象存储查询请求；基于预先确定的目标对象存储的Hive元数据，确定SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；基于待查询对象对应的存储地址以及待查询的表字段，从目标对象存储中获取目标内容，并对目标内容进行聚合操作，得到查询结果；将查询结果发送至web客户端。以此可以实现快速，高效的对对象存储进行查询，并且用户可以得到更清晰的查询结果，提升了查询效率。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种基于web的对象存储查询方法流程示意图；图2为本申请实施例提供的一种基于web的对象存储查询系统的结构示例；图3为本申请实施例提供的一种基于web的对象存储查询方法的一个示例；图4为本申请实施例提供的一种基于web的对象存储查询装置结构示意图；图5为本申请实施例提供的一种计算机设备结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在本文档来自技高网...

【技术保护点】
1.一种基于web的对象存储查询方法，其特征在于，包括：/n接收web客户端发送的针对目标对象存储查询请求，所述查询请求包括结构化查询语言SQL语句；/n基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；/n基于所述待查询对象对应的存储地址以及待查询的表字段，从所述目标对象存储中获取目标内容，并对所述目标内容进行聚合操作，得到查询结果；/n将所述查询结果发送至所述web客户端。/n

【技术特征摘要】
1.一种基于web的对象存储查询方法，其特征在于，包括：
接收web客户端发送的针对目标对象存储查询请求，所述查询请求包括结构化查询语言SQL语句；
基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；
基于所述待查询对象对应的存储地址以及待查询的表字段，从所述目标对象存储中获取目标内容，并对所述目标内容进行聚合操作，得到查询结果；
将所述查询结果发送至所述web客户端。


2.根据权利要求1所述的方法，其特征在于，基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段的步骤，包括：
基于预先确定的配置数据库中的预设要求，对所述SQL语句的格式进行变更；
基于预先确定的所述目标对象存储的Hive元数据以及变更后的所述SQL语句，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段。


3.根据权利要求2所述的方法，其特征在于，在接收web客户端发送的针对目标对象存储查询请求的步骤之后，所述方法还包括：
向权限管理系统申请所述目标对象存储的访问许可；
在接收到所述权限管理系统发送的许可指示后，执行基于预先确定的所述目标对象存储的Hive元数据以及变更后的所述SQL语句，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段的步骤。


4.根据权利要求3所述的方法，其特征在于，在向权限管理系统申请所述目标对象存储的访问许可的步骤之前，所述方法还包括：
向权限管理系统请求判断所述web客户端是否具有操作所述目标对象存储的权限；
如果存在则执行向权限管理系统申请所述目标对象存储的访问许可的步骤。


5.根据权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：侯雪峰，王威，徐寅斐，祝贝贝，张振勇，王娜，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11