一种数据查询方法和装置制造方法及图纸

本发明专利技术公开了一种数据查询方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收用户的数据查询任务，并将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器；通过与用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将数据查询任务分配到该可用任务代理服务器；通过可用任务代理服务器将数据查询任务提交到分布式集群以执行数据查询。该实施方式能够有效避免了不同团队平台用户对资源的争抢情况，并避免了任务代理服务器资源饱和而影响其他查询任务的情况，还可审计数据查询的历史轨迹。

A Data Query Method and Device

The invention discloses a data query method and device, which relates to the field of computer technology. One specific implementation of the method includes: receiving the user's data query task and submitting the data query task to the virtual server corresponding to the user group to which the user belongs; screening the available task proxy server from the corresponding multiple preset task proxy servers by the virtual server corresponding to the user group to which the user belongs, and assigning the data query task. Go to the available task proxy server; submit the data query task to the distributed cluster through the available task proxy server to execute the data query. The implementation can effectively avoid the contention for resources among users of different team platforms, avoid the situation that task proxy server resource saturation affects other query tasks, and audit the historical track of data query.

【技术实现步骤摘要】
一种数据查询方法和装置
本专利技术涉及计算机
，尤其涉及一种数据查询方法和装置。
技术介绍
目前很多中大型企业基于Hadoop(一个由Apache基金会所开发的分布式系统基础架构)技术生态系统建设了大数据平台与云平台，其最主要用途是实现大规模数据、多类数据源、大量数据计算，实现BI(BusinessIntelligence，即商务智能)数据统计分析，并提供企业决策支持与业务生产支持。如何在分布式集群中提供便捷、易用的数据查询服务，以快速响应不同人群的业务统计分析、数据提取、数据查询需求，是大数据平台建设的重要内容。目前的大数据查询实现方案主要是在开源Hadoop集群架构中通过采用Hadoop集群客户端提交Hive(基于Hadoop的一个数据仓库工具)查询命令，或者采用第三方厂商的大数据平台产品实现大数据查询。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：现有Hadoop原生架构中的集群客户端命令界面不便于各类业务与技术人员快速使用，需要申请对应的客户端权限，且现有Hadoop原生架构中的集群客户端命令界面操作繁琐，不便于快速上手使用；采购第三方产品不利于进行功能扩展，且采购费用高昂，不适用与大中型企业规模化应用。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据查询方法和装置，能够实现了一种对平台用户集群资源隔离、提交任务的任务代理服务器隔离且能自动分配任务代理服务器来运行大数据查询任务的简单易用的可视化数据查询机制，有效避免了不同团队平台用户对资源的争抢情况，并避免了任务代理服务器资源饱和而影响其他查询任务的情况，还可审计数据查询的历史轨迹。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据查询方法。一种数据查询方法，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，所述方法包括：接收用户的数据查询任务，并将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器；通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将所述数据查询任务分配到该可用任务代理服务器；通过所述可用任务代理服务器将所述数据查询任务提交到所述分布式集群以执行数据查询。可选地，接收用户的数据查询任务的步骤之前，包括：接收并保存查询配置信息，所述查询配置信息包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。可选地，通过Web可视化界面接收所述查询配置信息和所述用户的数据查询任务。可选地，将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器的步骤，包括：判断与所述用户所属的用户群组对应的虚拟服务器的当前并发任务数是否小于预设的并发任务数上限值，若是，则将所述数据查询任务立即提交到与所述用户所属的用户群组对应的虚拟服务器，否则，等待所述当前并发任务数小于所述预设的并发任务数上限值时再将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器。可选地，通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器的步骤，包括：通过与所述用户所属的用户群组对应的虚拟服务器定时轮询对应的各预设的任务代理服务器向Web服务端反馈的状态信息；根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲；如果当前存在状态空闲的任务代理服务器，则将其中一个状态空闲的任务代理服务器选取为可用任务代理服务器，否则，继续定时轮询所述状态信息，直到选取出所述可用任务代理服务器。可选地，所述状态信息包括所述各预设的任务代理服务器的CPU、内存、硬盘存储器、进程四类资源的利用率的实时数值，还包括所述各预设的任务代理服务器的实时并发任务数，根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲的步骤，包括：判断所述各预设的任务代理服务器的所述四类资源的利用率的实时数值是否小于预设阈值，并且判断所述各预设的任务代理服务器的实时并发任务数是否小于预设的最大并发任务数，如果一任务代理服务器的所述四类资源的利用率的实时数值小于所述预设阈值，且所述实时并发任务数小于所述预设的最大并发任务数，则该任务代理服务器当前的状态空闲，否则，该任务代理服务器当前的状态忙碌。可选地，所述用户的数据查询任务包括查询命令，接收用户的数据查询任务的步骤之后，包括：保存由所述用户的查询命令形成的数据查询轨迹。根据本专利技术实施例的另一方面，提供了一种数据查询装置。一种数据查询装置，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，所述装置包括：任务接收模块，用于接收用户的数据查询任务，并将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器；任务分配模块，用于通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将所述数据查询任务分配到该可用任务代理服务器；任务执行模块，用于通过所述可用任务代理服务器将所述数据查询任务提交到所述分布式集群以执行数据查询。可选地，还包括查询配置模块，用于：接收并保存查询配置信息，所述查询配置信息包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。可选地，还包括界面显示模块，用于通过Web可视化界面接收所述查询配置信息和所述用户的数据查询任务。可选地，所述任务接收模块还用于：判断与所述用户所属的用户群组对应的虚拟服务器的当前并发任务数是否小于预设的并发任务数上限值，若是，则将所述数据查询任务立即提交到与所述用户所属的用户群组对应的虚拟服务器，否则，等待所述当前并发任务数小于所述预设的并发任务数上限值时再将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器。可选地，所述任务分配模块还用于：通过与所述用户所属的用户群组对应的虚拟服务器定时轮询对应的各预设的任务代理服务器向Web服务端反馈的状态信息；根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲；如果当前存在状态空闲的任务代理服务器，则将其中一个状态空闲的任务代理服务器选取为可用任务代理服务器，否则，继续定时轮询所述状态信息，直到选取出所述可用任务代理服务器。可选地，所述状态信息包括所述各预设的任务代理服务器的CPU、内存、硬盘存储器、进程四类资源的利用率的实时数值，还包括所述各预设的任务代理服务器的实时并发任务数，所述任务分配模块还用于：判断所述各预设的任务代理服务器的所述四类资源的利用率的实时数值是否小于预设阈值，并且判断所述各预设的任务代理服务器的实时并发任务数是否小于预设的最大并发任务数，如果一任务代理服务器的所述四类资源的利用率的实时数值小于所述预设阈值，且所述实时并发任务数小于所述预设的最大并发任务数，则该任务代理服务器当前的状态空闲，否则，该任务代理服务器当前的状态忙碌。可选地，所述用户的数据查询任务包括查询命令，所述装置还包括轨迹保存模块，用于：保存由所述用户的查询命令形成的数据查询轨迹。根据本专利技术实施例的又一方面，提供了一种电子设备。一种电子设备，包括：一个或多个处理器；存储本文档来自技高网...

【技术保护点】
1.一种数据查询方法，其特征在于，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，所述方法包括：接收用户的数据查询任务，并将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器；通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将所述数据查询任务分配到该可用任务代理服务器；通过所述可用任务代理服务器将所述数据查询任务提交到所述分布式集群以执行数据查询。

【技术特征摘要】
1.一种数据查询方法，其特征在于，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，所述方法包括：接收用户的数据查询任务，并将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器；通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将所述数据查询任务分配到该可用任务代理服务器；通过所述可用任务代理服务器将所述数据查询任务提交到所述分布式集群以执行数据查询。2.根据权利要求1所述的方法，其特征在于，接收用户的数据查询任务的步骤之前，包括：接收并保存查询配置信息，所述查询配置信息包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。3.根据权利要求2所述的方法，其特征在于，通过Web可视化界面接收所述查询配置信息和所述用户的数据查询任务。4.根据权利要求1所述的方法，其特征在于，将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器的步骤，包括：判断与所述用户所属的用户群组对应的虚拟服务器的当前并发任务数是否小于预设的并发任务数上限值，若是，则将所述数据查询任务立即提交到与所述用户所属的用户群组对应的虚拟服务器，否则，等待所述当前并发任务数小于所述预设的并发任务数上限值时再将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器。5.根据权利要求1所述的方法，其特征在于，通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器的步骤，包括：通过与所述用户所属的用户群组对应的虚拟服务器定时轮询对应的各预设的任务代理服务器向Web服务端反馈的状态信息；根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲；如果当前存在状态空闲的任务代理服务器，则将其中一个状态空闲的任务代理服务器选取为可用任务代理服务器，否则，继续定时轮询所述状态信息，直到选取出所述可用任务代理服务器。6.根据权利要求5所述的方法，其特征在于，所述状态信息包括所述各预设的任务代理服务器的CPU、内存、硬盘存储器、进程四类资源的利用率的实时数值，还包括所述各预设的任务代理服务器的实时并发任务数，根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲的步骤，包括：判断所述各预设的任务代理服务器的所述四类资源的利用率的实时数值是否小于预设阈值，并且判断所述各预设的任务代理服务器的实时并发任务数是否小于预设的最大并发任务数，如果一任务代理服务器的所述四类资源的利用率的实时数值小于所述预设阈值，且所述实时并发任务数小于所述预设的最大并发任务数，则该任务代理服务器当前的状态空闲，否则，该任务代理服务器当前的状态忙碌。7.根据权利要求1所述的方法，其特征在于，所述用户的数据查询任务包括查询命令，接收用户的数据查询任务的步骤之后，包括：保存由所述用户的查询命令形成的数据查询轨迹。8.一种数据查询装置，其特征在于，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与...

【专利技术属性】
技术研发人员：杨泽森，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11