一种大数据的快速查询系统技术方案

本发明专利技术实施例提供了一种大数据的快速查询系统，所述系统包括：解析模块，当接收到用户经由Web页面发送的查询请求时，解析所述查询请求中的维度数组，所述维度数组中包含至少一个维度向量；获取模块，当所述维度数组满足第一预设条件时，获取所述维度数组中各个维度向量的差值范围；划分模块，依据所述各个差值范围，按预设的划分规则，将目标大数据划分为多个数据块；查询模块，依据所述各个维度向量，分别对每一个所述数据块进行数据查询，并将各个查询结果进行汇总，获得目标查询数据。应用本发明专利技术实施例，解决了传统数据处理方法实时性、高效性和交互性较差的问题。

A fast query system for large data

The embodiment of the invention provides a fast query system for large data, which includes an analytic module that parses an array of dimensions in the query request when it receives a query request sent by a user via a Web page. The dimension array contains at least one dimension to the quantity; the module is obtained, and the array of dimensions is described. When the first preset condition is met, the range of the difference value of each dimension vector in the array of dimensions is obtained; the module divides the large data into multiple data blocks according to the range of the difference values, and the large data is divided into multiple data blocks according to the preset partition rule; the query module goes into each of the data blocks according to the dimensions. Data query is done, and the results of each query are aggregated to obtain the target query data. The application of the invention solves the problem of poor real-time performance, high efficiency and poor interactivity of traditional data processing methods.

【技术实现步骤摘要】
一种大数据的快速查询系统
本专利技术涉及电子
，尤其涉及一种大数据的快速查询系统。
技术介绍
随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流，包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。如何从海量的数据中提取、获得想要的知识或感兴趣的信息，这是利用好大数据，进而更好地服务于社会发展的要求。因此，数据挖掘方法应运而生。数据挖掘是作为一门学科诞生于20世纪80年代，从技术的角度看就是从大量复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值的信息和知识的过程。在大数据应用领域，往往可以根据用户的各种行为特征将用户群体划分成若干类，以便于针对用户群的特征进行精准式、个性化的服务。聚类是对用户群体进行划分一种方式。聚类是将数据对象分成类的过程，使同一个类中的对象具有很高的相似度，而使不同类中的对象高度相异。相异度通常使用距离来进行度量。但是，聚类操作中针对用户行为特征对用户群体进行划分的效果在很大程度上依赖于基础数据的质量，现有的基于聚类算法的用户群体划分往往不能够很好的反映用户的行为特征，存在聚类不准确的问题，难以利用聚类结果对用户群进行精准式、个性化的服务。
技术实现思路
本专利技术实施例的目的在于提供一种大数据的快速查询系统，解决了传统数据处理方法实时性、高效性和交互性较差的问题，帮助用户实时地感知企业情况，从而提高企业管理效率和业务处理水平。为了达到上述目的，本专利技术实施例公开了一种大数据的快速查询系统，所述系统包括：解析模块，当接收到用户经由Web页面发送的查询请求时，解析所述查询请求中的维度数组，所述维度数组中包含至少一个维度向量；获取模块，当所述维度数组满足第一预设条件时，获取所述维度数组中各个维度向量的差值范围；划分模块，依据所述各个差值范围，按预设的划分规则，将目标大数据划分为多个数据块；查询模块，依据所述各个维度向量，分别对每一个所述数据块进行数据查询，并将各个查询结果进行汇总，获得目标查询数据。可选的，所述获取模块包括：比较单元，将所述维度数组与已存储的各个历史维度数组进行逐一比较。可选的，所述获取模块包括：判断单元，判断是否存在目标历史维度数组，所述目标历史维度数组中的各个维度向量均包含在当前所述维度数组中。可选的，所述判断单元包括：第一判断子单元，依据所述各个维度向量的维度属性，获取所述维度数组中各个维度向量的差值范围，判断所述目标历史维度数组中的维度向量的数量是否与所述当前维度数组中的维度向量的数量相同；可选的，所述判断单元包括：第二判断子单元，判断是否调用目标历史维度数组，若所述目标历史维度数组中的维度向量的数量与所述当前维度数组中的维度向量的数量相同，直接调用所述目标历史维度数组所查询的历史查询数据，将所述历史查询结果作为目标查询数据。可选的，所述目标历史维度数组中的维度向量的数量与所述当前维度数组中的维度向量的数量不相同，按预设的划分规则，将所述历史查询数据划分为多个数据块，依据所述各个维度向量，分别对每一个数据块进行查询。可选的，所述划分模块包括：确定单元，确定各个差值范围的优先级；分块单元，依据优先级最高的差值范围，将所述目标大数据划分为多个数据块。本专利技术实施例提供的大数据的快速查询系统，与现有技术相比，本专利技术有如下优点：1、处理速度快：系统架构方案采用大数据技术对计算、存储任务进行合理调度，可以充分发挥系统中每一个集群节点的运算能力；业务需求增长时，能够方便地通过添加集群节点来扩展系统规模、提升系统性能。2、用户体验较好：系统支持多种终端运行，支持各级校情指标的实时可视化，提供简单直观的交互方式；3、灵活度高：可以根据本企业的实际情况灵活创建、配置分析模型；系统采用分层设计，易于部署实施、升级维护。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的大数据的快速查询系统的第一种结构示意图。图2为本专利技术实施例提供的大数据的快速查询系统的第二种结构示意图。图3为本专利技术实施例提供的大数据的快速查询系统的第三种结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1至图3所示，为本专利技术实施例提供的大数据的快速查询系统的结构示意图，以下分别进行详细说明。解析模块601，获取模块602，划分模块603，查询模块604。其中：所述解析模块601，当接收到用户经由Web页面发送的查询请求时，解析所述查询请求中的维度数组，所述维度数组中包含至少一个维度向量；所述获取模块602，当所述维度数组满足第一预设条件时，获取所述维度数组中各个维度向量的差值范围；所述划分模块603，依据所述各个差值范围，按预设的划分规则，将目标大数据划分为多个数据块；所述查询模块604，依据所述各个维度向量，分别对每一个所述数据块进行数据查询，并将各个查询结果进行汇总，获得目标查询数据。本专利技术实施例提供了一种大数据查询系统，解析模块需要对用户经由Web页面发送的查询请求进行解析，解析所述查询请求中的维度数组，所述维度数组中包含至少一个维度向量；获取模块需要当所述维度数组满足第一预设条件时，获取所述维度数组中各个维度向量的差值范围；划分模块需要依据所述各个差值范围，按预设的划分规则，将目标大数据划分为多个数据块；查询模块需要依据所述各个维度向量，分别对每一个所述数据块进行数据查询，并将各个查询结果进行汇总，获得目标查询数据。避免了现有技术中对大数据整体进行查询，做到快速准确定位目标数据。需要说明的是，所述大数据查询系统，是一个完整的系统，可以单独使用也可以与其它系统配合使用。在图1的基础上，参考图2，图2示出了本专利技术实施例提供的系统的又一结构图，所述获取模块601，包括：比较单元605和判断单元606。其中：所述比较单元605，将所述维度数组与已存储的各个历史维度数组进行逐一比较；所述判断单元606，判断是否存在目标历史维度数组，所述目标历史维度数组中的各个维度向量均包含在当前所述维度数组中。在图2的基础上，参考图3，图3示出了本专利技术实施例提供的系统的又一结构图，所述判断单元，包括：第一判断子单元和第二判断子单元。其中：所述第一判断子单元，依据所述各个维度向量的维度属性，获取所述维度数组中各个维度向量的差值范围。判断所述目标历史维度数组中的维度向量的数量是否与所述当前维度数组中的维度向量的数量相同；所述第二判断子本文档来自技高网...

【技术保护点】
1.一种大数据的快速查询系统，其特征在于，所述系统包括：解析模块，当接收到用户经由Web页面发送的查询请求时，解析所述查询请求中的维度数组，所述维度数组中包含至少一个维度向量；获取模块，当所述维度数组满足第一预设条件时，获取所述维度数组中各个维度向量的差值范围；划分模块，依据所述各个差值范围，按预设的划分规则，将目标大数据划分为多个数据块；查询模块，依据所述各个维度向量，分别对每一个所述数据块进行数据查询，并将各个查询结果进行汇总，获得目标查询数据。

【技术特征摘要】
1.一种大数据的快速查询系统，其特征在于，所述系统包括：解析模块，当接收到用户经由Web页面发送的查询请求时，解析所述查询请求中的维度数组，所述维度数组中包含至少一个维度向量；获取模块，当所述维度数组满足第一预设条件时，获取所述维度数组中各个维度向量的差值范围；划分模块，依据所述各个差值范围，按预设的划分规则，将目标大数据划分为多个数据块；查询模块，依据所述各个维度向量，分别对每一个所述数据块进行数据查询，并将各个查询结果进行汇总，获得目标查询数据。2.根据权利要求1所述的一种大数据的快速查询系统，其特征在于，所述获取模块包括：比较单元，将所述维度数组与已存储的各个历史维度数组进行逐一比较。3.根据权利要求1所述的一种大数据的快速查询系统，其特征在于，所述获取模块包括：判断单元，判断是否存在目标历史维度数组，所述目标历史维度数组中的各个维度向量均包含在当前所述维度数组中。4.根据权利要求1所述的一种大数据的快速查询系统，其特征在于，所述判断单元包括：第一判断子单元，依据所...

【专利技术属性】
技术研发人员：郑英，
申请(专利权)人：广东聚晨知识产权代理有限公司，
类型：发明
国别省市：广东,44