一种数据处理方法、装置以及OLAP系统制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置以及OLAP系统，OLAP系统包括内存计算组件和分布式存储组件；其中方法包括：获取用户查询请求，并提取用户查询请求中的查询参数，并按照预设格式将查询参数转换为目标查询参数，并将目标查询参数传输至内存计算组件；控制内存计算组件在分布式存储组件中查找出与目标查询参数对应的目标存储数据；控制内存计算组件对目标存储数据进行统计分析，以得到查询结果数据，并显示查询结果数据；其中，分布式存储组件是用于存储多个存储数据的组件，多个存储数据包括目标存储数据。采用本发明专利技术，可提升OLAP系统的查询速度，且更易于扩展。

Data processing method, device and OLAP system

The embodiment of the invention discloses a data processing method, device and OLAP system, OLAP system and distributed computing components including memory storage components; wherein the method comprises: acquiring user query requests, and extract the query parameters in the user query requests, and in accordance with the preset format will be converted to the target query query parameters and target parameters. The query parameter is transmitted to the memory computing component; control memory computing components to find the target storage and target data corresponding to the query parameters in distributed storage components; control memory computing components to the target storage of data for statistical analysis, to get the query result data, and display the results of the query data; the distributed storage components are used to store multiple components a data storage, a plurality of memory data including data storage target. By adopting the invention, the inquiry speed of the OLAP system can be promoted and the expansion rate of the system is easier to expand.

【技术实现步骤摘要】
一种数据处理方法、装置以及OLAP系统
本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置以及OLAP系统。
技术介绍
OLAP(OnlineAnalyticalProcessing，联机分析处理)系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且将查询结果提供给决策人员，以便他们准确掌握企业的经营状况，了解对象的需求，制定正确的方案。目前通常是使用infobright或Kylin(麒麟)来搭建OLAP系统。其中，使用Infobright来搭建OLAP系统的缺点是不能支持大数据量，且当数据量大时，查询速度很慢，并且不是分布式存储，扩展不方便。其中，在基于Kylin的OLAP系统中，使用的是Hive(基于Hadoop的一个数据仓库工具)来查询hbase(分布式的、面向列的开源数据库)中数据，且需要跑mapreduce(编程模型)任务，从而导致查询速度较慢。由此可见，目前的OLAP系统在查询速度和扩展方面依然存在较多缺陷。
技术实现思路
本专利技术实施例提供一种数本文档来自技高网...

【技术保护点】
一种基于OLAP系统的数据处理方法，其特征在于，所述OLAP系统包括内存计算组件和分布式存储组件；所述方法包括：获取用户查询请求，并提取所述用户查询请求中的查询参数，并按照预设格式将所述查询参数转换为目标查询参数，并将所述目标查询参数传输至所述内存计算组件；控制所述内存计算组件在所述分布式存储组件中查找出与所述目标查询参数对应的目标存储数据；控制所述内存计算组件对所述目标存储数据进行统计分析，以得到查询结果数据，并显示所述查询结果数据；其中，所述分布式存储组件是用于存储多个存储数据的组件，所述多个存储数据包括所述目标存储数据。

【技术特征摘要】
1.一种基于OLAP系统的数据处理方法，其特征在于，所述OLAP系统包括内存计算组件和分布式存储组件；所述方法包括：获取用户查询请求，并提取所述用户查询请求中的查询参数，并按照预设格式将所述查询参数转换为目标查询参数，并将所述目标查询参数传输至所述内存计算组件；控制所述内存计算组件在所述分布式存储组件中查找出与所述目标查询参数对应的目标存储数据；控制所述内存计算组件对所述目标存储数据进行统计分析，以得到查询结果数据，并显示所述查询结果数据；其中，所述分布式存储组件是用于存储多个存储数据的组件，所述多个存储数据包括所述目标存储数据。2.如权利要求1所述的方法，其特征在于，所述OLAP系统还包括界面交互组件和格式转换引擎；则所述获取用户查询请求，并提取所述用户查询请求中的查询参数，并按照预设格式将所述查询参数转换为目标查询参数，并将所述目标查询参数传输至内存计算组件，包括：控制所述界面交互组件获取用户查询请求并提取所述用户查询请求中的查询参数，以将所述查询参数传输至格式转换引擎；控制所述格式转换引擎将所述查询参数的格式转换为结构化查询语言SQL格式，并将为SQL格式的查询参数作为目标查询参数；控制所述格式转换引擎将所述目标查询参数传输至所述内存计算组件。3.如权利要求1所述的方法，其特征在于，所述OLAP系统还包括数据入库辅助组件；所述方法还包括：当检测到数据入库请求时，控制所述数据入库辅助组件生成与所述数据入库请求所携带的多个存储数据对应的第一入库表格，并将所述第一入库表格传输至所述内存计算组件；控制所述内存计算组件生成与所述多个存储数据对应的主键值，并将所述主键值添加至所述第一入库表格，以得到第二入库表格；控制所述分布式存储组件对所述多个存储数据进行存储；则所述控制所述内存计算组件在所述分布式存储组件中查找出与所述目标查询参数对应的目标存储数据，包括：控制所述内存计算组件在所述第二入库表格中查找与所述目标查询参数对应的查询路径；控制所述内存计算组件根据所述查询路径在所述分布式存储组件中查找与所述目标查询参数对应的目标存储数据。4.如权利要求1所述的方法，其特征在于，所述OLAP系统还包括分布式资源管理组件和分布式资源协调服务组件；所述分布式资源管理组件是用于对所述OLAP系统中的系统资源进行管理和控制的组件；所述分布式资源协调服务组件是用于对所述OLAP系统进行同步服务、配置维护和命名服务的组件。5.如权利要求1所述的方法，其特征在于，所述分布式存储组件中所存储的多个存储数据的存储格式为列式存储格式Parquet；所述分布式存储组件中所存储的多个存储数据均为压缩后的数据，所述压缩后的数据是由snappy压缩算法进行压缩所得到的。6.如权利要求1所述的方法，其特征在于，所述内存计算组件是Impala组件，所述分布式存储组件是HDFS组件。7.如权利要求2所述的方法，其特征在于，所述界面交互组件是Saiku组件，所述格式转换引擎是Mondrian引擎。8.如权利要求3所述的方法，其特征在于，所述数据入库辅助组件是Hive组件，所述第一入库表格是Hive表格，所述第二入库表格是Impala表格。9.如权利要求4所述的方法，其特征在于，所述分布式资源管理组件是YARN组件，所述分布式资源协调服务组件是Zookeeper组件。10.如权利要求1至9任一项所述的方法，其特征在于，还包括：基于所述OLAP系统创建多个存储分析模型，并根据业务场景信息在所述多个存储分析模型中选择对应的目标存储分析模型，并控制所述目标存储分析模型按照预设的存储分析规则对所述业务场景信息关联的业务数据进行存储、查询以及分析；其中，每个存储分析模型均关联有对应的存储分析规则，所述存储分析规则包括查询频率、分析维度变化状态、数据入库存储频率以及数据清理频率。11.一种基于OLAP系统的数据处理装置，其特征在于，所述OLAP系统包括内存计算组件和分布式存储组件；所述装置包括：获取转换模块，用于获取用户查询请求，并提取所述用户查询请求中的查询参数，并按照预设格式将所述查询参数转换为目标查询参数，并将所述目标查询参数传输至所述内存计算组件；第一控制模块，用于控制所述内存计算组件在所述分布式存储组件中查找出与所述目标查询参数对应的目标存储数据；第一控制模块，还用于控制所述内存计算组件对所述目标存储数据进行统计分析，以得到查询结果数据，并显示所述查询结果数据；其中，所述分布式存储组件是用于存储多个存储数据的组件，所述多个存储数据包括所述目标存储数据。12.如权利要求11所述的装置，其特征在于，所述OLAP系统还包括界面交互组件和格式转换引擎；则所述获取转换模块包括：界面控制单元，用于控制所述界面交互组件获取用...

【专利技术属性】
技术研发人员：戴智君，谢毅，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44