数据处理方法及设备技术

本发明专利技术实施例提供一种数据处理方法及设备。该方法包括：根据数据的至少一个第一维度的信息在所述数据中确定热点数据；根据所述热点数据的至少一个第二维度的信息在数据库中查询所述热点数据；将查询到的所述热点数据从所述数据库加载到内存。有效地降低硬件配置要求，并提高数据处理性能。因此，将热点数据预加载到内存中，解决热点数据查询速率慢的问题，提高数据处理性能，且非将全部数据从数据库加载到内存，从而有效地降低硬件配置要求。

【技术实现步骤摘要】

本专利技术实施例涉及通信
，并且更具体地，涉及数据处理方法及设备。
技术介绍
OLAP (On-Line Analytical Processing,联机分析处理)是 BI(BusinessIntelligence,商业智能)领域中一个常用的技术，能够全方位查询、分析数据，通过OLAP报表将整体数据展现给用户。但是，由于OLAP服务器处理的数据量非常大，性能成为OLAP技术推广应用的瓶颈。在现有的OLAP实现技术中，使用了内存处理技术，即将数据库中的数据预先存储到内存，在生成OLAP报表时，通过OLAP服务器直接从内存查询并读取数据来提高性能。但是，在初始状态时，将全部数据从数据库加载到内存的耗时长，影响用户查询数据，并且内存配置的要求高，普通的服务器难以满足。
技术实现思路
本专利技术实施例提供一种数据处理方法及设备，能够提高数据处理性能，并有效地降低硬件配置要求。第一方面，提供了一种数据处理方法，该方法包括根据数据的至少一个第一维度的信息在所述数据中确定热点数据；根据所述热点数据的至少一个第二维度的信息在数据库中查询所述热点数据；将查询到的所述热点数据从所述数据库加载到内存。结合第一方面，在第一种实现方式中，在所述根据所述热点数据的至少一个第二维度的信息在数据库中查询所述热点数据之前，具体实现可以为生成缓存文件，所述缓存文件的内容包括所述数据的至少一个第一维度的信息和至少一个第二维度的信息。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，具体实现可以为所述缓存文件的内容还包括所述数据是否已在内存中的指示。结合第一方面或第一方面的第一种可能的实现方式或第二种可能的实现方式，在第三种可能的实现方式中，具体实现可以为对所述缓存文件的内容进行更新。结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述对所述缓存文件的内容进行更新，具体实现可以为根据用户查询的数据信息对所述缓存文件的内容进行更新；或者根据统计的数据信息对所述缓存文件的内容进行更新。结合第一方面或第一方面的第一种可能的实现方式至第四种可能的实现方式的任一种方式，在第五种可能的实现方式中，所述根据所述热点数据的至少一个第二维度的信息从数据库中查询所述热点数据，将所述热点数据的至少一个第二维度的信息解析为字段，生成结构化查询语言SQL语句；根据所述SQL语句从数据库中查询所述热点数据。结合第一方面或第一方面的第一种可能的实现方式至第五种可能的实现方式的任一种方式，在第六种可能的实现方式中，具体实现可以为接收联机分析处理OLAP服务器发送的用户查询的数据信息；根据所述用户查询的数据信息以及所述热点数据的至少一个第二维度的信息判断与所述用户查询的数据信息相对应的数据是否在所述内存中；如果判断出所述与所述用户查询的数据信息相对应的数据在所述内存中，则在所述内存中获取所述与所述用户查询的数据信息相对应的数据。结合第一方面的第六种可能的实现方式的任一种方式，在第七种可能的实现方式中，具体实现可以为将获取的所述与所述用户查询的数据信息相对应的数据发送给所述OLAP服务器，以便所述OLAP服务器根据所述与所述用户查询的数据信息相对应的数据生成OLAP报表，呈现给所述用户。第二方面，提供了数据处理设备，该设备包括确定单元，用于根据数据的至少一个第一维度的信息在所述数据中确定热点数据；查询单元，用于根据所述确定单元确定的所述热点数据的至少一个第二维度的信息在数据库中查询所述热点数据；加载单元，用于将所述查询单元查询到的所述热点数据从所述数据库加载到内存。结合第二方面，在第一种可能的实现方式中。所述设备还包括生成单元，用于生成缓存文件，所述缓存文件的内容包括所述数据的至少一个第一维度的信息和至少一个第二维度的信息。结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述生成单元还用于根据所述数据的信息对所述缓存文件的内容进行更新。结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述生成单元具体用于根据用户查询的数据信息对所述缓存文件的内容进行更新；或者根据统计的数据信息对所述缓存文件的内容进行更新。结合第二方面或第二方面的第一种可能的实现方式至第三种可能的实现方式的任一种方式，在第四种可能的实现方式中，所述查询单元具体用于将所述热点数据的至少一个第二维度的信息解析为字段，生成结构化查询语言SQL语句；根据所述SQL语句从数据库中查询所述热点数据。结合第二方面或第二方面的第一种可能的实现方式至第四种可能的实现方式的任一种方式，在第五种可能的实现方式中，所述设备还包括接收单元，所述接收单元，用于接收联机分析处理OLAP服务器发送的用户查询的数据信息；所述确定单元还用于根据所述用户查询的数据信息以及所述热点数据的至少一个第二维度的信息判断与所述用户查询的数据信息相对应的数据是否在所述内存中；所述加载单元还用于如果判断出所述与所述用户查询的数据信息相对应的数据在所述内存中，则在所述内存中获取所述与所述用户查询的数据信息相对应的数据。结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述设备还包括发送单元，所述发送单元，用于将获取的所述与所述用户查询的数据信息相对应的数据发送给所述OLAP服务器，以便所述OLAP服务器根据所述与所述用户查询的数据信息相对应的数据生成OLAP报表，呈现给所述用户。本专利技术实施例根据数据的至少一个第一维度的信息确定哪些数据为热点数据，根据该热点数据的至少一个第二维度的信息在数据库中查询热点数据，将查询到的热点数据从数据库加载到内存。因此，将热点数据预加载到内存中，解决热点数据查询速率慢的问题，提高数据处理性能，且非将全部数据从数据库加载到内存，从而有效地降低硬件配置要求。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例的数据处理方法的流程图。图2是本专利技术一个实施例的数据处理方法的过程的示意性流程图。图3是本专利技术一个实施例的数据处理设备的结构框图。图4是根据本专利技术另一个实施例的存储空间对象的处理设备的示意框图。具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例的技术方案可以应用于各种通信系统，例如全球移动通讯(GlobalSystem of Mobile communication,简称为 “GSM”)系统、石马分多址(Code DivisionMultiple Access,简称为 “CDMA”)系统、宽带码分多址(Wideband Code DivisionMultiple Access,简称为 “WCDMA”)系统、通用分组无线业务(General Packet RadioService,简称为 “GPRS”)、长期演进(L本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：根据数据的至少一个第一维度的信息在所述数据中确定热点数据；根据所述热点数据的至少一个第二维度的信息在数据库中查询所述热点数据；将查询到的所述热点数据从所述数据库加载到内存。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括根据数据的至少一个第一维度的信息在所述数据中确定热点数据；根据所述热点数据的至少一个第二维度的信息在数据库中查询所述热点数据；将查询到的所述热点数据从所述数据库加载到内存。2.如权利要求1所述的方法，其特征在于，在所述根据所述热点数据的至少一个第二维度的信息在数据库中查询所述热点数据之前，所述方法还包括生成缓存文件，所述缓存文件的内容包括所述数据的至少一个第一维度的信息和至少一个第二维度的信息。3.如权利要求2所述的方法，其特征在于，所述缓存文件的内容还包括所述数据是否已在内存中的指示。4.如权利要求1-3任一项所述的方法，其特征在于，所述方法还包括对所述缓存文件的内容进行更新。5.如权利要求4所述的方法，其特征在于，所述对所述缓存文件的内容进行更新，包括根据用户查询的数据信息对所述缓存文件的内容进行更新；或者根据统计的数据信息对所述缓存文件的内容进行更新。6.如权利要求1-5任一项所述的方法，其特征在于，所述根据所述热点数据的至少一个第二维度的信息从数据库中查询所述热点数据，包括将所述热点数据的至少一个第二维度的信息解析为字段，生成结构化查询语言SQL语句；根据所述SQL语句从数据库中查询所述热点数据。7.如权利要求1-6任一项所述的方法，其特征在于，所述方法还包括接收联机分析处理OLAP服务器发送的用户查询的数据信息；根据所述用户查询的数据信息以及所述热点数据的至少一个第二维度的信息判断与所述用户查询的数据信息相对应的数据是否在所述内存中；如果判断出所述与所述用户查询的数据信息相对应的数据在所述内存中，则在所述内存中获取所述与所述用户查询的数据信息相对应的数据。8.如权利要求7所述的方法，其特征在于，所述方法还包括将获取的所述与所述用户查询的数据信息相对应的数据发送给所述OLAP服务器，以便所述OLAP服务器根据所述与所述用户查询的数据信息相对应的数据生成OLAP报表，...

【专利技术属性】
技术研发人员：谭纪辉，朱星，刘鹏，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：