一种数据管理方法及系统、数据分析装置制造方法及图纸

本发明专利技术公开了一种数据管理方法及系统、数据分析装置。其中该方法包括：采集应用程序执行过的SQL语句，并进行持久化存储；分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。本发明专利技术通过对应用程序执行过的SQL语句进行分析，获得SQL语句访问对象的被访问次数，从而获得热点数据。通过在数据应用层面发现热点数据，准确地体现逻辑层面的对象(如表、索引等)的使用情况，进而可以准确地对热点数据进行管理，减少系统处理响应时间，提高系统处理相应速度，减少高端存储设备的需求，降低海量数据管理成本。

【技术实现步骤摘要】
一种数据管理方法及系统、数据分析装置
本专利技术涉及一种数据管理技术，尤其涉及一种数据管理方法及系统、数据分析装置。
技术介绍
随着我国电信行业的高速发展，特别是移动通信用户和宽带用户的不断增长，各家电信运营商存储和管理着各种各样的海量的数据。数据生命周期管理是解决海量数据管理的有效途径。由于传统的数据生命周期管理在定义数据生命时仅仅依据时间维度，具体的，就是将数据的生命周期管理简单的按照时间先后来进行，诸如账单、详单、交易记录等具有时间标签的对象，按照时间先后分别进行备份、归档、历史数据迁移等具体操作。现有的按照时间维度实现数据生命周期管理的方法存在以下缺陷：1、适用性差按照时间维度对数据进行管理的前提是数据具备如账单、交易纪律等有时间标签，对于那些本身无时间标签的数据，就无法按照传统方法进行生命周期管理。对于这些自身无时间标签的数据目前没有办法进行处理，只能像堆柴火一样存储在线存储中，日积月累的简单堆放，即占用了宝贵的在线高端存储资源，同时对于数据管理软件，如数据库等的日常运行造成很大的压力。这些随意存放的数据没有人能说清楚到底是否在用、到底能不能进行备份、归档和删除的维护操作。2、系统处理响应时间长，速度慢按照时间维度进行了生命周期管理的数据何时要被再次使用到或者何时需要在线访问都是不可知的。系统所需调用的数据可能存储在不同级别的存储资源上，系统调用数据速度慢，花费的响应时间较长。3、需要大量高端存储设备，成本高为了降低系统的处理响应时间，需要将大量的数据存储到在线高端存储设备上，对在线高端存储设备的存储空间要求较大，使得管理海量数据的成本大大增加。
技术实现思路
本专利技术的目的在于，提供一种数据管理方法及系统、数据分析装置，准确发现系统中使用频率较高的热点数据。为实现上述目的，根据本专利技术的一个方面，提供一种数据管理方法，包括：采集应用程序执行过的SQL语句，并进行持久化存储；分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。另外，所述分解所述SQL语句后还包括：存储分解得到的所述SQL语句的各要素，包括：Dbname、快照序号、语句类型和访问对象。优选地，该方法还包括：根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。更优地，该方法还包括：根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。更优地，该方法还包括：记录所述访问对象的被访问时间、被访问次数及对象名称；计算每个周期内所述访问对象的平均被访问次数；根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。该方法还包括分别对不同档的访问对象进行相应的处理，包括：对于很热的访问对象，存储到固态硬盘或者cache在内存中；对于热的访问对象，进行在线高端存储；对于温的访问对象，进行在线中低端存储；对于凉的访问对象，进行数据归档；对于冷的访问对象，迁移历史库或离线存放。在所述分解存储的SQL语句的操作之前还包括：对所述SQL语句进行错误语句过滤。为实现上述目的，根据本专利技术的另一个方面，提供一种数据分析装置，包括：分解模块，用于分解SQL语句，得到所述SQL语句的访问对象；记录模块，用于记录在预设时间内各个访问对象的被访问次数；提取模块，用于根据被访问次数阈值提取相应的访问对象作为热点数据。另外，该装置还包括：划分模块，用于根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。优选地，该装置还包括：图谱生成模块，用于根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。更优地，该装置还包括：计算模块和预测模块，其中，所述记录模块，记录各个访问对象的被访问时间、被访问次数及对象名称；所述计算模块，用于计算每个周期内所述访问对象的平均被访问次数；所述预测模块，用于根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。更优地，该装置还包括：过滤模块，用于在分解SQL语句之前，对所述SQL语句进行错误语句过滤。为实现上述目的，根据本专利技术的另一个方面，提供一种数据管理系统，包括：采集装置，用于采集应用程序执行过的SQL语句；持久化存储装置，用于对所述SQL语句进行持久化存储；数据分析装置，用于分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。该系统还包括：数据处理装置，其中，数据分析装置，进一步根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷；数据处理装置，分别对不同档的访问对象进行相应的处理：对于很热的访问对象，存储到固态硬盘或者cache在内存中；对于热的访问对象，进行在线高端存储；对于温的访问对象，进行在线中低端存储；对于凉的访问对象，进行数据归档；对于冷的访问对象，迁移历史库或离线存放。本专利技术的数据管理方法及系统、数据分析装置，通过对应用程序执行过的SQL语句进行分析，获得SQL语句访问对象的被访问次数，从而获得热点数据。通过在数据应用层面发现热点数据，准确地体现逻辑层面的对象(如表、索引等)的使用情况，进而可以准确地对热点数据进行管理，减少系统处理响应时间，提高系统处理相应速度，减少高端存储设备的需求，降低海量数据管理成本。附图说明图1是本专利技术数据管理方法实施例的流程图；图2是本专利技术“数据使用温度图谱”的示意图；图3是本专利技术热点数据预测实施例的流程图；图4是本专利技术数据分析装置实施例的结构图；图5是本专利技术数据管理系统实施例的结构图。具体实施方式热点数据是经常被用到的数据。数据只有被使用的时候才能体现其价值。在一定时间内数据被使用的次数能直接体现数据“冷”“热”程度。一定时间范围内的热点数据是系统中最有价值的数据，是系统中生命力最旺盛的数据。在存储硬件设备层面，目前已经有成熟的热点数据发现技术，但是这种技术是基于存储设备的磁盘层面的，无法体现逻辑层面的对象(如表、索引等)的“冷热”程度，具有一定的局限性。数据最终是被应用程序使用的，应用程序使用SQL语言来进行数据的访问，为此，可以通过记录分析一定时间内数据库层执行的应用SQL中访问到的数据对象来间接找到数据库中的热点对象。以下结合附图对本专利技术进行详细说明。方法实施例如图1所示，本专利技术数据管理方法实施例的具体流程如下：S102，采集应用程序执行过的SQL语句；S104，对采集的SQL语句进行持久化存储；数据库对于应用程序执行的SQL是记录在内存中的，每次数据库重启后所有重启前的SQL都是无法查到的。为了能全面分析执行过的SQL语句，需要实时将这些内存中记录的SQL语句进行持久化存储，如写入磁盘中，保存到现有的数据库中。S106，分解SQL语句，得到SQL语句的访问对象；分解SQL语句得到的各要素至少包括：Dbname、快照序号、语句类型和访问对象。还可以包括Where条件、索引名称、执行计划等信息。将SQL语句的各要素作为一个字段保存，存储SQL的表结构如下：Dbname快照本文档来自技高网...

【技术保护点】
一种数据管理方法，其特征在于，包括：采集应用程序执行过的SQL语句，并进行持久化存储；分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：采集应用程序执行过的SQL语句，并进行持久化存储；分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据；还包括：记录所述访问对象的被访问时间、被访问次数及对象名称；计算每个周期内所述访问对象的平均被访问次数；根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。2.根据权利要求1所述的数据管理方法，其特征在于，所述分解所述SQL语句后还包括：存储分解得到的所述SQL语句的各要素，至少包括：Dbname、快照序号、语句类型和访问对象。3.根据权利要求1所述的数据管理方法，其特征在于，还包括：根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。4.根据权利要求3所述的数据管理方法，其特征在于，还包括：根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。5.根据权利要求3所述的数据管理方法，其特征在于，还包括：分别对不同档的访问对象进行相应的处理，包括：对于很热的访问对象，存储到固态硬盘或者cache在内存中；对于热的访问对象，进行在线高端存储；对于温的访问对象，进行在线中低端存储；对于凉的访问对象，进行数据归档；对于冷的访问对象，迁移历史库或离线存放。6.根据权利要求3所述的数据管理方法，其特征在于，所述分解存储的SQL语句的操作之前还包括：对所述SQL语句进行错误语句过滤。7.一种数据分析装置，其特征在于，包括：分解模块，用于分解SQL语句，得到所述SQL语句的访问对象；记录模块，用于记录在预设时间内各个访问对象的被访问次数；提取模块，用于根据被访问次数阈值提取相应的访问对象作为热点数据；还包括：计算模块和预测模块，其中，所述记录模块，记...

【专利技术属性】
技术研发人员：李吉元，
申请(专利权)人：中国移动通信集团甘肃有限公司，
类型：发明
国别省市：