一种数据管理方法及系统、数据分析装置制造方法及图纸

本发明专利技术公开了一种数据管理方法及系统、数据分析装置。其中该方法包括：采集应用程序执行过的SQL语句，并进行持久化存储；分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。本发明专利技术通过对应用程序执行过的SQL语句进行分析，获得SQL语句访问对象的被访问次数，从而获得热点数据。通过在数据应用层面发现热点数据，准确地体现逻辑层面的对象(如表、索引等)的使用情况，进而可以准确地对热点数据进行管理，减少系统处理响应时间，提高系统处理相应速度，减少高端存储设备的需求，降低海量数据管理成本。

【技术实现步骤摘要】
一种数据管理方法及系统、数据分析装置
本专利技术涉及一种数据管理技术，尤其涉及一种数据管理方法及系统、数据分析装置。
技术介绍
随着我国电信行业的高速发展，特别是移动通信用户和宽带用户的不断增长，各家电信运营商存储和管理着各种各样的海量的数据。数据生命周期管理是解决海量数据管理的有效途径。由于传统的数据生命周期管理在定义数据生命时仅仅依据时间维度，具体的，就是将数据的生命周期管理简单的按照时间先后来进行，诸如账单、详单、交易记录等具有时间标签的对象，按照时间先后分别进行备份、归档、历史数据迁移等具体操作。现有的按照时间维度实现数据生命周期管理的方法存在以下缺陷：1、适用性差按照时间维度对数据进行管理的前提是数据具备如账单、交易纪律等有时间标签，对于那些本身无时间标签的数据，就无法按照传统方法进行生命周期管理。对于这些自身无时间标签的数据目前没有办法进行处理，只能像堆柴火一样存储在线存储中，日积月累的简单堆放，即占用了宝贵的在线高端存储资源，同时对于数据管理软件，如数据库等的日常运行造成很大的压力。这些随意存放的数据没有人能说清楚到底是否在用、到底能不能进行备份、归档和删除的维护操作。本文档来自技高网...

【技术保护点】
一种数据管理方法，其特征在于，包括：采集应用程序执行过的SQL语句，并进行持久化存储；分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：采集应用程序执行过的SQL语句，并进行持久化存储；分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据；还包括：记录所述访问对象的被访问时间、被访问次数及对象名称；计算每个周期内所述访问对象的平均被访问次数；根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。2.根据权利要求1所述的数据管理方法，其特征在于，所述分解所述SQL语句后还包括：存储分解得到的所述SQL语句的各要素，至少包括：Dbname、快照序号、语句类型和访问对象。3.根据权利要求1所述的数据管理方法，其特征在于，还包括：根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。4.根据权利要求3所述的数据管理方法，其特征在于，还包括：根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。5.根据权利要求3所述的数据管理方法，其特征在于，还包括：分别对不同档的访问对象进行相应的处理，包括：对于很热的访问对象，存储到固态硬盘或者cache在内存中；对于热的访问对象，进行在线高端存储；对于温的访问对象，进行在线中低端存储；对于凉的访问对象，进行数据归档；对于冷的访问对象，迁移历史库或离线存放。6.根据权利要求3所述的数据管理方法，其特征在于，所述分解存储的SQL语句的操作之前还包括：对所述SQL语句进行错误语句过滤。7.一种数据分析装置，其特征在于，包括：分解模块，用于分解SQL语句，得到所述SQL语句的访问对象；记录模块，用于记录在预设时间内各个访问对象的被访问次数；提取模块，用于根据被访问次数阈值提取相应的访问对象作为热点数据；还包括：计算模块和预测模块，其中，所述记录模块，记...

【专利技术属性】
技术研发人员：李吉元，
申请(专利权)人：中国移动通信集团甘肃有限公司，
类型：发明
国别省市：