一种应用数据空间使用估算方法技术

本发明专利技术公开了一种应用数据空间使用估算方法，包括如下步骤：a)集中配置被监控主机的数据存储信息以及采集规则；b)根据配置信息采用统一时间和格式采集相关元数据；c)根据采集到的元数据统计被监控主机的数据空间使用消耗情况，并结合业务增长趋势和各类数据表的生命周期估算数据空间扩容计划；d)对元数据进行压缩归档，并根据配置的离线时间下线较早部分的元数据；对结果数据归档用作报表展示与历史趋势分析。本发明专利技术提供的应用数据空间使用估算方法，通过采集监控数据存储使用情况，准确地结合业务数据量增长趋势以及数据表生命周期成功实现对数据空间使用率与扩容计划的精确控制，大大降低故障发生率和管理成本，提高系统的稳定性。

【技术实现步骤摘要】

本专利技术设及一种数据存储处理方法，尤其设及。
技术介绍
应用系统从设计、开发、测试直至上线都伴随着数据的产生、使用与消亡，离开了 数据应用系统就像是没有车轮的车架寸步难行。目前大型企业数据主要存放于数据库中， 应用系统通过对数据的读、写、完成业务流程。随着业务系统的运行，数据不断的产生，数据 使用的空间也随之增长，同时也带来了性能与空间的双重问题，久而久之应用系统运行缓 慢，在业务高峰时甚至会遇到系统中断的异常情况。目前通过对数据库、存储空间使用监控 及时提醒空间使用情况，在告警后通过W下两种方法解决；1、存储空间扩容。2、寻找空间占 用较大的数据表，与维护部口确认并清理数据。 现有的方法一；通过存储空间扩容可W解决长期的空间问题，但是一旦已有空间 耗尽后就启动存储空间的扩容将会导致应用系统数据库容量无上限的增长，同时会带来较 大的性能问题。存储空间也是有限的，不合理的空间扩容将带来成本的大幅增加，并且扩容 申请的流程较长及时性低。 现有的方法二；通过空间使用率监控告警后，筛选空间占用较高的数据表与维护 部口确认清理，可W解决短期的空间问题，但是清理力度有限，问题经常反反复复需要消耗 大量的人力且效果不明显，甚至出现在数据清理后非维护部口投诉数据被清理的情况。 由上可见，W上两种方法存在资源与成本较高、资源扩容不及时等缺点。
技术实现思路
本专利技术所要解决的技术问题是提供，能够结合业 务数据量增长趋势成功实现对数据空间使用率与扩容计划的精确控制，大大降低故障发生 率和管理成本，提高系统的稳定性。 本专利技术为解决上述技术问题而采用的技术方案是提供一种应用数据空间使用估 算方法，包括如下步骤；a)集中配置被监控主机的数据存储信息W及采集规则；b)根据配 置信息采用统一时间和格式采集相关元数据；C)根据采集到的元数据统计被监控主机的 数据空间使用消耗情况，并结合业务增长趋势和各类数据表的生命周期估算数据空间扩容 计划；d)对元数据进行压缩归档，并根据配置的离线时间下线较早部分的元数据；对结果 数据归档用作报表展示与历史趋势分析。 上述的应用数据空间使用估算方法，其中，所述步骤a)中的采集规则包括设置采 集时间点、采集间隔、采集监控项和采集格式；所述被监控主机的数据存储信息包括各类数 据表的生命周期及其所属的业务模块，各类数据表所属的业务类型及等级，W及各类数据 表所属存储器的型号、总容量。 上述的应用数据空间使用估算方法，其中，所述采集监控项包括主机存储空间使 用量和数据库空间使用量，所述步骤b)定时获取被监控主机在采集时间点的数据库空间 使用总量、数据库空间空闲总量w及数据库表空间占用数量。 上述的应用数据空间使用估算方法，其中，所述步骤C)分别计算统计当月具有生 命周期业务数据所占空间W及当月其他数据所占空间，并根据上月具有生命周期业务数据 所占空间W及上月其他数据所占空间，分别确定周期性业务数据和其他数据每月占用空间 的净增长值；对于周期性业务数据，结合本月业务变化量W及上月净增长值估算扩容需求， 对于其他数据，如果占有空间超出预定阀值，进行异常报警处理。 上述的应用数据空间使用估算方法，其中，如果本月周期性业务数据所占空间与 数据库空间空闲总量的比值超过预设阀值，更新被监控主机上的数据表的生命周期配置， 并根据配置的离线时间下线较早部分的元数据，直至本月周期性业务数据所占空间与数据 库空间空闲总量的比值小于预设阀值。 上述的应用数据空间使用估算方法，其中，所述步骤d)展示当前系统中具有生命 周期的数据表占比，当月具有生命周期数据表空间增长占用量，当月数据表空间增长量与 增长趋势，剩余空间可使用天数W及过期数据未清理的使用空间月列表。 上述的应用数据空间使用估算方法，其中，所述步骤d)通过选择时间、绅度、图标 类型进行报表展示，并选择多个业务系统进行关联展示。 本专利技术对比现有技术有如下的有益效果；本专利技术提供的应用数据空间使用估算方 法，通过采集监控数据存储使用情况，准确地结合业务数据量增长趋势W及数据表生命周 期成功实现对数据空间使用率与扩容计划的精确控制，大大降低故障发生率和管理成本， 提高系统的稳定性。【附图说明】 图1为本专利技术应用数据空间使用估算主流程示意图； 图2为本专利技术应用数据空间使用估算详细流程示意图。【具体实施方式】下面结合附图和实施例对本专利技术作进一步的描述。 图1为本专利技术应用数据空间使用估算主流程示意图。 请参见图1，本专利技术提供的应用数据空间使用估算方法，包括如下步骤： 步骤S1 ;集中配置被监控主机的数据存储信息W及采集规则；所述采集规则包括 设置采集时间点、采集间隔、采集监控项和采集格式；所述被监控主机的数据存储信息包括 各类数据表的生命周期及其所属的业务模块，各类数据表所属的业务类型及等级，W及各 类数据表所属存储器的型号、总容量； 步骤S2 ;根据配置信息采用统一时间和格式采集相关元数据； 步骤S3 ;根据采集到的元数据统计被监控主机的数据空间使用消耗情况，并结合 业务增长趋势和各类数据表的生命周期估算数据空间扩容计划； 步骤S4;对元数据进行压缩归档，并根据配置的离线时间下线较早部分的元数 据；对结果数据归档用作报表展示与历史趋势分析。 现有技术方案中也采用优化与扩容解决，但是在问题发生之后才采取措施，属于 被动管理方式，因此存在诸多不确定性，导致管理成本的升高与处理及时性大大降低，本发 明则w业务数据为基础，通过统计单位时间内已配置的各类数据表生命周期与当前数据空 间消耗关系，统计数据空间使用趋势及需要的空间资源，进行提前优化或者提前扩容W满 足业务发展的需求。通过前瞻性的统计、分析在空间瓶颈与故障发生前将问题解决，实现业 务可持续性发展，降低用户管理成本、提升系统资源利用效率。[002引本专利技术主要由如下模块实现；统一采集模块（UAM，化iform Acquisition Module)、分布式分析模块（DAM, Distributed Analysis Module)、自定义配置与展示模块 (CCDM，Qistomize Configuration&Display Module)。各模块主要功能如下； 一、统一采集模块（UAM，UniformAcquisitionModule)，主要负责统一的空间使 用数据采集实时发送给DAM进行分析，功能如下： 1、根据监控配置自动在被监控主机上安装agent。 2、统一时间、格式对被监控主机空间使用情况进行采集。 3、通过消息队列方式将采集的信息实时发送到分布式分析模块。二、分布式分析模块（DAM，DistributedAnalysisModule)，主要负责采集信息的 集中分析，该模块为本专利技术中的核屯、功能，结合UCM中的配置信息实现功能如下： 1.数据空间消耗分布。 根据既定规则与算法，通过数据集中分析，实现单位时间内空间消耗明细分布。 2.估算系统资源扩容计划。 当空间消耗属于正常业务增长导致时，该模块可结合数据空间使用历史增长趋势 分析资源扩容计划。 S、自定义配置与展示模块（CCDM，QistomizeConfiguration&DisplayModule)， 主要负责系统与规则配置的本文档来自技高网...

【技术保护点】
一种应用数据空间使用估算方法，其特征在于，包括如下步骤：a)集中配置被监控主机的数据存储信息以及采集规则；b)根据配置信息采用统一时间和格式采集相关元数据；c)根据采集到的元数据统计被监控主机的数据空间使用消耗情况，并结合业务增长趋势和各类数据表的生命周期估算数据空间扩容计划；d)对元数据进行压缩归档，并根据配置的离线时间下线较早部分的元数据；对结果数据归档用作报表展示与历史趋势分析。

【技术特征摘要】

【专利技术属性】
技术研发人员：程永新，宋辉，陈波，
申请(专利权)人：上海新炬网络信息技术有限公司，
类型：发明
国别省市：上海;31