一种基于时间容量分析的数据仓库主机资源预测方法技术

本发明专利技术涉及一种对商业智能系统中核心数据仓库服务器处理能力的预测方法，尤其是一种基于时间容量分析的数据仓库主机资源预测方法。包括如下步骤：（１）建立数据仓库服务器的关键参数与目标期末服务器能力需求的关联模型；（２）利用预测分析系统对数据仓库服务器的关键参数进行预测估算；（３）利用数据仓库服务器关键参数的最终估算值和关联模型，用预测分析系统计算出目标期末服务器能力需求。本发明专利技术充分考虑了时长因素和业务变动对系统造成的影响，能够更加准确地预测出数据仓库服务器对资源的需求情况，为企业充分利用投资、确保建设进度提供保障。

【技术实现步骤摘要】

本专利技术涉及一种对商业智能系统中核心数据仓库服务器处理能力的预测方 法，尤其是。
技术介绍
商业智能系统(简称BI系统)的概念最早在1996年提出，其定义为一 类由数据仓库(或数据集市)、査询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以辅助决策为目的技术及其应用。目前，BI系统通常被理解为将现有的数据转化为知识，帮助做出明智的业务经营决策的工具。而数据仓库则是BI系统的核心和基础。目前BI系统在电信、邮政、银行、证券、物流、 保险、商业等行业有较广泛的应用，在统计、税务、工商、物价、社保、经贸 委、计委等政府机构也有应用。本专利技术探讨的是一种通用的数据仓库服务器处理能力的预测方法，出于描 述方便考虑，本文以电信行业数据仓库能力测算为例；其他行业应用时，使用 相应概念替换公式中参数即可使用，如使用储户数量、投保人数量替换用户数， 储户交易条数替换话单量等。目前，在进行数据仓库资源需求预测和规划时， 一般釆用两种方法，即基 于软件厂家业务模型的能力预测方法(以下简称业务模型法)，以及根据当前服 务器使用情况、使用业务量(用户数)类比推算建设目标期末资源需求的能力 预测方法(以下简称业务量类比法)。具体来i兑，业务模型法一般如下进行① 、建设单位或设计单位根据一定模型给出建设目标期末的建设规模。② 、厂家根据此用户规模，结合自己的经验及软件特点，给出计算模型。③ 、厂家根据自己的经验及软件特点，给出估计的单位业务处理所需服务器资源需求。'④、根据计算模型及处理单位业务服务器能力需求，估算建设目标期末系 统服务器资源需求，计算公式为目标期末系统服务器资源需求=目标期末业务 量X单位业务处理所需服务器资源需求X (l+冗余系数)，冗余系数一般根据行 业通用经验及建设单位维护要求选定。用户数类比法一般如下进行根据一定模型得出建设目标期末的业务量(用户数)规模① 、获取服务器当前忙时利用率，结合设备标称处理能力，计算当前忙时 服务器资源。② 、根据当前系统资源使用情况，以及业务量增长情况，推算建设目标期 末服务器资源需求。计算公式为目标期末服务器资源需求=(目标期末业务 量+当前业务量)X当前使用服务器资源X (l+冗余系数)。以上两种方法均存在缺点，无法保证预测结果的准确性。 (1)业务模型法此方法的主要问题在于预测模型主要依据厂家提供的数据，主观因素过多， 无法保证预测结果的准确性。① 、BI系统并非是一成不变的系统，随着业务需求的变动，系统会经常地 修改或者增加新的功能点，业务模型与政府的政策法规、用户行为、企业的营 销策略等等因素有关；而业务模型法是一种静态方法，此方法默认的前提是系 统业务保持不变，即根据当前的业务模式估算目标期能力需求，缺乏对数据变 化趋势的分析，所得数据仓库能力可能偏离实际情况较大；② 、模型中关键参数为应用软件开发商实验室数据；由于实验室环境与实 际环境在服务器平台及设备配置、操作系统平台、数据库平台均有一定的差异， 且实验室环境很难模拟实际业务环境中的复杂场景，最终导致对于相关业务的 服务器处理能力预测产生偏差；③ 、模型中关键参数来源于应用软件开发商，而应用软件开发商出于某些 商业目的，提供的相应的参数在客观性上有待商榷。(2)业务量类比法此方法的问题主要在于以当前系统运行场景来预测目标期末运营场景，预 测结果容易偏小。① 、预测过程中没有考虑到系统规模增长、业务与营销变动等因素引起的 单位用户资源开销的变化，未针对以上因素进行合理调整，导致结果的偏差；② 、此方法是根据当前的CPU使用资源类比规划期末系统CPU资源需求； 当前CPU使用资源=设备处理能力值乂当前忙时CPU利用率。而数据仓库服务器在忙时(如数据转换、装载、入库，进行各类汇总等)， 不管目前服务器处理能力能力大小，CPU利用率始终接近100% ;因此仅使用 CPU忙时利用率无法客观衡量当前系统资源的使用情况。
技术实现思路
本专利技术提供了，它更 加贴近实际的真实情况，能够更加准确地预测出数据仓库服务器对资源的需求 情况，为企业充分利用投资、确保建设进度提供保障，解决了现有技术中存在 的问题。本专利技术为解决上述技术问题所采用的技术方案是 一种基于时间容量分析 的数据仓库主机资源预测方法，包括如下步骤-(1 )、建立数据仓库服务器的关键参数与目标期末服务器能力需求的关联模型，目标期末服务器能力需求=目标期单位用户时间容量X目标期末用户数 +目标期忙时时长；(2) 、利用预测分析系统对数据仓库服务器的关键参数进行预测估算；(3) 、利用数据仓库服务器关键参数的最终估算值和关联模型方程，用预 测分析系统计算出目标期末服务器能力需求。上述歩骤(2)包括 (21)、确定目标期末用户数和目标期忙时时长；(22) 、采集数据仓库服务器的服务器标称处理能力值和1 2年的每日的 系统忙时时长、系统处理用户数和服务器CPU利用率；(23) 、建立另一关联模型，每用户时间容量二服务器标称处理能力值X服务器CPU利用率X系统忙 时时长+系统处理用户数；(24) 、利用采集的数据和关联模型计算出每日每用户时间容量值，然后根 据每用户时间容量值做出相应趋势曲线，利用曲线拟合方法对做出的曲线进行 拟合得到最佳拟合曲线，通过该拟合曲线得到该曲线的数学模型；(25) 、利用该拟合曲线的数学模型计算出目标期单位用户时间容量。 本专利技术采用上述预测方法，具有如下优点(1) 、本方法考虑了时长因素，能够更加客观准确的衡量系统能力(2) 、充分考虑了业务变动对系统造成的影响，使预测结果更加准确；(3) 、提出了时间容量的概念，不仅可以更加客观准确的衡量系统能力， 而且可以忽略系统割接、设备换型造成的影响；举例来说，数据仓库服务器如 果在某个时刻发生了割接，服务器标称能力翻倍，则从类比法的趋势曲线中可 以发现一个很陡的上扬曲线，大大偏离系统实际使用情况，而使用时间容量则 不会出现此现象。附图说明图1为本专利技术所述预测方法的流程图。图2为本专利技术对数据仓库服务器的关键参数进行预测估算的流程图。 具体实施例方式为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图， 对本专利技术进行详细阐述。如图1所示，为本专利技术所述预测方法的流程图。包括如下步骤 (1 )、建立数据仓库服务器的关键参数与目标期末服务器能力需求的关联模型，目标期末服务器能力需求=目标期单位用户时间容量x目标期末用户数+目标期忙时时长；(2) 、利用预测分析系统对数据仓库服务器的关键参数进行预测估算；(3) 、利用数据仓库服务器关键参数的最终估算值和关联模型方程，用预测分析系统计算出目标期末服务器能力需求。本专利技术为上述步骤(2)提供了一种预测估算方法，如图2所示，包括如下 步骤(21) 、确定目标期末用户数和目标期忙时时长；(22) 、采集数据仓库服务器的服务器标称处理能力值和1 2年的每日的 系统忙时时长、系统处理用户数和服务器CPU利用率；(23) 、建立另一关联模型，每用户时间容量-服务器标称处理能力值X服务器CPU利用率X系统忙 时时长+系统处理用户数；(24) 、利用采集的数据和关联模型计算出每日每用户时间容量值，然后根 据每用户时间容量值做出相应趋势曲线，利用曲线拟合方法本文档来自技高网...

【技术保护点】
一种基于时间容量分析的数据仓库主机资源预测方法，其特征在于：包括如下步骤：　（１）、建立数据仓库服务器的关键参数与目标期末服务器能力需求的关联模型，　目标期末服务器能力需求＝目标期单位用户时间容量×目标期末用户数÷目标期忙时时长；　（２）、利用预测分析系统对数据仓库服务器的关键参数进行预测估算；　（３）、利用数据仓库服务器关键参数的最终估算值和关联模型方程，用预测分析系统计算出目标期末服务器能力需求。

【技术特征摘要】

【专利技术属性】
技术研发人员：付宏志，李方村，张誌，高卫荣，
申请(专利权)人：中国移动通信集团设计院有限公司，
类型：发明
国别省市：88[]