数据容量的可视化方法、系统及计算机可读存储介质技术方案

一种数据容量的可视化方法、系统及计算机可读存储介质，数据中心是数据的存储中心，指标划分器依据指标的不同所属，将指标进行领域的划分；相关性计算装置完成指标准备的同时，以最大信息系数的方式计算两两指标之间的相关系数；画像特征配置器依据风险评估方法为所有统计范围内的指标计算相应的风险指数，依据指标的风险指数统计出对应领域和系统的风险指数，进而为容量画像提供数据基础；全部或完成指定的重要指标间相关性计算后，可以通过图像的方式展示一个系统下领域内指标间的相关联程度。本发明专利技术数据容量的可视化方法，基于数据中心的指标，按领域划分后进行相关性计算，进而完成画像特征配置后得到以关系图为基础的容量画像。的容量画像。的容量画像。

【技术实现步骤摘要】
数据容量的可视化方法、系统及计算机可读存储介质


[0001]本专利技术涉及一种数据容量处理方法，具体的说，是涉及一种数据容量的可视化方法、系统及计算机可读存储介质。

技术介绍

[0002]随着银行金融业务在互联网上的高速发展，面向不同客户实现各种不同需求的业务系统在不断涌现迭代。业务总量和类型的急剧增加不可避免地使得多系统在受到银行整体纳管的过程难度直线上升。为满足银行对纳管系统的统筹管理，对大量不同类型的指标需要进行采集存储、关联关系挖掘、预测分析、告警预防等行为。
[0003]应运而生的容量管理本意是指致力于在恰当的时间以一种经济节约的方式为数据处理和存储提供所需的容量。而其作为系统有效实现其本身目的的现有技术与模式仍旧十分不足，处于探索中的状态。在管理过程中作为关键步骤的关联关系挖掘是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。而现有容量领域中关联挖掘的方式普遍基于经验判断选择挖掘主体指标，并应用常见的相关系数计算方法以获取目标指标间的关联性。通过不断人工两两选取指标并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据容量的可视化方法，其特征在于，该流程开始于步骤s101；步骤s102，数据中心持续进行各指标的数据采集，每个指标采集为每五分钟一个值时点类时序数据；步骤s103，所有指标的时序数据传递至指标划分器，依据领域、系统、标识、维度对指标进行划分；步骤s104，对划分后的指标进行时序数据的天维度加工，使得每个指标均有统一时间段内的每日数值；步骤s105，指标数据进入相关性计算装置，以系统为单位，过滤后进行指标在领域间的相关性计算；步骤s106，枚举所有涉及的系统(A1,A2,
…
,AN)；步骤s107，选择未计算相关性的系统Ai，枚举该系统下应用领域指标(U1,U2,
…
,UN)；判断该系统Ai的相关性是否计算完毕，计算完毕跳转步骤s108；否则选取下一个系统，跳转至步骤s106；步骤s108，选取系统Ai下应用领域某一指标Ui，与该系统下所有非应用领域指标依次做相关性计算，判断应用领域指标是否计算完毕，计算完毕，跳转至步骤s110；否则，选取下一个应用领域指标，跳转至步骤s107；同时跳转步骤s109；步骤s109，以系统为单位，应用领域为中心的关联关系图展示；步骤s110，所有指标数据及其相关性数值进入画像特征配置器，经由预设置的指标风险评估方法计算每个指标的风险指数；步骤s111，于相关性计算装置中，计算两两指标间时序数据的相关性，跳转至步骤s108；步骤s112，枚举所有涉及的系统(A1,A2,
…
,AN)；步骤s113，选择未构建画像的系统Ai，通过系统下指标间相关系数大于0.4过滤掉所有孤立指标；判断画像的系统Ai是否构建完毕，构建完毕跳转步骤s114，否则选取下一个系统，跳转步骤s112；步骤s114，枚举选择存在未过滤指标的系统，枚举该领域内未过滤指标(U1,U2,
…
,UN)；步骤s115，选取系统Ai下某领域某一指标Ui，依据风险评估方法计算该指标风险指数；判断系统Ai指标风险指数是否计算完毕，计算完毕跳转步骤s116，否则，选取下一个指标，跳转步骤s114；步骤s116，平均计算系统和领域下指标风险指数，得到系统与领域维度的指标风险指数并展示容量画像；步骤s117，结束。2.一种数据容量的可视化方法，其特征在于，在数据中心，对CCS
‑
B系统的大量指标进行监听抽取和管理，在完成抽取后将所有指标以系统为单位整体传递给指标划分器；在指标划分器中，所有CCS
‑
B系统下的指标首先依据领域进行划分，主要划分为应用领域{A}、系统领域{B}、存储领域{C}、数据库领域{D}四个部分；
对于这四个集合中，应用领域属于特殊的业务触发领域，而其他三个领域属于受业务影响的领域；后续的计算及关系图放置于应用领域与其他领域之间；指标划分器将指标划分至各个领域之后，对每个指标进行精准定位，即将每个指标的唯一标记(领域、系统、标识、维度)进行记录，并为每个指标的时序数据进行日频率的加工，最终保证每个指标是由领域、系统、标识、维度进行定位的一段时间内的日频率时序数据序列{d1,
…
,dn}；数据的加工来源自数据中心的监控及采集，完成以系统为最大划分的指标加工后，将每个指标的同时间段内的日频率时序数据传入相关性计算装置；在相关性计算装置中，任意指标在时间段内的每日均有一个数据值，每个数据值的合集构成一个指标U的时序数据序列{d1,
…
,dn}，其次每日日期的序列为{t1,
…
,tn}；依据流程描述，首先枚举所有系统{A1,A2,
…
,AN}，依次进行操作；系统为客服交易系统(CCS
‑
B)，枚举该系统下应用领域指标(U1,U2,
…
,UN)；选取系统CCS
‑
B下应用领域某一指标，假设该指标为日交易量(RJYL)，与该系统下所有非应用领域指标依次或依据需求有选择的做相关性计算；在全部或完成指定的重要指标间相关性计算后，可以通过图像的方式展示一个系统下领域内指标间的相关联程度。3.根据权利要求2所述数据容量的可视化方法，其特征在于：信息系数计算相关性的方法步骤如下：假设两个指标分别为RJYL和存储领域下某一服务器标识下的CPU使用率(CPUU)进行相关性计算；针对两个变量之间的关系离散在二维空间中，并且使用散点图来表示；两个指标的时序数据序列一一对应，构成时间段内的数据对，即可视为二维空间中的数据点；将当前二维空间在x,y方向分别划分为一定的区间数，然后查看当前的散点在各个方格中落入的情况，来计算分布的最大互信息数值，即可作为相关性数值；所以整个过程在一个给定边界的循环中，每次循环前给出一个当前的划分方法，根据变量离散化的分箱算法可以将二维平面在x轴和y轴上分割，形成分割后区域(xi,yi)并满足样本序列中任意点存在于一个分割后区域中，每次分割都存在该分割后独有的参数将其命名为划分度，并在该划分度下可以计算得到相应统计量，再不断增加划分度得到更多统计量，当枚举过程足够大时可以将离散数据整合为连续统计量；所述计算过程就是在划定枚举界限的前提下，计算每次划分中的互信息系数并取得最大值作为指标间关联关系度量方式。4.根据权利要求3所述数据容量的可视化方法，其特征在于：构成指标序列对并初始化用于分割平面的划分度参数k；划分度参数k初始化为两个较小的正整数，其数值由x轴划分数和y轴划分数组合得到，记为(a,b)；在所述方法中不断增加划分度并在每种划分中进行统计量的计算，为防止过量计算，不仅为划分总量做限制，同时划分差异也要限制；
给划分总量设定最大值不超过N
0.6
,N即为序列样本数，公式为a
×
b≤N
0.6
；给划分差异设定最大值不超过15，即公式满足|a
‑
b|≤15；给出初始化的划分k为(10,10)。5.根据权利要求4所述数据容量的可视化方法，其特征在于：基于某一划分...

【专利技术属性】
技术研发人员：姜帅，潘宇，翁云潞，王鸿一，
申请(专利权)人：江苏明月软件技术有限公司，
类型：发明
国别省市：