一种数据仓库优化方法和装置制造方法及图纸

本发明专利技术公开了一种数据仓库优化方法和装置，包括回收暂存模块、优化分析模块和存储调配模块，所述误删恢复模块用于恢复数据仓库组中误删的数据文件，并将恢复后的数据文件重新存储至数据仓库组中；所述回收暂存模块用于存放数据仓库组删除后的数据文件和数据仓库组中存放超时的数据文件，所述计时单元用于对回收暂存模块中存放的数据文件进行计时，并将计时信息发送至定时清理单元，所述定时清理单元接收计时单元发送的计时信息，并依据计时信息对回收暂存模块中达到时间阈值的数据文件进行定时清理，本发明专利技术在数据文件存储时，根据数据文件的数量、内存大小和上传时间及时调用适配存储空间的数据仓库，且数据仓库自身可以进行清理和瘦身。

【技术实现步骤摘要】
一种数据仓库优化方法和装置
本专利技术属于数据仓库应用领域，涉及数据仓库优化技术，具体是一种数据仓库优化方法和装置。
技术介绍
数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。在当前信息技术与数据智能大环境下，数据仓库在软硬件领域、Internet和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源，可以保存极大量的数据供分析使用，且允许使用多种数据访问技术。数据仓库在进行数据文件存储时，无法根据上传文件的数量和内存大小及时调用相应存储空间的数据仓库；数据仓库随着长时间运营具备一定规模，对数据仓库的要求就更加严苛，一旦数据仓库无法承受工作压力，将直接造成系统和各种业务的瘫痪，其损失也会是非常巨大的，而且目前的企业数据仓库参数的调整仍然主要依靠人工操作，难免出现凭经验设置的弊端，同时数据仓库的清理和瘦身也主要是根据应用生命周期进行清理，当数据仓库非常庞大时，各个对象之间的关系变得本文档来自技高网...

【技术保护点】
1.一种数据仓库优化装置，其特征在于，包括数据仓库组、数据采集模块、用户终端、误删恢复模块、回收暂存模块、优化分析模块和存储调配模块；/n若干个用户终端用于使用人员通过个人终端上传数据文件至数据仓库组，若干个用户终端与数据仓库组双向数据连接；所述数据采集模块用于获取数据仓库组和数据文件的基本信息，并将数据仓库组和数据文件的基本信息发送至优化分析模块；/n所述误删恢复模块用于恢复数据仓库组中误删的数据文件，并将恢复后的数据文件重新存储至数据仓库组中；所述回收暂存模块用于存放数据仓库组删除后的数据文件和数据仓库组中存放超时的数据文件，所述回收暂存模块包括计时单元和定时清理单元，所述计时单元用于对回...

【技术特征摘要】
1.一种数据仓库优化装置，其特征在于，包括数据仓库组、数据采集模块、用户终端、误删恢复模块、回收暂存模块、优化分析模块和存储调配模块；
若干个用户终端用于使用人员通过个人终端上传数据文件至数据仓库组，若干个用户终端与数据仓库组双向数据连接；所述数据采集模块用于获取数据仓库组和数据文件的基本信息，并将数据仓库组和数据文件的基本信息发送至优化分析模块；
所述误删恢复模块用于恢复数据仓库组中误删的数据文件，并将恢复后的数据文件重新存储至数据仓库组中；所述回收暂存模块用于存放数据仓库组删除后的数据文件和数据仓库组中存放超时的数据文件，所述回收暂存模块包括计时单元和定时清理单元，所述计时单元用于对回收暂存模块中存放的数据文件进行计时，并将计时信息发送至定时清理单元，所述定时清理单元用于接收计时单元发送的计时信息，并依据计时信息对回收暂存模块中达到时间阈值的数据文件进行定时清理，定时清理的工作过程具体如下：
W1：当数据文件i从数据仓库组中回收至回收暂存模块时，将系统当前时间记为数据文件的回收起始时间T0i，同时计时单元开始对回收暂存模块中存放的数据文件进行计时，i=1，2，……，n；
W2：设定数据文件在回收暂存模块中的时间阈值，并将时间阈值标记为TY1；
W3：利用计时单元对回收暂存模块中数据文件进行实时存放计时，获取系统当前时间并将当前时间记为T1i，利用公式TCi=T1i-T0i计算得到数据文件在回收暂存模块中的实时存放时间TCi；
W5：实时存放时间TCi与时间阈值TY1进行比对，若实时存放时间TCi小于时间阈值TY1时，定时清理单元不进行任何操作；若实时存放时间TCi大于等于时间阈值TY1时，回收暂存模块生成清理信号发送至用户终端，同时计时单元将清理信号的时间记为发送时间TFi；
W6：待用户终端接收到清理信号，同时计时单元将用户终端接收清理信号的时间记为接收时间TJi，利用公式TFCi=TJi-TFi计算清理信号的发送时长TFCi，若清理信号的发送时长TFCi大于时间阈值TY2，则判断清理信号发送超时，清理信号需要重新发送，若清理信号的发送时长TFCi小于等于时间阈值TY2，则判断清理信号发送正常，清理信号无需重新发送，此时清理信号显示在用户终端上，使用人员点击后继续保存信号和立即清理信号反馈至回收暂存模块，同时计时单元将使用人员点击清理信号的时间记为确认时间TQi；
W7：计算时间TQi与时间TJi之间的时间差，并将时间差记为使用人员确认清理信号的反应间隔时间TGi，若反应间隔时间TGi大于时间阈值TY3，产生的继续保存信号和立即清理信号无效且不反馈至回收暂存模块，若反应间隔时间TGi小于等于时间阈值TY3，产生的继续保存信号和立即清理信号有效且反馈至回收暂存模块；
W8：回收暂存模块依据立即清理信号启动定时清理单元，定时清理单元对回收暂存模块中达到时间阈值的数据文件进行删除清理。


2.根据权利要求1所述的一种数据仓库优化装置，其特征在于，所述用户终端在进行数据文件上传时，所述存储调配模块用于对上传的数据文件进行分配存储，分配存储过程具体如下：
S1：获取系统前一周用户终端上传的数据文件t，获取对应数据文件的上传时间，上传时间包括上传开始时间SKt和上传结束时间SJt，计算上传开始时间SKt和上传结束时间SJt之间的时间差得到每个数据文件的上传时间St，每个数据文件的上传时间St相加求和取平均值得到平均上传时间SPt；
S2：按照一天24小时划分进行时段划分，并将时段标记为r，r=1，2，……，24；提取数据文件中上传时间的时针时间，依据时针时间将数据文件归类至对应的时段中；
S3：获取每个时段的文件上传数SCr，利用公式Tr=SCr×SPt计算得到每个时段的文件上传总时间Tr；
S4：分别按照每个时段的文件上传数SCr和文件上传总时间Tr进行降序排列生成两个升序排列表；
S5：以升序排列表的左上角为圆点，升序排列表的横向为X轴，升序排列表的纵向为Y轴，分别得到每个时段在两个升序排列表中的位置坐标（XSCr，YSCr）、（XTr，YTr）；
S6：将位置坐标进行量化处理，利用公式计算得到处理值CLr，式中α和β均为预设比例系数固定数值，a=0.014754，β=1.2464794；
S7：获取步骤S6中的处理值CLr，设定预设值Y1、Y2、Y3和Y4，且Y1＜Y2＜Y3＜Y4，数据仓库组的存储空间由小到大分别为一级存储库、二级存储库、三级存储库、四级存储库和五级存储库；
S8：若CLr≤Y1，则启用一级存储库；
若Y1＜CLr≤Y2，则启用二级存储库；
若Y2＜CLr≤Y3，则启用三级存储库；
若Y3＜CLr≤Y4，则启用四级存储库；
若Y4＜CLr，则启用四级存储库。


3.根据权利要求1所述的一种数据仓库优化装置，其特征在于，所述优化分析模块用于对数据仓库组中的数据文件进行优化分析，并将优化分析结果反馈至数据仓库组，优化分析过程具体如下：
P1：获取数据仓库组的总空间，并将总空间标记为ZK；
P2：获取数据仓库组中存储的每个数据文件，并将数据文件标记为u，u=1，……，m；获取数据仓库组中存储的每个数据文件的占用空间Ku，利用求和公式计算得出若干个数据文件的当前占用总空间KZ；
P3：利用公式KZ/u计算得到每个数据文件u在数据仓库组中的平均占用空间KP；<...

【专利技术属性】
技术研发人员：梁致源，
申请(专利权)人：浙江争游网络科技有限公司，
类型：发明
国别省市：浙江;33