【技术实现步骤摘要】
一种数据仓库的处理方法、装置、设备及介质
[0001]本说明书涉及计算机
，尤其涉及一种数据仓库的处理方法、装置、设备及介质。
技术介绍
[0002]数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。数据仓库出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
[0003]数据仓库的数据是从原有的分散的数据库数据抽取来的。数据仓库的每一个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方，且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起。数据仓库中的综合数据不能从原有的数据库系统直接得到。基于数据仓库的复杂性，现有的数据仓库大都存在处理效率低的问题。
技术实现思路
[0004]本说明书一个或多个实施例提供了一种数据仓库的处理方法、装置、设备及介质，用于解决
技术介绍
提出的技术问题。
[0005]本说明书一个或多个实施例采用下述技术方案：
[0006]本说明书一个或多个实施例提供的一...
【技术保护点】
【技术特征摘要】
1.一种数据仓库的处理方法，其特征在于，所述方法还包括：在数据仓库平台中，通过预先设定的内存管理机制对集群组件进行存储管理，所述集群组件之间通过内存进行数据交换，在数据量变大时自动将数据缓冲至其他存储中以防止内存溢出；通过预先设定的自适应伸缩机制对所述集群组件进行弹性管理；通过预先设定的数据传输调配机制将数据传输方式发送至所述集群组件的各存储节点，以调节所述各存储节点的数据传输。2.根据权利要求1所述的方法，其特征在于，所述内存管理机制包括多种形式的缓冲存储接口；所述集群组件运行前，通过所述内存管理机制确定缓冲存储的类型和存储位置以及数据存储格式，当所述内存管理机制运行时，若达到预先设定的内存警戒线，将数据主动缓存至缓冲存储接口指定的存储系统中，若内存占用下降时，由所述集群组件自动将数据从缓冲存储中读出。3.根据权利要求1所述的方法，其特征在于，所述集群组件运行时，通过所述自适应伸缩机制对所述集群组件处理效率进行监控，若所述处理效率下降，对所述集群组件进行收缩处理。4.根据权利要求3所述的方法，其特征在于，所述对所述集群组件处理效率进行监控，若所述处理效率下降，对所述集群组件进行收缩处理，具体包括：监控当前处理任务的资源使用情况，得到当前数据处理的数据量；将所述当前数据处理的处理量与历史数据处理的处理量进行比较；若所述当前数据处理的处理量低于所述历史数据处理的处理量，将对应的集群组件进行收缩；通知待收缩集群组件的上下游集群组件，上游集群组件将当前处理数据发送后，下游集群组件一直运行，直到待收缩集群组件不再发送数据到来时；所述待收缩集群组件不再处理数据，没有数据到来且存量数据已经发送完毕，销毁所述待收缩集群组件。5.根据权利要求1所述的方法，其特征在于，若数据导入所述数据仓库平台时，将所述数据从应用数据库导入到hadoop数据仓库的hive数据库中，并配置关系数据库和hive数据库进行连接，选择关系库中的表并进行传输到hive数据仓库中指定的表中。6.根据权利要求1所述的方法，其特征在于，若数据导出所述数据仓库平台时，将所述数据从hadoop数据仓库的hive数据库中导入到dw层关系数据库中，并配置关系数据库和hive数据库在hdfs中的存储路径进...
【专利技术属性】
技术研发人员：蔺川，房金飞，刘天奇，
申请(专利权)人：浪潮通用软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。