基于敏捷数据仓库的运维系统及方法技术方案

本发明专利技术涉及数据仓库运维管理技术领域，具体地说，涉及基于敏捷数据仓库的运维系统及方法。包括基建管理单元、运维作业单元、异常管理单元和定期任务单元；基建管理单元用于对基建设备进行管控；运维作业单元用于对运维工作进行分配管理；异常管理单元用于对异常情况进行监测并处理；定期任务单元用于设定定期任务对运维工作进行完善。本发明专利技术设计的系统可以减少人力投入、节省运维费用支出，可以监测数仓运行、快速发现异常，确保故障时业务不受影响，减少故障中断时间，提升数据仓库的运营能力；其运维方法可以减轻运维工作量、缩短耗时，有效减少出现检查遗漏的情况，提高运维工作的管理成效，并可统计记录运维情况，以便用户直观地查看。查看。查看。

【技术实现步骤摘要】
基于敏捷数据仓库的运维系统及方法


[0001]本专利技术涉及数据仓库运维管理
，具体地说，涉及基于敏捷数据仓 库的运维系统及方法。

技术介绍

[0002]随着大数据的快速发展、数据量的爆炸性增长，传统数据库已经无法满足 企业的需求，数据仓库也就应运而生。数据仓库是数据库的一种概念上的升级， 可以容纳更多的数据及更加庞大的数据集，其目标是实现跨系统数据共享、解 决信息孤岛、提升数据质量、辅助决策分析及提供统一的数据服务，为企业的 决策制定过程提供所有类型数据支撑的战略集合。同时，数据仓库的运行过程 中也面临着各种挑战，主要为：随着数据仓库的建设规模越来越大，这些数据 仓库系统往往拥有很大的服务器规模，再加上其他设备，一个大型数据仓库运 行过程中需要管理同时运行的大量设备，因此随着数据仓库业务的不断变化， 也伴随着数仓设备不断出现的各类故障问题，导致数据仓库的运维工作难以 管理且运维成本高昂。从而自动化运维、远程运维、智能网管以及敏捷运维等 都纷纷产生，经过几年的技术演进，目前只有敏捷运维却变得越来越火。数据 仓库的运维方式主要是由操作员通过工作机远程登陆到数据仓库系统中的相 关主机，对主机进行调度系统、数据库、磁盘、软件环境、数据情况等方面的 检查维护操作，查找批处理的运行情况并上报以便及时处理。然而，数据仓库 的运维工作量大、运维项目繁琐，目前却没有较为完善的数据仓库的运维系统 及方法，往往需要投入大量的运维人员，导致运维工作耗时长、成本高且容易 出现遗漏，鉴于此，我们提出了基于敏捷数据仓库的运维系统及方法。<br/>
技术实现思路

[0003]本专利技术的目的在于提供基于敏捷数据仓库的运维系统及方法，以解决上 述
技术介绍
中提出的问题。 说 明 书 2 为实现上述技术问题的解决，本专利技术的目的之一在于，提供了基于敏捷数 据仓库的运维系统，包括 基建管理单元、运维作业单元、异常管理单元和定期任务单元；所述基建 管理单元、所述运维作业单元、所述异常管理单元与所述定期任务单元依次通 过网络通信连接；所述基建管理单元用于对支撑系统运行的基建设备进行集 中的连接管控；所述运维作业单元用于对数仓的日常运维工作进行作业分配 和管理；所述异常管理单元用于对数仓及系统运行过程中的异常情况进行监 测并进行故障处理操作；所述定期任务单元用于通过程序设定定期的任务对 数仓的运维工作进行完善和补充； 所述基建管理单元包括数据仓库模块、运维终端模块、工具管理模块和用 户管理模块； 所述运维作业单元包括数据检查模块、数库检查模块、ETL 处理模块和异 常处理模块； 所述异常管理单元包括备份系统模块、故障监测模块、业务转移模块和隔 离自愈模块； 所述定期任务单元包括数据备份模块、运维日志模块、系统重启模块和总 结统计模块。 作为本技术方案的进一步改进，所述数据仓库模块、所述运维终端模块、 所述工具管理模块与所述用户管理模块依次通过网络通信连接；所述数据仓 库模块用于根据业务需求按照常规流
统的数据是否完全给出以判断下游脚本是否正常运行，筛查未给出的数据及 数据未给出的原因并进行上报反馈。 作为本技术方案的进一步改进，所述 ETL 处理模块包括报警反馈模块、 窗口监控模块、工作状态模块和数据转换模块；所述报警反馈模块、所述窗口 监控模块、所述工作状态模块与所述数据转换模块依次通过网络通信连接且 并列运行；所述报警反馈模块用于查看是否获取由客户方管理的硬件维护项 说 明 书 5 目及巡检报告；所述窗口监控模块用于按照预设的工具程序查看 ETL 监控窗 口是否存在脚本错误或其它异常的提示；所述工作状态模块用于按照预设程 序每隔一端时间查看监控窗口有否错误/异常提示以判断系统工作状态是否 正常，同时每隔一段时间查看监控窗口内是否存在长时间处于未完成状态的 作业；所述数据转换模块用于每日定时查看数据日期的转换作业完成情况并 记录完成时间，查看前一时间阶段完成的时间以作对比，并及时上报反馈存在 异常的情况。 作为本技术方案的进一步改进，所述备份系统模块、所述故障监测模块、 所述业务转移模块与所述隔离自愈模块依次通过网络通信连接；所述备份系 统模块用于通过原型化可开发方法，在数据仓库的应用过程中，另外构建一个 备份的业务操作系统；所述故障监测模块用于通过敏捷软件实时对数据仓库 的运行过程进行全年无中断的监测并可快速发现应用故障；所述业务转移模 块用于在检测到应用故障时自动执行切换动作，将业务转移到备用系统中以 确保业务不受影响；所述隔离自愈模块用于通过敏捷软件工具对故障部分进 行隔离，同时可以按照预设的排障程序对故障进行自愈，以便给运维人员进行 故障抢修赢得时间。 作为本技术方案的进一步改进，所述数据备份模块、所述运维日志模块、 所述系统重启模块与所述总结统计模块依次通过网络通信连接；所述数据备 份模块用于采用永久或每日循环的方式，通过调度机制调度脚本来触发工作， 在每日业务结束后对源数据、运行脚本、日志、数据库等进行备份并存储到磁 带库；所述运维日志模块用于由运维管理人员每日记录运维日志来进行每日 检查工作，以便随时查看系统的运行状况；所述系统重启模块用于按照预设程 序，在通知客户后与客户协作完成服务器的系统重启工作，以使批处理程序能 够完全释放内存，避免因程序长期运行、系统缓存被占用造成系统资源不足导 致的程序运行失败；所述总结统计模块用于定期对数仓的运行环境、系统的运 说 明 书 6 维情况、数仓出现过的异常故障情况等进行分类的总结统计，并自动生成对应 的报表图形以便上报。 本专利技术的目的之二在于，提供了基于敏捷数据仓库的运维方法，包括上述 所述的基于敏捷数据仓库的运维系统，包括如下步骤： S1、根据业务场景需求，按照常规流程，构建敏捷数据仓库并正常投入使 用； S2、在原数据仓库的架构体系中增设计算机处理器组件，通过开发工具研 发软件自动化管理平台，载入多种敏捷运维工具，并将运维系统与敏捷数据仓 库业务系统连接起来； S3、运维管理人员以合法身份访问系统，根据运维规则，通过预设的程序 及对应的运维工具，每日进行数据仓库的运维检查； S4、运维人员每日对数据仓库的常规数据、转定长传输情况、源数据传输 到达情况及下游系统数据发出完成情况进行检查，并反馈异常情况； S5、运维人员每日对数据仓库的 ETL 批处理过程进行巡检，包括硬件巡 检情况、脚本运行情况、工作状态、数据日期转换作业完成情况等，并反馈异 常情况； S6、运维管理人员获取上报的异常情况，制定异常处理方案并反馈给客户， 经客户批准后可执行方案来进行异常处理操作； S7、敏捷运维工具全年无休地监测系统运行过程，在发现故障情况时可自 动执行切换动作将业务转移到备用系统中，并隔离故障、尝试排障自愈，直到 运维人员完成抢修作业； S8、运维系统定期进行数据
备份、记录运维日志，并按照程序定期自动进 行重启操作，以保障系统的稳定运行，系统定期自动对所有运维情况的相关数 据进行总结统计，生成对应的报表图形； S9、数仓客户以合法身份登录系统，可以查看所有运维情况的工作记录， 说 明 书 7 并可提出运维管理的建议和需求，由系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于敏捷数据仓库的运维系统，其特征在于：包括 基建管理单元（100）、运维作业单元（200）、异常管理单元（300）和 定期任务单元（400）；所述基建管理单元（100）、所述运维作业单元（200）、 所述异常管理单元（300）与所述定期任务单元（400）依次通过网络通信连接； 所述基建管理单元（100）用于对支撑系统运行的基建设备进行集中的连接管 控；所述运维作业单元（200）用于对数仓的日常运维工作进行作业分配和管 理；所述异常管理单元（300）用于对数仓及系统运行过程中的异常情况进行 监测并进行故障处理操作；所述定期任务单元（400）用于通过程序设定定期 的任务对数仓的运维工作进行完善和补充； 所述基建管理单元（100）包括数据仓库模块（101）、运维终端模块（102）、 工具管理模块（103）和用户管理模块（104）； 所述运维作业单元（200）包括数据检查模块（201）、数库检查模块（202）、 ETL 处理模块（203）和异常处理模块（204）； 所述异常管理单元（300）包括备份系统模块（301）、故障监测模块（302）、 业务转移模块（303）和隔离自愈模块（304）； 所述定期任务单元（400）包括数据备份模块（401）、运维日志模块（402）、 系统重启模块（403）和总结统计模块（404）。2.根据权利要求 1 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述数据仓库模块（101）、所述运维终端模块（102）、所述工具管理模块（103） 与所述用户管理模块（104）依次通过网络通信连接；所述数据仓库模块（101） 用于根据业务需求按照常规流程搭建敏捷数据仓库的架构体系并正常投入使 用；所述运维终端模块（102）用于在数仓架构基础上增设部分终端设备以承 载运维系统的软件平台来支撑运维工作；所述工具管理模块（103）用于通过 开发工具开发软件自动化管理平台并载入多种敏捷运维工具来满足数仓运维 的需求；所述用户管理模块（104）用于给用户提供访问系统的通道并根据用 权 利 要 求 书 2 户的身份开放相应的操作权限。3.根据权利要求 2 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述工具管理模块（103）包括自动部署模块（1031）、数据扩容模块（1032）、 资源调配模块（1033）和配置下发模块（1034）；所述自动部署模块（1031）、 所述数据扩容模块（1032）、所述资源调配模块（1033）与所述配置下发模块 （1034）依次通过网络通信连接；所述自动部署模块（1031）用于通过软件自 动化管理使敏捷运维工具在平台上完成自动化部署，并通过工具实现数仓业 务的快速自动部署；所述数据扩容模块（1032）用于通过在敏捷运维软件工具 上做业务部署来实现数据中心的扩容操作，不需关注数仓基础架构的实现，也 不需增加运维人员，并可以增强运维工具的监控效果；所述资源调配模块 （1033）用于通过各敏捷软件工具之间的自动互联互通来快速进行底层的资 源调配；所述配置下发模块（1034）用于通过软件自动下发系统的底层资源调 配及网络配置。4.根据权利要求 3 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述资源调配模块（1033）中，资源调配过程中采用作业优先级算法，其计算 公式为： 푃푗 [
푖
] = 푃표 [
푖
] + 푁
ꢀ∗ꢀ
푇푤푎푖푡
； 其中，
푃표 [
푖
]为作业提交时指定的优先级，
푇푤푎푖푡
为作业在队列中等待的时 间，
푁
为常数因子，随着等待时间的增加，作业优先级动态的增加，直到增加 到阈值，即最高优先级。5.根据权利要求 2 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述数据检查模块（201）、所述数库检查模块（202）、所述 ETL 处理模块 （203）与所述异常处理模块（204）依次通过网络通信连接且并列运行；所述 数据检查模块（201）用于每日在数据仓库
启动批处理程序之前对源头的数据 和生产处的数据进行检查以确保当日批处理程序正常作业；所述数库检查模 权 利 要 求 书 3 块（202）用于每日定时查看数据仓库中包括 STAGE、APP_SPACE、PDM 等各子 库的空间情况，每日查看磁盘、磁带是否余有以便数据备份需求的足够空间， 并在空间不足时及时同时管理员来分配库空间或增加磁盘空间；所述 ETL 处 理模块（203）用于通过 ETL 批处理工具对数据仓库运行过程中的对数据进行 ETL 全过程中的各主要项目进行检测管理；所述异常处理模块（204）用于由 运维人员按照预设程序查找数仓问题、找到原因并上报，指定处理方案、在获 得数仓客户的授权后执行实时，并详细记录整个处理过程。6.根据权利要求 5 所述的基于敏捷数据仓库的运维系统，其特征在于： 所述数据检查模块（201）包括常规数据模块（2011）、转定长传输模块（2012）、 源数据传输模块（2013）和下游系统数据模块（2014）；所述常规数据模块 （2011）、所述转定长传输模块（2012）、所述源数据传输模块（2013）与所 述下游系统数据模块（2014）依次通过网络通信连接且并列运行；所述常规数 据模块（2011）...

【专利技术属性】
技术研发人员：王洋，孙佳亮，杜斌，
申请(专利权)人：中建材信云智联科技有限公司，
类型：发明
国别省市：