数据仓库中异常行为的处理方法及监测服务器技术

本发明专利技术提供一种数据仓库中异常行为的处理方法及监测服务器。其中，方法包括：监测服务器定时获取数据仓库中的系统表，所述系统表包括任务信息；所述监测服务器根据所述系统表中的任务信息，判断所述数据仓库的ETL过程是否存在异常行为；当判断出所述数据仓库的ETL过程存在异常行为时，所述监测服务器将异常行为信息记录到所述数据仓库中的异常信息记录表中；所述监测服务器将所述异常行为信息发送给运维监测设备。采用本发明专利技术技术方案，运维人员无需频繁查询数据仓库就可以及时获取异常行为信息，保证了数据仓库的安全性。

【技术实现步骤摘要】

本专利技术涉及数据仓库技术，尤其涉及一种数据仓库中异常行为的处理方法及监测服务器。
技术介绍
数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合，也就是说对所有应用系统，例如客户关系管理系统、财务系统等，按照主题进行集成并记录整个历史变化情况。数据抽取、转换、装载(Extract、Transform、Load ；简称为 ETL)的过程是构建数据仓库的重要过程，它通过抽取数据源中相关数据，对数据进行转换使其满足数据仓库的要求，并将数据加载到目的端的数据仓库中。在实际应用中，该ETL过程经常会有一些异常行为发生，例如提取了不相关的数据、经转换后的数据不符合数据仓库要求等，这些问题会让ETL过程崩溃，甚至会将错误带入数据仓库中。最初主要是由人工分析并监控该ETL过程来防止异常发生，但其效率较低、 质量也不高。于是出现了一些带有自动监测ETL过程工具的数据仓库，例如TERADATA， 其所提供的自动监测工具名为ETL AUTOMATION。该工具采用客户端/服务器(Client/ Server ；简称为-纖架构，通过数据仓库内部接口，由用户主动触发查询数据仓库ETL过程中各个任务的状态及相关日志，从而获取ETL过程中出现的异常行为以便于采取补救措施，该方式在检测效率和质量上都有了一定的提高。但是，该方式在检测效率和检测质量上的提高是以要求用户必须频繁主动触发状态查询操作为基础的，如果用户未能及时主动触发状态查询操作，就算ETL过程遇到异常， 用户也无法及时获知。
技术实现思路
本专利技术提供一种数据仓库中异常行为的处理方法及监测服务器，用以解决现有技术中用户需要手动按键切换视频输出模式的缺陷，实现视频输出模式的自动切换。本专利技术提供一种数据仓库中异常行为的处理方法，包括监测服务器定时获取数据仓库中的系统表，所述系统表包括任务信息；所述监测服务器根据所述系统表中的任务信息，判断所述数据仓库的ETL过程是否存在异常行为；当判断出所述数据仓库的ETL过程存在异常行为时，所述监测服务器将异常行为信息记录到所述数据仓库中的异常信息记录表中；所述监测服务器将所述异常行为信息发送给运维监测设备。本专利技术提供一种监测服务器，包括第一获取模块，用于定时获取数据仓库中的系统表，所述系统表包括任务信息；判断模块，用于根据所述系统表中的任务信息，判断所述数据仓库的ETL过程是否存在异常行为；记录模块，用于在所述判断模块判断出所述数据仓库的ETL过程存在异常行为时，将异常行为信息记录到所述数据仓库中的异常信息记录表中；第一发送模块，用于将所述异常行为信息发送给运维监测设备。本专利技术的数据仓库中异常行为的处理方法及监测服务器，监测服务器根据数据仓库中系统表中记录的任务信息来判断ETL过程是否出现异常，并在出现异常时将异常行为信息记录到数据仓库的异常信息表中并将异常行为信息发送到运维监测设备，以使运维人员及时获取到异常行为信息，进而及时采取相应处理措施，与现有技术相比，运维人员无需频繁的去查询数据仓库就可以及时获知异常行为信息，保证了数据仓库的安全性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的数据仓库中异常行为的处理方法的流程图；图2为本专利技术另一实施例提供的数据仓库中异常行为的处理方法的流程图；图3为本专利技术再一实施例提供的数据仓库中异常行为的处理方法的流程图；图4为本专利技术又一实施例提供的数据仓库中异常行为的处理方法的流程图；图5为本专利技术又一实施例提供的数据仓库中异常行为的处理方法的流程图；图6为本专利技术一实施例提供的监测服务器的结构示意图；图7为本专利技术另一实施例提供的监测服务器的结构示意图。具体实施例方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术一实施例提供的数据仓库中异常行为的处理方法的流程图。如图1 所示，本实施例的方法包括步骤101、监测服务器定时获取数据仓库中的系统表，该系统表包括任务信息。在每个数据仓库中都存在记录任务信息的系统表，任务信息主要是指与任务的 ETL过程相关的各种信息，例如任务的执行状态、任务的执行时间、任务的提交时间等等。不同数据仓库对应的系统表的实现方式不同，在一些数据仓库中该系统表以一张表实现，而在另一些数据仓库中该系统表可由多张表来实现，多张表用于分别存储不同的任务信息。以TERADATA数据仓库为例，本实施例的系统表包括ETL服务器映射关系表(ETL_ Server)、ETL 接收文件记录表(ETL_Received File)、ETL 任务列表(ETL_J0B)。其中，ETL_ Server主要用于存储任务与运行该任务的ETL服务器的映射关系，而ETL_Received File 主要用于记录该数据仓库对应的外部数据源、外部数据源上传数据文件的时间等信息， ETL_J0B主要用于记录每个任务的运行状态、历史执行时间等信息。其中，监测服务器定时登录数据仓库，获取其上的系统表。定时周期可以预先设定，且定时周期设定的越小监测服务器对数据仓库的监测就越频繁。定时周期可以根据实际情况来设定。步骤102、监测服务器根据系统表中的任务信息，判断数据仓库的ETL过程是否存在异常行为。如果判断结果为是，即数据仓库的ETL过程中存在异常行为，则执行步骤103 ； 如果判断结果为否，即数据仓库的ETL过程不存在异常行为，则执行步骤105。由于系统表中记录了与ETL过程相关的信息，因此，监测服务器根据系统表中的任务信息来判断数据仓库的ETL过程是否出现异常行为。例如监测服务器从任务信息中获取当前任务的执行状态信息，直接执行状态信息判断相应任务是否出现异常行为。以TERADATA数据仓库为例，监测服务器具体从ETL_ JOB中获取各条任务的执行状态信息。其中，一条任务的执行状态包括等待(pending)、运行(running)、执行成功(Done)或执行失败O^ail)，且各种状态的运行逻辑是先pending 再running最后Done或!^ail，其中，只要出现pending状态就应当出现running。该条任务对应的执行状态信息包括pending、running. Done或i^iil。其中，当监测服务器监测到一条任务的执行状态信息包括i^ail或者仅包括pending和Done而不包括running时，说明该条任务的ETL过程出现异常，则判定该执行状态信息对应的该条任务出现异常行为。其中，该异常行为主要出现的数据转换或加载过程中。又例如监测服务器从任务信息中执行状态信息仅包括pending或者仅包括 pending和running的任务(即执行状态为非Done或非i^iil的任务)的历本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：朱江，李炅宇，高大鹏，李凡，靳军，
申请(专利权)人：中国民生银行股份有限公司，
类型：发明
国别省市：