一种hadoop任务监控方法及系统技术方案

一种hadoop任务监控方法，包括：(1)开始，执行初始化的操作；(2)获取用户白名单white users：通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；(3)获取任务白名单white tasks：通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；(4)获取正在运行的任务task set：通过hadoop的api获取任务集合；(5)判断task set是否为空，是则执行步骤(6)，否则执行步骤(8)；(6)从task set中移出一个任务task：从task set中取出一个任务；(7)检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到步骤(5)；(8)结束。还有系统。

A Hadoop task monitoring method and system

Including a Hadoop task monitoring method: (1) to perform initialization operation; (2) white users user white list: get a list of the name of the account with permissions by querying the database user name validity check for the following tasks; (3) the task of acquiring white white list tasks: get the task list by querying the database to check the legality of the task behind, on the white list to skip the task; (4) to obtain the running task task set: by Hadoop API to obtain the task set; (5) to determine whether set task is empty, is the step (6), otherwise the execution steps (8); (6) removed from the task set in a task task: remove a task from task set; (7) check the legality of single task: check the indicators of the task, judging whether the task is illegal, jump to step (5); (8). Beam. There is a system.

【技术实现步骤摘要】
一种hadoop任务监控方法及系统
本专利技术涉及大数据处理的
，尤其涉及一种hadoop任务监控方法，以及hadoop任务监控系统。
技术介绍
关于web页面实现的任务查看功能，目前用户只能查看web页面，如果任务严重拖累集群，只能手动发现、手动杀死kill。这样用户体验感很差，浪费大量劳动力。
技术实现思路
为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种hadoop任务监控方法，其自动实时监控hadoop集群的每个任务的资源占用情况，发现任务占用资源过多将会自动关闭任务。本专利技术的技术方案是：这种hadoop任务监控方法，该方法包括以下步骤：(1)开始，执行初始化的操作；(2)获取用户白名单whiteusers：通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；(3)获取任务白名单whitetasks：通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；(4)获取正在运行的任务taskset：通过hadoop的api获取任务集合；(5)判断taskset是否为空，是则执行步骤(6)，否则执行步骤(8)；(6)从taskset中移出一个任务task：从taskset中取出一个任务；(7)检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到步骤(5)；(8)结束。本专利技术通过整个过程自动判定执行，准实时保护hadoop系统的安全，自动实时监控hadoop集群的每个任务的资源占用情况，发现任务占用资源过多将会自动关闭任务。还提供了一种hadoop任务监控系统，该系统包括：初始化模块，其配置来执行初始化的操作；获取用户白名单模块，其配置来通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；获取任务白名单模块，其配置来通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；获取正在运行的任务模块，其配置来通过hadoop的api获取任务集合；判断模块，其配置来判断taskset是否为空，是则执行移出模块，否则结束；移出模块，其配置来从taskset中移出一个任务task：从taskset中取出一个任务；检查模块，其配置来检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到判断模块。附图说明图1所示为根据本专利技术的hadoop任务监控方法的流程图。图2所示为根据本专利技术的hadoop任务监控方法的步骤(7)的流程图。具体实施方式如图1所示，这种hadoop任务监控方法，该方法包括以下步骤：(1)开始，执行初始化的操作；(2)获取用户白名单whiteusers：通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；(3)获取任务白名单whitetasks：通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；(4)获取正在运行的任务taskset：通过hadoop的api获取任务集合；(5)判断taskset是否为空，是则执行步骤(6)，否则执行步骤(8)；(6)从taskset中移出一个任务task：从taskset中取出一个任务；(7)检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到步骤(5)；(8)结束。本专利技术通过整个过程自动判定执行，准实时保护hadoop系统的安全，自动实时监控hadoop集群的每个任务的资源占用情况，发现任务占用资源过多将会自动关闭任务。另外，如图2所示，所述步骤(7)包括以下分步骤：(7.1)初始化任务信息；(7.2)判断提交任务的用户是否在用户白名单中，是则执行步骤(7.3)，否则执行步骤(7.8)；(7.3)判断该任务是否为白名单任务，如果是则放弃检查，执行步骤(7.9)，否则执行步骤(7.4)；(7.4)判断检查任务的map数是否超出规定，如果是则执行步骤(7.8)，否则执行步骤(7.5)；(7.5)判断检查任务的reduce数是否超出规定，如果是则执行步骤(7.8)，否则执行步骤(7.6)；(7.6)判断检查任务的输出量是否超出规定，如果是则执行步骤(7.8)，否则执行步骤(7.7)；(7.7)判断检查任务的运行时间是否超出规定的长度，如果是则执行步骤(7.8)，否则执行步骤(7.9)；(7.8)杀死task，给用户发送邮件：判断该任务非法，杀死该任务并给提交该任务的用户发送通知邮件；(7.9)单个任务检查结束：单个任务检查结束，任务的部分信息记入数据库。另外，所述步骤(7.4)中，map数为20000个。另外，所述步骤(7.5)中，reduce数是1000个。另外，所述步骤(7.6)中，任务的输出量是5T。另外，所述步骤(7.7)中，规定的长度是10小时。本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本专利技术的方法相对应的，本专利技术还同时包括一种hadoop任务监控系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的系统包括：初始化模块，其配置来执行初始化的操作；获取用户白名单模块，其配置来通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；获取任务白名单模块，其配置来通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；获取正在运行的任务模块，其配置来通过hadoop的api获取任务集合；判断模块，其配置来判断taskset是否为空，是则执行移出模块，否则结束；移出模块，其配置来从taskset中移出一个任务task：从taskset中取出一个任务；检查模块，其配置来检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到判断模块。本专利技术实现方案的具体过程如下：1、基础框架(Framework)Hadoop、mysql2、各模块结构(Modules)无3、约定和规范●通过调用hadoop的api获取的任务运行信息。●运行过程中获取任务运行信息失败的，表示任务已经不存在，放弃对该任务的检查●采用数据库记录任务的输出信息4、格式化参数(Params)●输入(in)：Hadoop的任务列表信息●输出(out)：发送杀死任务的邮件，任务运行信息5、编码实现(Programs)●Coding：按照约定的格式和协议实现任务检查程序6、构建部署(Build)●Ubuntu12.04.4●Mysql5.5●Shell以上所述，仅是本专利技术的较佳实施例，并非对本专利技术作任何形式上的限制，凡是依据本专利技术的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本专利技术技术方案的保护范围。本文档来自技高网...

【技术保护点】
一种hadoop任务监控方法，其特征在于：该方法包括以下步骤：(1)开始，执行初始化的操作；(2)获取用户白名单white users：通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；(3)获取任务白名单white tasks：通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；(4)获取正在运行的任务task set：通过hadoop的api获取任务集合；(5)判断task set是否为空，是则执行步骤(6)，否则执行步骤(8)；(6)从task set中移出一个任务task：从task set中取出一个任务；(7)检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到步骤(5)；(8)结束。

【技术特征摘要】
1.一种hadoop任务监控方法，其特征在于：该方法包括以下步骤：(1)开始，执行初始化的操作；(2)获取用户白名单whiteusers：通过查询数据库获取有权限的账户名称列表，便于后面的任务用户名合法性检查；(3)获取任务白名单whitetasks：通过查询数据库获取任务白名单列表，便于后面的任务合法性检查，在白名单中的任务略过；(4)获取正在运行的任务taskset：通过hadoop的api获取任务集合；(5)判断taskset是否为空，是则执行步骤(6)，否则执行步骤(8)；(6)从taskset中移出一个任务task：从taskset中取出一个任务；(7)检查单个task的合法性：检查任务的各项指标，判断任务是否非法，跳转到步骤(5)；(8)结束。2.根据权利要求1所述的hadoop任务监控方法，其特征在于：所述步骤(7)包括以下分步骤：(7.1)初始化任务信息；(7.2)判断提交任务的用户是否在用户白名单中，是则执行步骤(7.3)，否则执行步骤(7.8)；(7.3)判断该任务是否为白名单任务，如果是则放弃检查，执行步骤(7.9)，否则执行步骤(7.4)；(7.4)判断检查任务的map数是否超出规定，如果是则执行步骤(7.8)，否则执行步骤(7.5)；(7.5)判断检查任务的reduce数是否超出规定，如果是则执行步骤(7.8)，否则执行步骤(7.6)；(7.6)判断检查任务的输出量是否超出规定，如果是则执行步骤(7.8)，否则执行步骤(7.7)；(7.7)判断检查任务的运行时间是...

【专利技术属性】
技术研发人员：崔晶晶，吴淑佳，
申请(专利权)人：北京集奥聚合科技有限公司，
类型：发明
国别省市：北京,11