基于Web数据交互管理Hive的方法及其系统技术方案
【技术实现步骤摘要】
基于Web数据交互管理Hive的方法及其系统
本专利技术涉及任务管理的
，更具体地说是指基于Web数据交互管理Hive的方法及其系统。
技术介绍
Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(largedataset)的应用程序。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive脚本常见的管理方式是可以使用Shell脚本，如可以编写以下脚本(test.sh)：hive-ftest1.sql；hive-ftest2.sql；然后执行shtest.sh，即可以执行t...
【技术保护点】
基于Web数据交互管理Hive的方法，其特征在于，包括以下步骤：登录Web管理页面，创建任务，对任务进行分组，创建任务组；到达指定时间激活任务，由任务组类型选择器读取待执行的任务组信息，根据任务组的属性选择特定的任务组执行器；任务组执行器执行任务组内的子节点任务；实时记录任务、任务组的详细日志信息。
【技术特征摘要】
1.基于Web数据交互管理Hive的方法，其特征在于，包括以下步骤：登录Web管理页面，创建任务，对任务进行分组，创建任务组；到达指定时间激活任务，由任务组类型选择器读取待执行的任务组信息，根据任务组的属性选择特定的任务组执行器；任务组执行器执行任务组内的子节点任务；实时记录任务、任务组的详细日志信息。2.根据权利要求1所述的基于Web数据交互管理Hive的方法，其特征在于，所述登录Web管理页面，创建任务，对任务进行分组，创建任务组的步骤，包括以下具体步骤：登录Web管理页面，填写任务名称、任务介绍以及上传任务要执行的脚本；对任务进行分组，形成任务组，并选择每个任务组的任务的执行模式是顺序执行模式或者随机执行模式；若选择本组任务顺序执行，定义任务组内各子节点任务的顺序。3.根据权利要求1所述的基于Web数据交互管理Hive的方法，其特征在于，所述到达指定时间激活任务，由任务组类型选择器读取待执行的任务组信息，根据任务组的属性选择特定的任务组执行器的步骤，包括以下具体步骤：到达指定时间激活任务，任务组类型选择器读取解析任务组的信息和组内的子节点任务列表，生成一个任务列表；任务组类型选择器执行所需要的脚本文件通过FTP上传到指定的Hive服务器；任务组类型选择器根据任务列表树信息开始调用任务执行器，执行任务组中的子节点任务。4.根据权利要求1所述的基于Web数据交互管理Hive的方法，其特征在于，所述任务组执行器执行任务组内的子节点任务的步骤中，还包括调用Ant远程登录主机，并执行Hive任务组内的任务。5.根据权利要求1至4任一项所述的基于Web数据交互管理Hive的方法，其特征在于，所述任务组执行器执行任务组内的子节点任务的步骤，包括以下具体步骤：判断任务组选择的执行模式是否是顺序执行模式；若任务组选择的执行模式是顺序执行模式，按照设置的顺序执行任务组内的各个子节点任务；若任务组选择的执行模式不是顺序执行模式，随机执行任务组内的各个子节点任务。6.根据权利要求5所述的基于Web数据交互管理Hive的方法，其特征在于，所述若任务组选择的执行模式是顺序执行模式，按照设置的顺序执行任务组内的各个子节点任务的步骤，还包括判断顺序执行是否成功，若顺序执行成功，继续执行下一个子节点任务，直至全部子节点任务执...
【专利技术属性】
技术研发人员：陈宏伦，余松明，邓龙亮，汪春满，
申请(专利权)人：广东亿迅科技有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。