一种构建Hadoop应用开发框架的方法、装置及电子装置制造方法及图纸

本发明专利技术的实施例公开一种构建Hadoop应用开发框架的方法、装置及电子装置。方法包括：分离命令行，得到用于设置配置模板文件的任务调度与任务参数，所述配置模板文件包含用于封装分离的调度任务的调度配置文件以及用于封装分离的任务参数的任务列表配置文件；在调度配置文件中设置进行可视化编辑的任务调度川页序；在任务列表配置文件中设置任务的可视化编辑任务参数，并构建调度配置文件中调度的任务与所述任务参数的映射关系；设置对调度配置文件中的任务进行启动及对任务列表配置文件进行合法性检测的任务参数检测文件，依据所述配置模板文件以及任务参数检测文件构建Hadoop应用开发框架。应用本发明专利技术，可以提升构建的Hadoop应用开发框架效率。

【技术实现步骤摘要】

本专利技术涉及计算机应用技术，尤其涉及一种构建Hadoop应用开发框架的方法、装 置及电子装置。
技术介绍
Hadoop应用开发框架是一种采用分布式文件系统（HDFS，Hadoop Distributed File System)技术，能够对大量数据（任务）进行分布式处理的软件框架，通过维护多个 数据（任务）副本，确保能够针对处理失败的数据重新进行分布处理，因而，具有高容错性 特性，并能提供高吞吐量来进行数据（任务）访问，广泛应用于具有超大数据集需求的应用 场景。利用Hadoop应用开发框架，用户可以在不了解底层细节的情况下，进行分布式程序 开发，从而可以充分利用Hadoop应用开发框架的高吞吐量进行数据（任务）高速运算和存 储。 Hadoop应用开发框架主要功能包括HDFS以及MapReduce，其中，HDFS为海量的任 务或数据提供分布式存储，MapReduce为海量的任务或数据进行调度并提供分布式计算。 现有技术中，在构建Hadoop应用开发框架以及基于Hadoop应用开发框架的 Hadoop应用开发中，一般基于预先设置的Hadoop接口。目前，Hadoop接口包括：应用程序编 程接口（API，Application Programming Interface)以及命令行两种方式。由于通过命令 行方式构建任务更简单，因而，技术开发人员一般使用Hadoop命令行的方式来构建Hadoop 应用开发框架，并基于构建的Hadoop应用开发框架，在命令行中预留有任务参数设置的位 置处填入待开发任务对应的任务参数，从而实现待开发任务的分布式运算和存储。 现有技术中，在构建Hadoop应用开发框架以及进行任务开发时，需要技术开发人 员编写相应的命令行，并在编写的命令行中，为每一任务逐一填写需要的任务参数，在命令 行中所有任务配置完毕后，向系统中的集群服务器发送处理请求，通过系统中的集群服务 器，将命令行配置的任务分发到集群中的各节点进行处理，各节点将相应配置的任务逐一 进行启动并运行，并将运行结果通过集群服务器返回给发送处理请求的节点。这样，由于 目前构建Hadoop应用开发框架涉及的任务数量一般较多，因而，当技术开发人员需要实现 多个任务时，需要独立编写任务对应的命令行、填写相应的任务参数，即使对于相同或相似 的命令行，也需要逐一编写或复制，使得实现任务的工作变得较为重复和繁琐，且每一构建 的Hadoop应用开发框架只能应用于一 Hadoop应用开发，导致构建Hadoop应用开发框架以 及基于Hadoop应用开发框架进行Hadoop应用开发的效率较低，且由于重复性的命令行编 写方式，以及，需要技术开发人员依据记忆或查阅资料逐一填写多个任务对应的任务参数， 容易导致命令行编写以及任务参数填写出错，例如，遗漏任务中的一个或多个任务参数，或 者，增加该任务中不存在的任务参数，使得后续进行任务处理时，由于出错而终止处理，从 而也导致构建的Hadoop应用开发框架的效率低。
技术实现思路
有鉴于此，本专利技术实施例提供一种构建Hadoop应用开发框架的方法、装置及电子 装置，提升构建的Hadoop应用开发框架效率。 为达到上述目的，本专利技术的实施例采用如下技术方案： -方面，本专利技术实施例提供一种构建Hadoop应用开发框架的方法，包括： 分离命令行，得到用于设置配置模板文件的任务调度与任务参数，所述配置模板 文件包含用于封装分离的调度任务的调度配置文件以及用于封装分离的任务参数的任务 列表配置文件； 在调度配置文件中设置进行可视化编辑的任务调度顺序； 在任务列表配置文件中设置任务的可视化编辑任务参数，并构建调度配置文件中 调度的任务与所述任务参数的映射关系； 设置用于对调度配置文件中的任务进行启动以及对任务列表配置文件进行合法 性检测的任务参数检测文件，依据所述配置模板文件以及任务参数检测文件构建Hadoop 应用开发框架。 优选地，所述方法进一步包括： 在进行Hadoop应用开发时，加载构建的Hadoop应用开发框架，在所述调度配置文 件对应的可视化编辑界面中设置调度任务集，并基于构建的所述映射关系，在调度任务映 射的所述任务列表配置文件对应的可视化编辑界面中设置所述调度任务的任务参数； 调用所述任务参数检测文件启动所述调度任务集，依序提取所述任务集中每一任 务在对应可视界面中设置的任务参数，依据所述任务参数检测文件中该每一任务对应的任 务参数进行合法性检测，并将通过合法性检测的调度任务集上传以进行任务处理。 优选地，所述依据所述任务参数检测文件中该每一任务对应的任务参数进行合法 性检测包括： 如果所述任务集中任一任务对应的任务参数中的任一项参数的合法性检测未通 过，确定所述任务调度集未通过合法性检测，如果所述任务集中所有任务对应的任务参数 中的所有项分别通过合法性检测，确定所述任务调度集通过合法性检测。 优选地，在所述任务集中任一任务对应的任务参数中的任一项参数的合法性检测 未通过之后，确定所述任务调度集未通过合法性检测之前，所述方法进一步包括： 记录未通过合法性检测的任务的任务名以及具体的任务参数，将记录的信息向用 户展示并提示用户修改记录的具体的任务参数，在接收到用户修改的具体的任务参数值 后，再次进行合法性检测。 优选地，所述方法进一步包括： 记录每一任务进行合法性检测的次数，如果记录的检测次数超过预先设置的次数 阈值，退出所述调度任务集。 优选地，所述任务参数检测文件包括：任务调度列表启动脚本子文件以及任务合 法性检测子文件，其中，任务调度列表启动脚本子文件用于在用户在可视界面中设置好调 度配置文件以及任务列表配置文件后，启动任务列表调度，调用任务合法性检测子文件，以 使任务合法性检测子文件遍历任务调度列表中的任务，并依据遍历的任务，从用户设置的 任务列表配置文件中获取该遍历的任务对应的任务参数，与任务合法性检测子文件中存储 的该遍历的任务对应的任务参数进行匹配以执行合法性检测。 优选地，所述任务调度包括：本地任务调度、串行MapReduce任务调度、并行 MapReduce任务调度。 优选地，所述任务调度顺序以任务调度列表方式进行描述。 优选地，所述任务参数包括：任务名、任务输入路径、任务输出路径、Map任务命令 行、Reduce任务命令行、需要上传的本地文件、任务参数配置文件、任务输入格式、任务输出 格式以及分环到reduce的方法，其中，任务名、任务输入路径、任务输出路径、Map任务命令 行、Reduce任务命令行为任务参数的必选项，需要上传的本地文件、任务参数配置文件、任 务输入格式、任务输出格式以及分环到reduce的方法为任务参数的可选项。 本专利技术实施例提供的构建Hadoop应用开发框架的方法，通过为Hadoop应用开 发构建统一的可视化的Hadoop应用开发框架，使得在进行Hadoop应用开发时，只需要在 Hadoop应用开发框架提供的可视化编辑界面中指定每一 Hadoop应用开发对应的一个或 多个任务相关的任务参数，并指定任务之间的调度顺序，无需关注和记忆任务需要配置的 任务参数以及具体的任务参数配置值，也无需记忆复杂的Hadoop命令行接口，可以提升 Hadoop应用本文档来自技高网...

【技术保护点】
一种构建Hadoop应用开发框架的方法，其特征在于，该方法包括：分离命令行，得到用于设置配置模板文件的任务调度与任务参数，所述配置模板文件包含用于封装分离的调度任务的调度配置文件以及用于封装分离的任务参数的任务列表配置文件；在调度配置文件中设置进行可视化编辑的任务调度顺序；在任务列表配置文件中设置任务的可视化编辑任务参数，并构建调度配置文件中调度的任务与所述任务参数的映射关系；设置用于对调度配置文件中的任务进行启动以及对任务列表配置文件进行合法性检测的任务参数检测文件，依据所述配置模板文件以及任务参数检测文件构建Hadoop应用开发框架。

【技术特征摘要】

【专利技术属性】
技术研发人员：潘洪安，
申请(专利权)人：北京金山安全软件有限公司，
类型：发明
国别省市：北京;11