基于Spark的大数据开发方法及装置、终端制造方法及图纸

本发明专利技术适用于大数据开发技术领域，提供了一种基于Spark的大数据开发方法及装置、终端，所述大数据开发方法包括：安装集成开发环境，方便引入模板工程；下载新近的模板工程，同时进行编译打包，生成软件开发工具包；加所述软件开发工具包到所述集成开发环境中，形成一开发模板；新建大数据开发工程，应用所述开发模板进行大数据开发。本发明专利技术中，基于模板的开发方式不仅仅提供了封装的类和方法，同时提供了直接可运行的开发模板，提高了开发效率，降低了入门门槛，用最简单有效的方式加快开发进度。

【技术实现步骤摘要】
基于Spark的大数据开发方法及装置、终端
本专利技术属于大数据开发
，尤其涉及一种基于Spark的大数据开发方法及装置、终端。
技术介绍
近年来越来越多的工具开发包给我们的开发任务带来了极大的便利，即技术人员通过自有的封装手段，将一些依赖和实用方法进行封装，然后他人通过引用的方式进行使用。这种方法是目前最普遍的技术和功能共享方式，但是此类方式也存在一定的弊端，即对于初学者不友好，对于Spark等开发封装的不够彻底，对于很多人无法快速上手。现有的工具开发包仅提供了封装方法或者父类，通过继承和引用的方式使用，用户对于内部方法需要进行一定的解读才能很好地使用，并且需要通过其他信息来源对Spark开发进行相应了解，才能真正的开始进行任务开发。这样导致了上手较慢，开发困难等问题，增加了额外开发成本。
技术实现思路
本专利技术实施例提供了一种基于Spark的大数据开发方法及装置、终端，旨在解决现有技术的开发方式封装不够彻底，无法快速上手的问题。一种基于Spark的大数据开发方法，包括：安装集成开发环境，方便引入模板工程；下载新近的模板工程，同时进行编译打包，生成软件开发工具包；添加所述软件开本文档来自技高网...

【技术保护点】
1.一种基于Spark的大数据开发方法，其特征在于，包括：安装集成开发环境，方便引入模板工程；下载新近的模板工程，同时进行编译打包，生成软件开发工具包；添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；新建大数据开发工程，应用所述开发模板进行大数据开发。

【技术特征摘要】
1.一种基于Spark的大数据开发方法，其特征在于，包括：安装集成开发环境，方便引入模板工程；下载新近的模板工程，同时进行编译打包，生成软件开发工具包；添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；新建大数据开发工程，应用所述开发模板进行大数据开发。2.根据权利要求1所述的大数据开发方法，其特征在于，所述安装集成开发环境之后，还包括：安装Maven仓库和IDE的Maven插件。3.根据权利要求1所述的大数据开发方法，其特征在于，所述开发模板包括通用模板，数据清洗模板和Spark算子模板的至少之一。4.根据权利要求1所述的大数据开发方法，其特征在于，所述开发模板包含输入参数的读取和规整、数据的输入和输出以及中间清洗方法的选择。5.根据权利要求1所述的大数据开发方法，其特征在于，所述新建大数据开发工程，应用所述开发模板进行大数据开发的步骤，包括：根据所述开发模板的代码进行相应改动完成大数据开发；继续拓展所述开发模板，简化开发流程，共享代码架构。6.根据权利要求1所述的大数据开发方法，其特征在于，所述开发模板为带有详细注释和能够快速运行的代码，所述应用所述开发模板进行大数据开发的步骤，包括：根据注释选择需要的数据...

【专利技术属性】
技术研发人员：刘霄峰，
申请(专利权)人：千寻位置网络有限公司，
类型：发明
国别省市：上海,31