一种大数据桥接方法、大数据桥接工具、电子设备及计算机可读介质技术

本发明专利技术公开了一种大数据桥接方法、大数据桥接工具、电子设备及计算机可读介质，涉及大数据技术领域，外部应用服务通过所述大数据桥接方法，由大数据桥接工具与大数据集群桥接，包括如下步骤：外部应用服务发起HTTP请求，传递Spark递交参数；解析Spark递交参数，按照spark‑submit脚本要求填充；启动Process进程，执行填充后的spark‑submit脚本，递交Spark任务，与大数据集群进行数据交互；返回进程标识并记录spark‑submit日志。本发明专利技术具有广泛的兼容性以及统一的安全认证方式。

【技术实现步骤摘要】

本专利技术涉及大数据，具体涉及一种大数据桥接方法、大数据桥接工具、电子设备及计算机可读介质。

技术介绍

1、大数据软件应用中存在两部分的业务功能，一部分是软件系统功能，另外一部分是对接大数据集群的功能。在开发大数据相关的软件应用时，通常会接触到不同厂商的大数据集群，并且这些大数据集群会进行不同程度二次开发。在现有技术中，大数据软件应用直接与大数据集群进行交互，而大数据应用软件对接大数据集群需要集成相应版本的大数据依赖包，因此，应用软件与大数据集群不兼容的问题频发。另外，不同大数据集群集成了自身的认证服务，常规应用软件对接大数据集群的过程中需要进行各类不同的安全认证操作，过程极为复杂。而应用软件中适配大数据集群认证服务的安全性需要通过认证流程的梳理，配置繁琐，开发难度大，还可能对应用软件内部造成一定的机能开销，对系统造成负面的性能影响。并且，不同的应用软件对接大数据集群均有自身的一套对接机制，新增接口或者接口出现异常时，各应用软件排查维护困难，无法做到统一的规范。

技术实现思路

1、本专利技术旨在一定程度上解决本文档来自技高网...

【技术保护点】

1.一种大数据桥接方法，其特征在于，外部应用服务通过所述大数据桥接方法，由大数据桥接工具与大数据集群桥接，包括如下步骤：

2.根据权利要求1所述的大数据桥接方法，其特征在于，Spark任务中，计算任务通过Yarn直接递交至大数据集群，除计算任务以外的其他任务为本地模式的Spark任务，调用相应的接口与大数据集群进行数据交互。

3.根据权利要求1所述的大数据桥接方法，其特征在于，所述Spark任务具有唯一的标识码，所述标识码用于调用大数据桥接工具的接口，通过大数据桥接工具的接口调用YarnApi。

4.根据权利要求3所述的大数据桥接方法，其特征在于，所述...

【技术特征摘要】

1.一种大数据桥接方法，其特征在于，外部应用服务通过所述大数据桥接方法，由大数据桥接工具与大数据集群桥接，包括如下步骤：

2.根据权利要求1所述的大数据桥接方法，其特征在于，spark任务中，计算任务通过yarn直接递交至大数据集群，除计算任务以外的其他任务为本地模式的spark任务，调用相应的接口与大数据集群进行数据交互。

3.根据权利要求1所述的大数据桥接方法，其特征在于，所述spark任务具有唯一的标识码，所述标识码用于调用大数据桥接工具的接口，通过大数据桥接工具的接口调用yarnapi。

4.根据权利要求3所述的大数据桥接方法，其特征在于，所述标识码由所述大数据桥接工具通过解析spark-submit日志获取。

5.根据权利要求3所述的大数据桥接方法，其特征在于，所述大数据桥接工具将标识码、进程标识、提交参数、ip及端口写入json文件，保留每次提交的spark任务的参数。

6.根...

【专利技术属性】
技术研发人员：宋泉河，罗煜雄，陈盼盼，王新根，陈含卓，
申请(专利权)人：浙江邦盛科技股份有限公司，
类型：发明
国别省市：