数据处理方法及电子设备和存储介质技术

本发明专利技术公开一种数据处理方法、装置及电子设备，其中方法包括：响应于用户进入任务管理平台，在所述任务管理平台上展示任务创建界面，所述任务创建界面包括流任务创建组件和批任务创建组件；响应于所述用过户在所述任务创建界面上对任一创建组件的操作，进入相应任务的配置界面；响应于所述用户在所述配置界面上的配置操作和提交指令，将所述用户配置的信息以及所述任务管理平台存储的与所述用户配置的信息相关插件的依赖包提交执行。本发明专利技术实施例通过将用户所用的组件预先创建好并储存，当需要使用时，只需在页面上通过拖拽的方式，进行数据开发，后台会按需使用相关插件的依赖包，解决了大数据开发的使用门槛，对使用者更加方便友好。加方便友好。加方便友好。

【技术实现步骤摘要】
数据处理方法及电子设备和存储介质


[0001]本专利技术属于数据处理
，尤其涉及一种数据处理方法及电子设备和存储介质。

技术介绍

[0002]目前市面上已有的数据处理相似技术有DolphinScheduler(数据处理平台),某云E
‑
MapReduce；Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG(有向无环图)工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。某云E
‑
MapReduce,建于云服务器ECS上，基于开源的Apache Hadoop(分布式系统基础框架)和Apache Spark(分布式计算引擎)，让您可以方便地使用Hadoop(系统基础框架)和Spark(计算引擎)生态系统中的其他周边系统分析和处理数据。EMR(某云)还可以与其他的云数据存储系统和数据库系统进行数据传输。
[0003]在现有技术中，DolphinScheduler和某云E
‑
MapReduce主要依托本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：响应于用户进入任务管理平台，在所述任务管理平台上展示任务创建界面，所述任务创建界面包括流任务创建组件和批任务创建组件；响应于所述用户在所述任务创建界面上对任一创建组件的操作，进入相应任务的配置界面；响应于所述用户在所述配置界面上的配置操作和提交指令，将所述用户配置的信息以及所述任务管理平台存储的与所述用户配置的信息相关插件的依赖包提交执行。2.根据权利要求1所述的方法，还包括：响应于所述用户在所述任务管理平台上的任务查看请求，在所述任务管理平台上展示与所述任务查看请求对应的任务的状态和日志。3.根据权利要求1所述的方法，其中，所述配置界面包括数据源插件配置子界面、数据处理插件配置子界面和目标源插件配置子界面，所述任务管理平台中存储有所述数据源插件配置子界面中可选的各种数据源插件的依赖包、所述数据处理插件配置子界面中可选的各种数据处理插件的依赖包、所述目标源插件配置子界面中可选的各种目标源插件的依赖包。4.根据权利要求3所述的方法，其中，所述响应于所述用户在所述配置界面上的配置操作和提交指令，将所述用户配置的信息以及所述任务管理平台存储的与所述用户配置的信息相关插件的依赖包提交执行包括：获取所述用户在所述数据源插件配置子界面上对于数据源插件的选择和配置信息；获取所述用户在所述数据处理插件配置子界面上对于数据处理插件的选择和处理逻辑信息；获取所述用户在所述目标源插件配置子界面上对于目标源插件的选择和配置信息；响应于所述用户的提交指令，获取所述任务管理平台存储的与所述用户选择的插件对应的依赖包；将所述用户对于数据源插件的配置信息、所述用户对于数据处理插件的处理逻辑信息、所述用户对于目标源插件的配置信息以及获取的依赖包提交执行。5.根据权利要求3所述的方法，其中，所述数据源插件包括关系型数据库、分布式消息队列、基于Hadoop的一个数据仓库工具、分部署文件系统、分析型数据库、全文检索和分析引擎、列式存储分布式数据...

【专利技术属性】
技术研发人员：廉斌，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：