一种大数据任务调度方法、电子设备、存储介质及平台技术

本发明专利技术涉及一种大数据任务调度方法、电子设备、存储介质及平台，该方法包括步骤：获取配置信息，抽取数据，计算数据，持久化数据，获取用户在大数据任务调度平台配置的待抽取数据库、抽取数据的结构化查询语句、计算数据的结构化查询语句、持久化方式；采用数据抽取程序调用抽取数据的结构化查询语句抽取待抽取数据库的数据至Hadoop分布式系统；采用数据计算程序调用计算数据的结构化查询语句读取抽取后的数据进行计算；将计算后的数据按照持久化方式进行持久化。本发明专利技术实现了抽取数据命令由程序生成，计算数据的专用程序由管理程序执行，数据抽取和计算定时执行，数据计算程序可配置，针对不同的任务只需配置对应的计算数据的结构化查询语句。

A big data task scheduling method, electronic device, storage medium and platform

The invention relates to a large data task scheduling method, an electronic device, a storage medium and a platform. The method comprises steps of acquiring configuration information, extracting data, computing data, persistent data, acquiring a database to be extracted configured by a user in a large data task scheduling platform, structured query statements for extracting data, and a meter. The structured query statement and persistence mode of computing data are adopted; the structured query statement of extracting data is invoked by data extractor to extract the data from database to Hadoop distributed system; the structured query statement of computing data is invoked by data calculator to read and calculate the extracted data; and the data is calculated after calculation. Data is persisted in a persistent manner. The invention realizes that the extracting data command is generated by a program, the special program for calculating data is executed by a management program, the data extracting and calculating are executed regularly, the data calculating program is configurable, and the structured query statement of the corresponding calculating data is only needed for different tasks.

【技术实现步骤摘要】
一种大数据任务调度方法、电子设备、存储介质及平台
本专利技术涉及大数据处理
，尤其涉及一种大数据任务调度方法、电子设备、存储介质及平台。
技术介绍
近年来，随着社会信息化技术的不断提高以及互联网技术的快速普及，诸多业务领域产生海量、实时的数据。大数据平台的规模在不断扩大和增多，网络规模大、业务量多。现有技术中，大数据任务调度方法在执行数据抽取时一般采用手动编写命令，编写专用程序读取抽取后的数据进行计算，将计算结果保存到HDFS或数据库。手动编写命令抽取数据，命令编写错误率较高；手动执行专用程序计算数据，错误率较高；由于命令执行方法种类多，手动完成所有任务调度，不利于统一管理，不利于需要定时执行的计算任务；每一种任务都需要编写一套完整的专用程序，不利于任务需求多变的情况；所有命令均是在命令行界面进行操作，执行效率低。
技术实现思路
本专利技术正是基于上述技术问题至少之一，提出了一种大数据任务调度方法、电子设备、存储介质及平台，解决了大数据任务调度方法手动编写命令抽取数据、手动执行专用程序计算数据、执行方式不统一、无法定时执行任务、每一种任务都需要编写一套完整的专用程序、所有命令均在命本文档来自技高网...

【技术保护点】
1.一种大数据任务调度方法，其特征在于包括以下步骤：获取配置信息，获取用户在大数据任务调度平台配置的待抽取数据库、抽取数据的结构化查询语句、计算数据的结构化查询语句、持久化方式；抽取数据，采用数据抽取程序调用所述抽取数据的结构化查询语句抽取所述待抽取数据库的数据至Hadoop分布式系统；计算数据，采用数据计算程序调用所述计算数据的结构化查询语句读取抽取后的数据进行计算；持久化数据，将计算后的数据按照所述持久化方式进行持久化。

【技术特征摘要】
1.一种大数据任务调度方法，其特征在于包括以下步骤：获取配置信息，获取用户在大数据任务调度平台配置的待抽取数据库、抽取数据的结构化查询语句、计算数据的结构化查询语句、持久化方式；抽取数据，采用数据抽取程序调用所述抽取数据的结构化查询语句抽取所述待抽取数据库的数据至Hadoop分布式系统；计算数据，采用数据计算程序调用所述计算数据的结构化查询语句读取抽取后的数据进行计算；持久化数据，将计算后的数据按照所述持久化方式进行持久化。2.如权利要求1所述的一种大数据任务调度方法，其特征在于：所述步骤获取配置信息还包括获取用户在大数据任务调度平台配置的抽取定时任务和计算定时任务，所述抽取定时任务和所述计算定时任务包括Quartz定时任务或Scheduled定时任务。3.如权利要求2所述的一种大数据任务调度方法，其特征在于：所述步骤抽取数据还包括当所述抽取定时任务触发时，采用数据抽取程序调用所述抽取数据的结构化查询语句抽取所述待抽取数据库的数据至Hadoop分布式系统；所述步骤计算数据还包括当所述计算定时任务触发时，采用数据计算程序调用所述计算数据的结构化查询语句读取抽取后的数据进行计算。4.如权利要求1所述的一种大数据任务调度方法，其特征在于：所述持久化方式包括持久化至HDFS、Mysql、Redis、Elasticsearch、调用Restful服务，所述步骤持久化数据包括将计算后的数据持久化至HDFS、Mysql、Redis、Elasticsearch、调用Restful服务。5.如权利要求1所述的一种大数据任务调度方法，其特征在于：所述步骤获取配置信息还包括获取用户在大数据任务调度平台配置的Hadoop集群的地址映射；在所述步骤持久化数据之后还包括步骤查看执行日志，按照所述Hadoop集群的地址映射查看Spark日志。6.一种电子设备，包括存储器，处理器及存储在存...

【专利技术属性】
技术研发人员：汪凯，张青松，刘定文，李强，
申请(专利权)人：湖北九州云仓科技发展有限公司，
类型：发明
国别省市：湖北,42