【技术实现步骤摘要】
本专利技术属于大数据，更具体地，涉及一种高性能大数据调度系统。
技术介绍
1、随着移动互联网、物联网的发展，企业存量数据爆发式增加，需要通过数字化的手段进行降本增效，提供稳定、高性能、可靠的大数据调度系统是企业数据价值释放的重要环节。企业在使用开源的大数据调度系统面临很多问题：现有平台不能快速集成大数据调度系统；调度任务触发执行的逻辑简单；现有集群资源利用率低，任务耗时长；调度任务执行并发度低，不能容错，性能低，稳定性差。
技术实现思路
1、为此，本专利技术提供一种高性能大数据调度系统，用以克服现有技术中调度任务执行并发度低，不能容错，性能低，稳定性差的问题。
2、为实现上述目的，本专利技术提供一种高性能大数据调度系统，包括：
3、调度api模块，其内设置有支持若干语言、若干用户同时使用的标准调度api；
4、调度可视化模块，其包括能够进行工作流创建的可视化界面，所述可视化界面上设置有可拖拽的预设调度项目模块，通过对所述预设调度项目模块进行拖拽与排列，能够进行调度任务创建；
5、策略配置中心，其内设置有能够进行策略配置调节的调度算法；
6、调度控制中心模块，其能够对提交的工作流进行任务拆解并触发任务执行；
7、所述任务拆解包括：
8、根据任务依赖关系和规则、优先级提取任务基本信息和调度信息进行任务流程拆分；
9、根据既往数据中任务执行耗时、任务的复杂度、任务优先级结合所述策略配置中心的调
10、根据任务的调度信息，后台线程不断扫描任务的状态进行触发执行。
11、任务分布式队列模块，其能够在若干任务并发启动时，通过高吞吐量、高性能的分布式队列对任务进行削峰，使得下游能够高效的执行任务；
12、调度协调中心模块，其能够根据所述策略配置中心的调度算法和任务执行节点的负载情况，将任务分发到对应的任务执行节点，并能够对失败的任务进行重试和容错；
13、所述调度协调中心模块包括，容错中心、协调中心和分发中心，其中，
14、所述容错中心、所述协调中心和所述任务执行节点通过心跳的方式保持会话，当执行任务节点发生down机时，所述容错中心和所述协调中心针对down机任务再次智能分发其他节点进行执行，直到任务执行成功；
15、所述分发中心，其通过实时监控任务执行节点的队列任务数量、cpu及内存的负载、线程数数量，结合配置的分发策略进行智能化分发；
16、任务执行中心模块，其能够接受分发的任务，基于线程池的方式启动任务执行，当线程数达到上阈值，则拒绝分发的任务；
17、资源监控中心模块，其通过对各个任务执行节点进行任务数、线程数、cpu、内存的数据采集，结合所述策略配置中心内设置的调度算法，控制所述调度控制中心和所述调度协调中心对整体资源和任务数量进行匹配。
18、所述大数据调度系统能够基于可视化界面创建千万级任务，且任务的触发时间设置在同一时刻；根据现有业务的重要性，配置任务的策略，在集群资源紧张情况下，保障核心重要的任务执行成功；
19、本申请能够通过实验，对比任务并发百万级、千万级、亿级别及调整任务策略，整个大数据调度系统执行耗时；
20、启动任务的执行，通过监控任务执行节点的cpu和内存、任务的数量，能够对任一任务的执行情况进行监控。必要的时候把其中一台任务执行节点机器down机，测试下分发到该任务执行节点上的任务是否执行成功。
21、与现有技术相比，本专利技术的有益效果在于，本专利技术基于资源监控中心提供的资源情况和策略信息，让调度控制中心、调度协调中心、任务执行中心三者高度的协同，提高任务并发执行效率、降低高耗时任务对整个平台任务执行的影响，进而满足任务高效、高稳定的运行。
本文档来自技高网...【技术保护点】
1.一种高性能大数据调度系统，其特征在于，包括，
2.根据权利要求1所述的高性能大数据调度系统，其特征在于，还包括，
3.根据权利要求2所述的高性能大数据调度系统，其特征在于，
4.根据权利要求3所述的高性能大数据调度系统，其特征在于，
5.根据权利要求1所述的高性能大数据调度系统，其特征在于，所述任务拆解包括：
6.根据权利要求5所述的高性能大数据调度系统，其特征在于，所述调度协调中心模块能够将任务分发到对应的任务执行节点，并能够对失败的任务进行重试和容错。
7.根据权利要求6所述的高性能大数据调度系统，其特征在于，所述大数据调度系统能够基于可视化界面创建千万级任务，且任务的触发时间设置在同一时刻。
8.根据权利要求7所述的高性能大数据调度系统，其特征在于，在启动任务执行时，通过监控任务执行节点的cpu和内存、任务的数量，能够对任一任务的执行情况进行监控。
9.根据权利要求8所述的高性能大数据调度系统，其特征在于，对于任一所述任务执行节点，设置有指定执行机器，对于任一所述执行机器，能
...【技术特征摘要】
1.一种高性能大数据调度系统，其特征在于，包括，
2.根据权利要求1所述的高性能大数据调度系统，其特征在于，还包括，
3.根据权利要求2所述的高性能大数据调度系统，其特征在于，
4.根据权利要求3所述的高性能大数据调度系统，其特征在于，
5.根据权利要求1所述的高性能大数据调度系统，其特征在于，所述任务拆解包括：
6.根据权利要求5所述的高性能大数据调度系统，其特征在于，所述调度协调中心模块能够将任务分发到对应的任务执行节点，并能够对失败的任务进行重试和容错。
...【专利技术属性】
技术研发人员：高海玲，高经郡，王根，
申请(专利权)人：北京科杰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。