【技术实现步骤摘要】
一种任务调度系统
[0001]本专利技术涉及数据处理
，特别涉及一种任务调度系统。
技术介绍
[0002]在车联网应用中存在大量高并发的车路协同数据计算任务。常规的任务调度系统在处理高并发任务时都是按先到先算原则对云端用于计算的基础设施的软硬件资源进行占用，处理过程中并未考虑任务本身的实时性特点。而车联网应用中的一些计算任务的实时性要求不强，但却需要占用大量的软硬件资源，如果仍然沿用常规任务调度系统的处理方式则可能会造成大量实时性要求较强的计算任务无法及时完成计算。
技术实现思路
[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种任务调度系统，该系统包括：基础设施集群、资源管理器、决策引擎、云端控制器、工作流引擎、实时任务客户端、实时任务处理引擎、离线任务客户端和离线任务处理引擎。本专利技术系统在进行任务调度时充分考虑了任务的实时性特点，还为每个任务增设了优先级属性；通过本专利技术系统不但可以确保实时任务会被提前提取还可以基于优先级对实时任务的提取次序进行进一步优化；将本专利技术系统应用到车...
【技术保护点】
【技术特征摘要】
1.一种任务调度系统，其特征在于，所述系统包括：基础设施集群、资源管理器、决策引擎、云端控制器、工作流引擎、实时任务客户端、实时任务处理引擎、离线任务客户端和离线任务处理引擎；所述基础设施集群包括多个基础设施；所述资源管理器分别与所述基础设施集群、所述云端控制器、所述实时任务处理引擎和所述离线任务处理引擎连接；所述资源管理器用于对所述基础设施集群中各个所述基础设施的资源使用状况进行资源监控处理得到对应的实时监控数据集合；所述资源管理器还用于根据所述实时监控数据集合向所述云端控制器进行数据共享处理；所述资源管理器还用于对所述实时任务处理引擎或所述离线任务处理引擎进行基础设施分配处理；所述决策引擎与所述云端控制器连接；所述决策引擎用于根据输入的车路协同数据进行任务规划处理得到对应的规划任务数据集合，并将携带了所述规划任务数据集合的决策任务推送指令向所述云端控制器发送；所述规划任务数据集合包括规划任务名称、规划任务类型、任务资源配置清单和任务输入数据，所述规划任务类型包括实时任务类型和离线任务类型；所述云端控制器与所述工作流引擎连接；所述云端控制器用于根据所述规划任务数据集合和所述实时监控数据集合进行工作流任务数据转换处理生成对应的工作流任务数据包，并根据所述工作流任务数据包对所述工作流引擎进行工作流任务推送处理；所述工作流引擎分别与所述实时任务客户端和所述离线任务客户端连接；所述工作流引擎用于根据接收的所述工作流任务数据包进行工作流任务创建处理；所述工作流引擎还用于对工作流任务进行编辑与查询处理；所述工作流引擎还用于对工作流任务进行分解、分发和状态更新处理；所述实时任务客户端与所述实时任务处理引擎连接；所述实时任务客户端用于将所述工作流引擎发送的当前子任务数据包向所述实时任务处理引擎转发，并将所述实时任务处理引擎回发的子任务执行结果数据向所述工作流引擎转发；所述实时任务处理引擎分别与所述资源管理器和所述基础设施集群连接；所述实时任务处理引擎用于根据所述当前子任务数据包向所述资源管理器进行设施分配申请处理得到所述基础设施集群中对应的分配设施资源，并借助所述分配设施资源根据所述当前子任务数据包进行实时任务计算处理得到对应的子任务执行结果数据，并将所述子任务执行结果数据向所述实时任务客户端回发；所述离线任务客户端与所述离线任务处理引擎连接；所述离线任务客户端用于将所述工作流引擎发送的当前子任务数据包向所述离线任务处理引擎转发，并将所述离线任务处理引擎回发的子任务执行结果数据向所述工作流引擎转发；所述离线任务处理引擎分别与所述资源管理器和所述基础设施集群连接；所述离线任务处理引擎用于根据所述当前子任务数据包进行离线任务启动时间查询处理得到对应的离线任务启动时段，并根据所述离线任务启动时段和所述当前子任务数据包向所述资源管理器进行设施分配申请处理得到所述基础设施集群中对应的分配设施资源，并借助所述分配设施资源根据所述当前子任务数据包进行离线任务计算处理得到对应的所述子任务执行结果数据，并将所述子任务执行结果数据向所述离线任务客户端回发。2.根据权利要求1所述的任务调度系统，其特征在于，
所述基础设施至少包括交换机、计算机、服务器、数据库；所述基础设施的资源至少包括CPU资源、内存资源、硬盘资源、网络流量资源、计算接口资源。3.根据权利要求1所述的任务调度系统，其特征在于，所述资源管理器包括资源监控模块和资源分配模块；所述资源监控模块分别与所述云端控制器和所述资源分配模块连接；所述资源分配模块分别与所述实时任务处理引擎或所述离线任务处理引擎连接；所述资源管理器具体用于在所述对所述基础设施集群中各个所述基础设施的资源使用状况进行资源监控处理时，由所述资源监控模块预先创建一个基础设施资源集合对所述基础设施集群中各个所述基础设施的各类型资源的使用状况进行存储，并每隔一个指定时间间隔就对所述基础设施资源集合进行一次内容复制从而得到对应的所述实时监控数据集合；其中，所述基础设施资源集合包括多个基础设施数组，所述基础设施数组包括基础设施标识和多个设施资源数组；所述设施资源数组包括资源类型，所述资源类型包括CPU类型、内存类型、硬盘类型、网络流量类型和计算接口类型；所述资源类型为CPU类型、内存类型、硬盘类型或网络流量类型时所述设施资源数组还包括资源总量、资源已占用量和资源剩余可分配量，所述资源类型为计算接口类型时所述设施资源数组还包括计算接口列表；所述资源管理器具体用于在所述根据所述实时监控数据集合向所述云端控制器进行数据共享处理时，由所述资源监控模块在每产生一次所述实时监控数据集合时就将携带了所述实时监控数据集合的数据共享指令向所述云端控制器发送；所述资源管理器具体用于在所述对所述实时任务处理引擎或所述离线任务处理引擎进行基础设施分配处理时，由所述资源分配模块接收所述实时任务处理引擎或所述离线任务处理引擎发送的基础设施申请指令，并从所述基础设施申请指令中提取出当前资源配置清单，并将所述基础设施资源集合中各类资源的剩余可分配量都满足所述当前资源配置清单要求的所述基础设施数组标记为匹配设施数组，并从得到的所有所述匹配设施数组中任选一个作为当次分配设施数组，并根据所述当前资源配置清单对所述当次分配设施数组进行资源已占用量和资源剩余可分配量调整，并将所述当次分配设施数组对应的所述基础设施作为与所述实时任务处理引擎或所述离线任务处理引擎当次基础设施申请指令对应的所述分配设施资源。4.根据权利要求1所述的任务调度系统，其特征在于，所述决策引擎具体用于在所述根据输入的车路协同数据进行任务规划处理时，从所述车路协同数据中提取出数据标签与数据体；并将所述数据体作为对应的所述任务输入数据；并将本地预设的车路协同数据任务对应表中数据标签字段与所述数据标签匹配的对应记录作为匹配对应记录，并将所述匹配对应记录的任务名称字段、任务类型字段和任务配置清单字段分别提取出来作为对应的所述规划任务名称、所述规划任务类型和所述任务资源配置清单；并由得到的所述规划任务名称、所述规划任务类型、所述任务资源配置清单和所述任务输入数据组成对应的所述规划任务数据集合；其中，所述车路协同数据任务对应表包括多个所述对应记录；所述对应记录包括所述数据标签字段、所述任务名称字段、所述任务类型字段和所述任务配置清单字段。5.根据权利要求1所述的任务调度系统，其特征在于，
所述云端控制器包括决策引擎接口、资源信息同步接口、任务编排模块、动态任务模块和工作流引擎接口；所述决策引擎接口分别与所述决策引擎和所述任务编排模块连接；所述资源信息同步接口分别与所述资源管理器和所述动态任务模块连接；所述任务编排模块与所述动态任务模块连接；所述动态任务模块与所述工作流引擎接口连接；所述工作流引擎接口与所述工作流引擎连接；所述云端控制器具体用于在所述根据所述规划任务数据集合和所述实时监控数据集合进行工作流任务数据转换处理时，由所述资源信息同步接口从所述资源管理器发送的数据共享指令中提取出所述实时监控数据集合向所述动态任务模块发送；并由所述决策引擎接口从所述决策引擎发送的所述决策任务推送指令中提取出所述规划任务数据集合向所述任务编排模块发送；并由所述任务编排模块根据所述规划任务数据集合的所述规划任务名称对本地预设的任务优先级与子任务链关系表进行查询，将关系表中任务名称字段与所述规划任务名称匹配的关系记录记为对应的匹配关系记录，并将所述匹配关系记录的任务优先级字段、子任务链字段分别提取出来作为对应的规划任务优先级和规划子任务链，并由所述规划任务优先级、所述规划子任务链和所述规划任务数据集合组成对应的编排数据集合向所述动态任务模块发送；并由所述动态任务模块根据所述实时监控数据集合对所述编排数据集合的所述任务资源配置清单进行比对，若所述实时监控数据集合中的资源能够满足所述任务资源配置清单的配置要求则按与所述工作流引擎约定的数据封装规则对所述编排数据集合进行数据封装生成对应的所述工作流任务数据包；其中，所述任务优先级与子任务链关系表包括多个所述关系记录；所述关系记录包括所述任务名称字段、所述任务优先级字段和所述子任务链字段；所述子任务链字段存储的子任务链由...
【专利技术属性】
技术研发人员：孙宁，宋娟，董航瑞，孟维宇，何赛，贾宁，
申请(专利权)人：北京车网科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。