【技术实现步骤摘要】
分布式大规模实时数据调度引擎系统及其数据调度方法
本申请涉及数据处理
，特别是涉及一种分布式大规模实时数据调度引擎系统及其数据调度方法。
技术介绍
近年来，在网络、大数据、云计算、芯片、算法等基础能力技术的助推下，随着物联网、大数据分析、人工智能等技术和应用的不断成熟，特别是计算机视觉、视频结构化分析、视频图像深度学习等人工智能技术的引入，在平安城市、智能交通、雪亮工程等不断开展和深入过程中，以视频监控为核心代表的行业发展正朝着超高清、智能化和融合应用的方向迈进。系统性工程中现有视频监控系统数据采集量正在呈现线性增长，尤其是物联网建设初露峥嵘。海量数据的出现对高效、及时的调度和处理的要求不断提升，并冲击着传统的视频数据调度系统，遗憾的是现有的数据调度系统无法满足大数据时代提出的新要求，亟需新的分布式数据调度技术支撑现有复杂多样的业务模式，提高数据处理的实时性，同时为人工智能技术在安防领域施展拳脚拓展新的空间。
技术实现思路
本申请至少提供一种分布式大规模实时数据调度引擎系统及其数据调度方法。...
【技术保护点】
1.一种分布式大规模实时数据调度引擎系统，其特征在于，所述数据调度引擎系统包括：任务管理模块、监控模块以及任务调度引擎；各模块在所述任务管理模块的协调下运作，实现数据流在各模块之间的调度、流转；/n其中，所述任务管理模块，用于将数据调度任务以及路由规则数据下发到所述任务调度引擎；/n所述任务调度引擎，用于基于所述路由规则数据开启所述数据调度任务，并按照所述数据调度任务实时消费所述数据调度任务的业务数据；/n所述监控模块，用于监控所述任务调度引擎实时消费的业务数据流量，并上报到所述任务管理模块；/n所述任务管理模块，还用于根据所述业务数据流量实时调整所述任务调度引擎中数据接入...
【技术特征摘要】
1.一种分布式大规模实时数据调度引擎系统，其特征在于，所述数据调度引擎系统包括：任务管理模块、监控模块以及任务调度引擎；各模块在所述任务管理模块的协调下运作，实现数据流在各模块之间的调度、流转；
其中，所述任务管理模块，用于将数据调度任务以及路由规则数据下发到所述任务调度引擎；
所述任务调度引擎，用于基于所述路由规则数据开启所述数据调度任务，并按照所述数据调度任务实时消费所述数据调度任务的业务数据；
所述监控模块，用于监控所述任务调度引擎实时消费的业务数据流量，并上报到所述任务管理模块；
所述任务管理模块，还用于根据所述业务数据流量实时调整所述任务调度引擎中数据接入单元和/或任务执行器的数量。
2.根据权利要求1所述的数据调度引擎系统，其特征在于，
所述数据调度引擎系统还包括路由管理模块，所述路由管理模块，用于接收所述任务管理模块下发的所述路由规则数据，并将所述路由规则数据提供给所述任务调度引擎用于实时控制业务数据的调度情况。
3.根据权利要求1所述的数据调度引擎系统，其特征在于，
所述任务调度引擎上搭载有任务调度模型，所述任务调度模型包括M个数据接入单元以及N个任务执行器，其中，M和N均为大于等于2的整数；
所述数据接入单元，用于所述任务调度引擎开启所述数据调度任务时，执行并实时消费接入的业务数据，还用于将接入的业务数据流量上报到所述监控模块；
所述任务执行器，用于将所述数据接入单元消费的业务数据以及后端算力进行分析，按照后端算力的能力集大小调度对应的业务数据进行处理。
4.根据权利要求3所述的数据调度引擎系统，其特征在于，
所述数据接入单元，还用于将所述业务数据通过任务队列缓存到分布式数据库做持久化存储。
5.根据权利要求3所述的数据调度引擎系统，其特征在于，
所述任务执行器，还用于将分析结果发布到任务队列进行实时数据存储，以及在路由规则包括关联的分析规则的情况下，将所述分析结果实时调度给其他任务执行器继续进行分析。
6.根据权利要求5所述的数据调度引擎系统，其特征在于，
所述任务队列为具有多级缓存的消息队列，用于接收所述任务执行器的分析结果，以及将所述分析结果实时存储到分布式数据库、分布式文件存储系统以及分布式对...
【专利技术属性】
技术研发人员：张哲，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。