一种适用于流计算的数据调度方法技术

本发明专利技术公开了一种数据调度方法，涉及数据处理技术领域，为一种适用于流计算的数据调度方法。该数据调度方法包括：实时获取数据流和待处理任务的订阅关系，建立与待处理任务一一对应的链表；逐条读取来自数据管道的数据流；根据所述订阅关系，将接收到的数据流放入对应的链表中；基于链表，传输对应的数据流。本发明专利技术应用于流计算处理。

【技术实现步骤摘要】
一种适用于流计算的数据调度方法
本专利技术涉及数据处理
，尤其涉及一种适用于流计算的数据调度方法。
技术介绍
随着信息技术的飞速发展,基于数据处理和数据分析的应用受到了广泛的欢迎和关注。大量信息源带来了数据规模的爆发式增长，因此对海量数据进行复杂计算已经远远超过单台计算机的处理能力，由此推动了对分布式系统及其关键技术的研究。分布式计算中把需要进行复杂计算的海量数据切分成小块后分交由多台计算机并行处理，并将局部计算结果整合得出最终结果。在复杂、海量、异构的数据环境中，不仅包含静态的、离线的、结构化的数据，还有实时传输的、持续产生的、非结构化的数据。面对这些“无限”运动着的数据，如果不能对其进行高效率的实时处理，将错过数据流中携带的关键信息。整合来自多个异构数据源的“运动”数据，在其“运动”的过程执行复杂的逻辑处理，包括数值计算、数据挖掘和模型预测，实时地给出用户关心的结果，这是传统分布式计算模式所无法做到的。在传统的数据调度方法中，数据往往独立于应用，由系统负责将数据集中存储到磁盘上的关系表里并基于该关系表进行调度，存储的数据是静态的、固定的集合。针对这种处理模式的应用虽然可能频本文档来自技高网...

【技术保护点】
一种适用于流计算的数据调度方法，其特征在于，包括：实时获取数据流和待处理任务的订阅关系，建立与待处理任务一一对应的链表；逐条读取来自数据管道的数据流；根据所述订阅关系，将接收到的数据流放入对应的链表中；基于链表，传输对应的数据流。

【技术特征摘要】
1.一种适用于流计算的数据调度方法，其特征在于，包括：实时获取数据流和待处理任务的订阅关系，建立与待处理任务一一对应的链表；逐条读取来自数据管道的数据流；根据所述订阅关系，将接收到的数据流放入对应的链表中；基于链表，传输对应的数据流。2.根据权利要求1所述的数据调度方法，其特征在于，在实时获取数据流和待处理任务的订阅关系之前，还包括：在特定端口监听连接请求；当获取到预设信号，打开数据管道。3.根据权利要求2所述的数据调度方法，其特征在于，实时获取数据流和待处理任务的订阅关系包括：获取处于就绪状态的待处理任务的优先级；基于各处于就绪状态的待处理任务的优先级，对各处于就绪状态的待处理任务进行排位，获得优先级队列；基于所述优先级队列，开启数个位于所述优先级队列前列的待处理任务；实时获取数据流和所开启的待...

【专利技术属性】
技术研发人员：吴秋莉，尹立群，郭丽娟，吕泽承，张炜，邬蓉蓉，
申请(专利权)人：广西电网有限责任公司电力科学研究院，
类型：发明
国别省市：广西,45