【技术实现步骤摘要】
本专利技术涉及大数据处理领域，尤其涉及一种面向物联网数据枢纽体系的高效流式计算方法及装置。
技术介绍
1、流式计算是大数据处理中的一种计算模式，是对流式数据进行实时处理的方法。在物联网场景中，数据常常是不断产生、持续到达的。采用流式计算对物联网场景中的数据进行处理和应用具有重要意义。目前常用的流式计算引擎包括apache storm、apacheflink、spark streaming等。
2、apache storm是一个实时的分布式流计算引擎，具有高吞吐、低延时的特点，但不支持状态管理。spark streaming是建立在spark框架的流计算引擎，它采用“微批处理”的模型进行流式计算，具有高吞吐量、高拓展性、可容错性等特点，同时能够与spark的其他子框架结合，但其延时较高。apache flink是另一种分布式计算引擎，具有批量计算和流式计算两种模式，但目前业界主要将其用于流式计算。当被用于流式计算的时候，apache flink把数据理解为无界数据流。apache flink具有高吞吐、低延时、高可拓展性、支持...
【技术保护点】
1.一种面向物联网数据枢纽体系的高效流式计算方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种面向物联网数据枢纽体系的高效流式计算方法，其特征在于，所述传感器数据包括温度、湿度和二氧化碳浓度的环境数据，采用MQTT协议将采集的数据发送至流式计算引擎。
3.根据权利要求1所述的一种面向物联网数据枢纽体系的高效流式计算方法，其特征在于，算子调度器包括：
4.根据权利要求3所述的一种面向物联网数据枢纽体系的高效流式计算方法，其特征在于，算子调度器采用自适应的算子调度策略，根据数据输入速率，采用优先执行等待时间最长的子任务...
【技术特征摘要】
1.一种面向物联网数据枢纽体系的高效流式计算方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种面向物联网数据枢纽体系的高效流式计算方法，其特征在于，所述传感器数据包括温度、湿度和二氧化碳浓度的环境数据，采用mqtt协议将采集的数据发送至流式计算引擎。
3.根据权利要求1所述的一种面向物联网数据枢纽体系的高效流式计算方法，其特征在于，算子调度器包括：
4.根据权利要求3所述的一种面向物联网数据枢纽体系的高效流式计算方法，其特征在于，算子调度器采用自适应的算子调度策略，根据数据输入速率，采用优先执行等待时间最长的子任务策略或者是采用优先执行负载最高的子任务策略。
5.根据权利要求3所述的一种面向物联网数据枢纽体系的高效流式计算方法，其特征在于，消费者线程数设置与cpu核心数相同，子任务被均匀分配给消费者线程，消费者线程根据不同的策略对算子进行调度，通过均衡线程的负载来最大化利用计算资源。
6.根据权利要求1所述的...
【专利技术属性】
技术研发人员：余华昌，王备，包侃侃，裘英杰，沈李强，
申请(专利权)人：浙江成功软件开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。