【技术实现步骤摘要】
一种基于Flink的物联网设备行为分析方法
本专利技术涉及物联网技术,涉及flink,hadoop等相关组件,应用机器学习等相关技术,具体说是一种基于Flink的物联网设备行为分析方法。
技术介绍
Flink是一个面向数据流处理的可分布式的开源计算框架,支持高吞吐、低延迟、高性能的流处理,支持带有事件时间(eventtime)语义的流处理和窗口处理。事件时间的语义使流计算的结果更加精确,尤其在事件到达无序或者延迟的情况下。支持高度灵活的窗口操作。支持基于time、count、session,以及data-driven的窗口操作,能很好的对现实环境中的创建的数据进行建模。支持savepoints机制。即可以将应用的运行状态保存下来,在升级应用或者处理历史数据是能够做到无状态丢失和最小停机时间。近年来,物联网技术发展迅速,其所引发的不仅是第四次工业革命,包括对农业、工业、服务业等人类社会基本业态,都会产生深远影响,从而对整个人类社会的生产和生活方式带来革命。物联网中存在海量的设备,其产生的数据量也规模巨大,云计算 ...
【技术保护点】
1.一种基于Flink的物联网设备行为分析方法,其特征在于,/n包括:/n1)通过Flink对设备数据进行清洗及筛选;/n2)通过机器学习算法用设备的特征值建立设备行为模型;/n3)通过Flink时间窗口统计与分析结果,实现动态实时更新。/n
【技术特征摘要】
1.一种基于Flink的物联网设备行为分析方法,其特征在于,
包括:
1)通过Flink对设备数据进行清洗及筛选;
2)通过机器学习算法用设备的特征值建立设备行为模型;
3)通过Flink时间窗口统计与分析结果,实现动态实时更新。
2.根据权利要求1所述的方法,其特征在于,
基于物联网平台收集设备的数据并发送到MQTT中,flink从MQTT中获取设备数据,先进行数据清洗获得所需的特征值。
3.根据权利要求2所述的方法,其特征在于,
利用机器学习算法对所获得的特征值进行计算获得设备行为模型。
4.根据权利要求2所述的方法,其特征在于,
机器学习算法采用三层人工神经网络方法对数据进行处理。
5.根据权利要求3或4所述的方法,其特征在于,
最后通过flink的时间窗口,对设备行为模型进行分析、筛选及聚合得到设备行为分析结果,将其存入HDFS并动态实时展示出来。
6.根据权利要求5所述的方法,其特征在于,
其中,特征值由实际需求所确...
【专利技术属性】
技术研发人员:翟延成,王翠,刘牧,
申请(专利权)人:浪潮云信息技术有限公司,
类型:发明
国别省市:山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。