基于storm面向用户个性化预警机制大数据计算方法技术

本发明专利技术公开一种基于storm面向用户个性化预警机制大数据计算方法，具体步骤是：用户通过界面按照自身设备设置报警逻辑，设置成功后，系统将会按照约定的数据结构存储报警逻辑；数据缓存模块定时读取存储的数据结构，storm报警模块结合报警逻辑与服务器网关从终端读取发来的实时数据进行逻辑判断；若是报警数据，将进一步判断redis中是否已经存在报警历史，若存在则更新相应记录，若不存在则插入一条报警记录；若不是，判断redis中的报警历史，若存在,表示报警已经解除，则删除这条记录。本发明专利技术处理速度快，支持海量数据处理，在处理逻辑上使用了用户个性化预警方案，用户可根据自己设备的实际情况，定义报警方案。

【技术实现步骤摘要】
基于storm面向用户个性化预警机制大数据计算方法
本专利技术涉及一种基于storm面向用户个性化预警机制大数据计算方法，属于数据处理

技术介绍
随着互联网技术的发展，云服务器、云存储等技术的日新月异，大数据时代的来临，为了更好、更快的挖掘出有价值的信息，给客户更好的用户体验，传统的批量计算模型已经无法满足这些需求，分布式处理、集群、流式处理等大数据技术随之诞生。Storm作为目前最火的流式处理框架之一，可应用到各行各业的大数据处理平台中。工程机械行业中，随着传感器技术、数据采集技术的发展，终端设备可以采集的工况数据越来越多，数据量也随着剧增，如何从中提取出有用的数据，更快速的分析出有用的信息展现给用户，是目前亟待解决的问题。目前，工程机械行业中工况预警技术，一般采用如图1所示的数据处理流程，服务器网关负责从终端设备获取原始数据；解析模块从网关解析出工况数据；报警模块对解析模块获取的数据进行加工处理；关系型数据库对报警数据进行数据存储，供前台界面获取显示。这种技术能解决传统的数据处理和数据存储问题，但当存在海量数据需要处理时，计算机性能和数据存储上都会遇到瓶颈，只能通过提高本文档来自技高网...

【技术保护点】
一种基于storm面向用户个性化预警机制大数据计算方法，其特征在于，包括数据预处理模块、数据解析模块、数据存储模块和报警处理模块；数据预处理模块包括服务器网关和kafka消息队列，kafka消息队列负责服务网关数据与解析数据的桥梁，服务器网关从获取终端发来的原始数据存入kafka的topic中，作为数据解析模块处理的生产者；数据解析模块为storm解析模块，负责从kafka的topic中读取数据，并对topic中的原始数据根据协议定义进行解析；其中，storm的数据处理机制是流式处理，对数据进行逐条解析；数据存储模块包括数据缓存模块、缓存数据库更新模块和历史报警存储模块；报警处理模块为stor...

【技术特征摘要】
1.一种基于storm面向用户个性化预警机制大数据计算方法，其特征在于，包括数据预处理模块、数据解析模块、数据存储模块和报警处理模块；数据预处理模块包括服务器网关和kafka消息队列，kafka消息队列负责服务网关数据与解析数据的桥梁，服务器网关从获取终端发来的原始数据存入kafka的topic中，作为数据解析模块处理的生产者；数据解析模块为storm解析模块，负责从kafka的topic中读取数据，并对topic中的原始数据根据协议定义进行解析；其中，storm的数据处理机制是流式处理，对数据进行逐条解析；数据存储模块包括数据缓存模块、缓存数据库更新模块和历史报警存储模块；报警处理模块为storm报警模块，一方面，从数据缓存模块中获取用户自定义报警方案，另一方面，根据这些报警方案分析出报警逻辑，并且分析出报警结果；基于storm面向用户个性化预警机制大数据计算方法的具体步骤是：步骤一、用户通过界面按照自身设备设置报警逻辑，设置成功后，系统将会按照约定的数据结构存储报警逻辑...

【专利技术属性】
技术研发人员：张启亮，王飞，朱晓委，张毅，邵世龙，
申请(专利权)人：江苏徐工信息技术股份有限公司，
类型：发明
国别省市：江苏,32