【技术实现步骤摘要】
基于Storm的实时数据比对预警方法及系统
本专利技术涉及数据处理及实时计算领域，尤其涉及一种基于Storm的实时数据比对预警方法及系统。
技术介绍
数据的价值随着时间的流逝而降低，事件出现后必须尽快对它们进行处理，最好事件出现时便立刻对其进行处理，发生一个事件进行一次处理，而不是缓存起来成一批处理。若把持续到达的数据简单地放到传统数据库管理系统（DBMS）中，并在其中进行操作，是不切实际的。传统的DBMS并不是为快速连续地存放单的数据单元而设计的，而且也不支持“持续处理”，而“持续处理”是数据流应用的典型特征。若采用MapReduce来处理实时数据流也很难稳定地满足应用需求，这是因为HadoopMapReduce框架为批处理做了高度优化，典型的是通过调度批量任务来操作静态数据，任务不是常驻服务，数据也不是实时流入。实时数据比对预警是公安行业治安防控领域的重要应用，从现有海量多维数据的采集汇总到最终预警需经过多个环节，对预警的实时性要求较高。若将数据直接增量抽入HDFS，会由于入库的延迟无法保障时效性，不满足公安实时...
【技术保护点】
1.一种基于Storm的实时数据比对预警方法，其特征在于，包括以下步骤：/nS1、将来自多种数据源的实时多维数据进行数据清洗和标准化后，以json数据格式按不同数据源分主题发送至分布式Kafka消息队列；/nS2、将数据比对规则存储在RDBMS；/nS3、从RDBMS加载比对规则到内存，利用Storm集群技术，将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞，并新建Kafka主题存放实时比对的预警结果；/nS4、消费Kafka预警结果主题，将结果写入RDBMS，通过查询接口接收查询请求，进行预警展示。/n
【技术特征摘要】
1.一种基于Storm的实时数据比对预警方法，其特征在于，包括以下步骤：
S1、将来自多种数据源的实时多维数据进行数据清洗和标准化后，以json数据格式按不同数据源分主题发送至分布式Kafka消息队列；
S2、将数据比对规则存储在RDBMS；
S3、从RDBMS加载比对规则到内存，利用Storm集群技术，将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞，并新建Kafka主题存放实时比对的预警结果；
S4、消费Kafka预警结果主题，将结果写入RDBMS，通过查询接口接收查询请求，进行预警展示。
2.如权利要求1所述的基于Storm的实时数据比对预警方法，其特征在于，所述步骤S1包括：
当数据源为增量更新的数据库时，采用Logstash工具定时增量抽取数据到分布式Kafka消息队列；所述Logstash工具包括输入插件、过滤插件以及输出插件，所述输入插件根据输入数据源配置，所述过滤插件根据过滤需要配置，所述输出插件配置为指定数据输出源为Kafka集群对应主题及json数据格式，所述输入插件、所述过滤插件以及所述输出插件形成管道连接数据输入源与数据输出源，形成数据的自动处理与抽取。
3.如权利要求1所述的基于Storm的实时数据比对预警方法，其特征在于，所述步骤S1包括：
当数据源为实时上传的文件时，自动从服务器下载解析数据文件，并清洗、标准化为json数据格式输入分布式Kafka消息队列，具体包括：首先连接ftp服务器，获取相应文件名，判断是否已经下载；若否，则自动下载新文件到目标服务器，逐行解析文件，转换为json数据格式；启动Kafka生产者，将上述json数据流写入Kafka集群对应主题。
4.如权利要求1所述的基于Storm的实时数据比对预警方法，其特征在于，所述步骤S1包括：
当数据源为服务接口时，自动从服务接口获取实时更新数据，并清洗、标准化为json数据格式输入分布式Kafka消息队列，具体包括：首先根据配置调度策略，增量获取实时更新数据；然后滤除无用字段，标准化字段类型，转换为json数据格式；启动Kafka生产者，将上述json数据流写入Kafka集群对应主题。
5.如权利要求1所述的基于Storm的实时数据比对预警方法，其特征在于，所述步骤S2具体包括：
在RDBMS新建比对规则表，设计并固定表结构，用于比对规则的存储与标准化管理；通过规则录入接口接收比对规则，通过输入信息监控、验证录入的规则格式，不匹配规则的不入库并予以提醒，通过验证的规则写入数据库进行存储。
6.如权利要求1所述的基于Storm的实时数据比对预警方法，其特征在于，所述步骤S3具体包括：
S31、全量读...
【专利技术属性】
技术研发人员：李巍，柳庆，张舟，
申请(专利权)人：武汉烽火众智智慧之星科技有限公司，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。