一种基于大数据的公共安全预警系统技术方案

本发明专利技术属于大数据应用的技术领域，具体涉及一种基于大数据的公共安全预警系统。系统分为主要包括系统管理模块、日志处理模块和日志数据库,其中系统管理模块包括组织管理、角色管理、用户管理、系统日志等模块；日志处理模块的步骤包括日志采集、日志代理增量读取、数据解析、封装、入库检索等步骤生成日志分析和统计报表，进而完成对异常日志分析、预警；日志数据库储存系统采集的历史日志，采集方式包括历史数据导入和实时数据接入两部分。本发明专利技术的有益效果在于，系统可整合多种类型数据，集合多数据源，并采用流式大数据框架，对实时产生的数据进行归集、分析，提升预警效率，将危机事件由事后处置转变事前预测，为事件处置提供了充足的时间。

【技术实现步骤摘要】

本专利技术属于大数据应用的
，具体涉及一种基于大数据的公共安全预警系统。
技术介绍
随着社会科学技术的进步，新技术的应用领域越来越广泛，尤其近年来云计算和大数据发展突飞猛进，国家国民经济和社会发展第十三个五年规划纲要中也重点提出“实施国家大数据战略”，大数据必定会取得更好、更快的发展；公共安全管理作为国家行政机关保障人民生命财产的重要部分，如何实现大数据技术与公共安全管理的有效对接是我们要研究的主要内容。通过大数据处理与公共危机管理的有效对接，使得公共安全决策的流程将由危机事件发生后的“应对”转变为危机事件发生前的“预测”，依托数字化管理平台实时巡查，主动发现问题，实现应急处置，运用大数据技术保障城市公共安全，同时又不干扰城市正常运转和市民正常生活。能够强有力地推动公共安全信息网络完善，促进跨部门、跨区域管理信息协同共享，提升公共危机事件的源头治理、动态监控、应急处置和事前预警能力，有效地提升国家与政府应对公共安全等事务时的治理能力。实现公共安全管理部门与部门之间数据对接困难，主要原因在于数据的构成很难实现数据融合；另外部门间存在信息孤岛，数据利用率低等问题。如何建立公共安全异常事件数据库也是本方案要完成工作之一。
技术实现思路
为了解决上述的技术问题，本专利技术提供了一种基于大数据的公共安全预警系统。本专利技术所述的基于大数据的公共安全预警系统是通过下述技术方案来解决以上的技术问题的：一种基于大数据的公共安全预警系统,，系统分为主要包括系统管理模块、日志处理模块和日志数据库,其中系统管理模块包括组织管理、角色管理、用户管理、系统日志等模块；日志处理模块的步骤包括日志采集、日志代理增量读取、数据解析、封装、入库检索等步骤生成日志分析和统计报表，进而完成对异常日志分析、预警；日志数据库储存系统采集的历史日志，采集方式包括历史数据导入和实时数据接入两部分。上述日志处理模块具体步骤为：a日志采集，日志采集中，系统内置异构数据管理器，将不同形式的数据内容整合为统一日志格式；b对日志进行日志代理增量读取；c根据机器Flume的配置读取日志列表，汇总；d通过Kafka消息通道将日志传递给Storm，Storm将每一条日志解析成JavaBean对象，解析过程是在日志到达Storm之后，被解析成多组日志元数据，通过Storm中的规则进行过滤、合并产生n条数据；e封装JavaBean对象；f把JavaBean对象插入搜索引擎ElasticSearch中；g输入查询条件，通过ElasticSearch进入数据库检索、比对生成日志分析和统计报表，完成对异常日志提取和分析。数据库分为常规日志部分和事件日志部分，数据库对每一条历史日志进行自动存储，所述的自动存储过程根据系统预先设置的事件数据触发条件将日志类型分为常规日志和事件日志，并且生成历史异常数据库。其中日志处理模块步骤g中入库检索、比对过程分为预处理和再处理两个步骤。在具体操作中，日志采集分为两部分内容，一是在历史数据导入的过程中系统根据系统预先设置异常数据触发条件将日志类型分为常规日志和事件日志，分别存储。二是实时数据接入的过程中系统根据系统预先设置异常数据触发条件将日志类型分为常规日志和事件日志，分别存储。系统对于事件日志的存储是根据历史数据导入和实时数据接入两部分内容实现数据累计。本专利技术的有益效果在于，系统可整合多种类型数据，集合多数据源，并采用流式大数据框架，对实时产生的数据进行归集、分析，提升预警效率，将危机事件由事后处置转变事前预测，为事件处置提供了充足的时间。系统数据库可逐步对异常数据累计，逐步完善异常数据库，为以后应对异常事件处置提供数据依据。附图说明图1为本系统的总体框架示意图。具体实施方式下面结合附图和具体实施方式来对本专利技术作更进一步的说明，以便本领域的技术人员更了解本专利技术，但并不以此限制本专利技术。系统分为主要包括系统管理模块、日志处理模块和日志数据库,其中系统管理模块包括组织管理、角色管理、用户管理、系统日志等模块；日志处理模块的步骤包括日志采集、日志代理增量读取、数据解析、封装、入库检索等步骤生成日志分析和统计报表，进而完成对异常日志分析、预警；日志数据库储存系统采集的历史日志，采集方式包括历史数据导入和实时数据接入两部分。上述日志处理模块具体步骤为：a日志采集，日志采集中，系统内置异构数据管理器，将不同形式的数据内容整合为统一日志格式；b对日志进行日志代理增量读取；c根据机器Flume的配置读取日志列表，汇总；d通过Kafka消息通道将日志传递给Storm，Storm将每一条日志解析成JavaBean对象，解析过程是在日志到达Storm之后，被解析成多组日志元数据，通过Storm中的规则进行过滤、合并产生n条数据；e封装JavaBean对象；f把JavaBean对象插入搜索引擎ElasticSearch中；g输入查询条件，通过ElasticSearch进入数据库检索、比对生成日志分析和统计报表，完成对异常日志提取和分析。数据库分为常规日志部分和事件日志部分，数据库对每一条历史日志进行自动存储，所述的自动存储过程根据系统预先设置的事件数据触发条件将日志类型分为常规日志和事件日志，并且生成历史异常数据库。其中日志处理模块步骤g中入库检索、比对过程分为预处理和再处理两个步骤。在具体操作中首先系统会通过系统管理模块将各类历史日志数据导入系统，导入过程中根据系统预先设置异常数据触发条件将日志类型分为常规日志和异常日志，实现异常数据累计。当新的日志数据通过日志处理模块进入日志处理模块后根据上述方法对数据进行处理、对比，数据优先进入历史异常数据库中检索，提高检索效率。日志采集分为两部分内容，一是在历史数据导入的过程中系统根据系统预先设置异常数据触发条件将日志类型分为常规日志和事件日志，分别存储。二是实时数据接入的过程中系统根据系统预先设置异常数据触发条件将日志类型分为常规日志和事件日志，分别存储。系统对于事件日志的存储是根据历史数据导入和实时数据接入两部分内容实现数据累计。本文档来自技高网...

【技术保护点】
一种基于大数据的公共安全预警系统,其特征为：所述的系统分为主要包括系统管理模块、日志处理模块和日志数据库,其中系统管理模块包括组织管理、角色管理、用户管理、系统日志等模块；日志处理模块的步骤包括日志采集、日志代理增量读取、数据解析、封装、入库检索等步骤生成日志分析和统计报表，进而完成对异常日志分析、预警；日志数据库储存系统采集的历史日志，采集方式包括历史数据导入和实时数据接入两部分。

【技术特征摘要】
1.一种基于大数据的公共安全预警系统,其特征为：所述的系统分为主要包括系统管理模块、日志处理模块和日志数据库,其中系统管理模块包括组织管理、角色管理、用户管理、系统日志等模块；日志处理模块的步骤包括日志采集、日志代理增量读取、数据解析、封装、入库检索等步骤生成日志分析和统计报表，进而完成对异常日志分析、预警；日志数据库储存系统采集的历史日志，采集方式包括历史数据导入和实时数据接入两部分。2.根据权利要求1所述的一种基于大数据的公共安全预警系统，其特征为：所述日志处理模块具体步骤为：a日志采集，日志采集中，系统内置异构数据管理器，将不同形式的数据内容整合为统一日志格式；b对日志进行日志代理增量读取；c根据机器Flume的配置读取日志列表，汇总；d通过Kafka消息通道将日志传递给Storm，Storm将每一条日志解析成J...

【专利技术属性】
技术研发人员：吕雪岭，吕晓燕，吕晓超，
申请(专利权)人：山东联科云计算科技有限公司，
类型：发明
国别省市：山东;37