应用大数据进行安保数据查询与存储的方法技术

一种应用大数据进行安保数据查询与存储的方法，将原系统中的各个业务应用全部融入云计算架构中，分为归入基础设施层、平台层、应用层；基础设施层分别将前端采集的数据归类存储至相应的资源池，为平台层对数据进行计算挖掘提供数据源支撑；平台层将基础设施层提供的所有数据进行计算、数学建模、综合分析，通过分析模型、算法引擎、挖掘工具将数据进行处理，采用大数据计算方式，对数据综合分析、横向纵向归纳串联，同时通过企业服务总线ESB将数据与上层应用层进行连接；应用层汇聚安保业务各部门的信息接入。

【技术实现步骤摘要】
应用大数据进行安保数据查询与存储的方法
本专利技术涉及网络数据管理与应用领域，具体涉及一种应用大数据进行安保数据查询与存储的方法。
技术介绍
随着数据的集中和业务的发展，公安系统多年运行积累下来的警务数据及其相关的社会参照数据，如卡口、视频、犯罪人员、社会比对等数据量正在急速增长，公安行业对数据的管理不应用需求已经超越了传统的历史数据备份的需求，传统的智能分析技术根本无法满足需求。信息化高速发展，公安业务应用的需求和大数据技术发展趋势，促使公安领域应用大数据进行分析，打造基于大数据平台的警务云系统，为公安行业解决了数据量庞大、来源多样、处理复杂的难题。因此，高效的存储、查询、分析、预警等应用对于公安系统迫在眉睫。本专利技术提出一种基于大数据云计算体系架构解决公安数据查询与存储这一问题。
技术实现思路
本专利技术旨在提出一种基于云计算大数据技术解决公安数据中的查询与存储应用的体系架构设计的方法，能有效的应用于公安、警务应用和警务信息化领域的业务需求，可以基于提出的体系架构构建警务云平台。本专利技术的技术方案如下：一种应用大数据进行安保数据查询与存储的方法，其特征在于：将原系统中的信息数据采集、数据汇总、信息共享、数据存储、分析挖掘技术、计算模型、各个业务应用全部融入云计算架构中，分为归入基础设施层、平台层、应用层；基础设施层中包含计算资源池、存储资源池、网络资源池，分别将前端采集的数据归类存储至相应的资源池，为平台层对数据进行计算挖掘提供数据源支撑；平台层将基础设施层提供的所有数据进行计算、数学建模、综合分析，通过分析模型、算法引擎、挖掘工具将数据进行处理，采用大数据计算方式，对数据综合分析、横向纵向归纳串联，同时通过企业服务总线ESB将数据与上层应用层进行连接；应用层汇聚公安业务多警种、多部门、多业务体系，将情报、指挥、交通、消防、反恐、信访部门的信息接入，充分合理的利用下层提供的数据、分析结果，为业务体系服务。本专利技术提出的大数据查询与存储云平台，为公安系统打造的大数据架构卓有成效的提高了原有公安警务系统的整体运营效率。新的系统架构运用到公安业务中可以使现有的公安业务中数据存储与查询方面高速发展，具体体现在以下方面：第一是大数据技术实现高效实时查询、存储，使安保系统大幅度提升业务效率。搭建的大数据集群环境总体耗时仅需十分钟左右，大大缩短了业务系统的上线时间。同时通过开发大数据挖掘应用，保障在亿级数据查询中大幅缩短查询时间，从而提升了安保系统对相关信息的查询、检索能力。经过压力试验得出在对约4亿条记录(1小时内在不同城市出现的同一车型车号)检索中，获得4500余条相关数据。第二采用虚拟化先进技术，上层应用快速部署，部署一个应用的时间由以前的1-2个月缩减为2个小时左右。新系统上线后，可以通过虚机建设和系统内置的应用模板就可以完成应用部署，部署一个应用时间由以前的1-2个月缩减为1-2个小时。第三是依托大数据警务云，安保系统的扩展能力和系统可靠性得到显著增强。随着业务需求增长，往往会出现原有服务器无法支撑工作负载压力的情况，在传统数据存储基础架构上往往需要购买更加高配的服务器，然后将应用迁移到新的服务器上，但应用迁移往往涉及到业务停机。现在云平台基础架构下，只需要对系统内存、CPU等资源进行扩展，无需停机就可为应用负载提供更多的计算、存储、内存、网络等资源。目前的系统完全基于云计算架构，系统故障后可实现自劢切换，同时还涉及了备份等安全保障措施。整体系统可靠性相比以前有大幅提升。此外，新的大数据云架构在运营维护方面也简化了大量的工作。架构中自带可以监控云平台下所有硬件资源的运行健康状况的系统，及时发现问题并予以解决。具体实施方式将安保系统现有的多台服务器进行整合起来构建了统一的警务云平台，把原有的若干应用系统也全面迁移到了新的云平台上，同时允许增加多个应用，例如安保系统中的犯罪模式识别、路况预警以及反恐预警等热点应用，预计可以供近150多个应用在大数据平台上运营，保证安保系统中的数据的查询与存储业务需求。将安保系统中的信息数据采集、数据汇总、信息共享、数据存储、分析挖掘技术、计算模型、各个业务应用等全部融入云计算架构中，分为归入基础设施层(IaaS)、平台层(PaaS)、应用层(SaaS)。基础设施层(IaaS)中包含计算资源池、存储资源池、网络资源池，分别将前端采集的数据归类存储至相应的资源池。为平台层对数据进行计算挖掘提供数据源支撑。平台层(PaaS)也是本设计的重点，它将基础设施层提供的所有数据进行计算、数学建模、综合分析。通过分析模型、算法引擎、挖掘工具等流式处理方式将数据进行处理，采用大数据计算方式，对数据综合分析、横向纵向归纳串联，为安保系统中的情报体系提供数据分析结果。分析的数据主要为情报中的重点人员管控、犯罪模式辨别、路况分析、预案分析、串并案等横纵向分析比对，为大情报数据分析提供有力的数据支持。同时通过企业服务总线ESB将数据与上层应用层进行连接。应用层(SaaS)汇聚安保业务多警种、多部门、多业务体系，将情报、指挥、交通、消防、反恐、信访、其他全市各个委办局等信息接入，充分合理的利用下层提供的数据、分析结果，为全是安保业务体系服务。同时，考虑整个大数据体系架构的安全稳定的运行，将网络安全体系、运维体系、安保网互联网视频专网等保障体系、信息管理平台、标准规范体系统筹规划，整体设计。为整个安保大数据架构提供强有力的保障服务。与此同时可以借助相关云数据中心操作系统等方式将全部安保系统的中的业务进行资源的整合和统一管理。本文档来自技高网...

【技术保护点】
一种应用大数据进行安保数据查询与存储的方法，其特征在于：将原系统中的信息数据采集、数据汇总、信息共享、数据存储、分析挖掘技术、计算模型、各个业务应用全部融入云计算架构中，分为归入基础设施层、平台层、应用层；基础设施层中包含计算资源池、存储资源池、网络资源池，分别将前端采集的数据归类存储至相应的资源池，为平台层对数据进行计算挖掘提供数据源支撑；平台层将基础设施层提供的所有数据进行计算、数学建模、综合分析，通过分析模型、算法引擎、挖掘工具将数据进行处理，采用大数据计算方式，对数据综合分析、横向纵向归纳串联，同时通过企业服务总线ESB将数据与上层应用层进行连接；应用层汇聚安保业务多警种、多部门、多业务体系，将情报、指挥、交通、消防、反恐、信访的信息接入，充分合理的利用下层提供的数据、分析结果，为安保业务体系服务。

【技术特征摘要】
1.一种应用大数据进行安保数据查询与存储的方法，其特征在于：将原系统中的信息数据采集、数据汇总、信息共享、数据存储、分析挖掘技术、计算模型、各个业务应用全部融入云计算架构中，分为归入基础设施层、平台层、应用层；基础设施层中包含计算资源池、存储资源池、网络资源池，分别将前端采集的数据归类存储至相应的资源池，为平台层对数据进行计算挖掘提供数据源支撑；平台层将基础...

【专利技术属性】
技术研发人员：罗峤伊，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：北京,11