【技术实现步骤摘要】
本专利技术属于数据挖掘，特别是涉及一种基于安保时空大数据的多源异构数据融合与挖掘方法。
技术介绍
1、国际性大型活动涉及各类复杂环境以及国内外运动员、媒体以及不同安保力量、志愿者等复杂行动主体，不可避免产生了大量来源复杂、标准不一、形式各异、内容多变的海量数据，涵盖了人、地、事、物、组织等方方面面。目前国内大型活动安保工作多侧重于整体系统集成和单一智能手段的应用，数据分析挖掘多基于关系型数据库，对结构化的数据进行分析处理，一方面需要实现有效的跨组织、跨部门、跨领域的数据共享共用手段，另一方面，能够对包括半结构化数据、非结构化数据在内的安保数据资源进行精准控制和高效利用。但目前应用于大型活动安保的各类系统平台仍然存在建设、使用和维护单位各不相同，导致数据资源没有有效利用、数据处理和分析挖掘的难度较大的难题，制约着数据资源服务安保能力，无法满足大型活动安保数据融合共享与智慧治理需求。
技术实现思路
1、本专利技术的目的是为了克服现有技术的不足，提出一种基于安保时空大数据的多源异构数据融合与挖掘方法，可实现多网络、多系统、多终端、多维度的多源异构安保数据资源的统一接入、融合共享与智能应用，为场馆及周界的人流、车流、物流以及重点区域管控等智能识别和动态管控提供数据分析挖掘服务，实现大数据的真正融合，从而提升大型活动安保治安防控能力。
2、本专利技术的技术方案如下：
3、一种基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，包括如下步骤：
4、步
5、步骤2：对大型活动安保相关各类多源异构数据资源进行统一分类与预处理；
6、步骤3：通过上述两个步骤完成数据的预处理、建立索引和格式转化后，按照类型及用途，分别存储在资源库、主题库、专题库、知识库和预案库5大核心库中；
7、步骤4：基于5大核心库进行时空大数据管理与分析；
8、步骤5：构建基于安保时空大数据的统一服务总线，设计统一数据共享接口，对外提供统一的数据共享服务。
9、进一步，步骤1中所述的数据采集，具体方法如下：
10、(21)结构化数据采集方法：结构化数据主要来自于各类信息化业务系统或关系型业务数据库中，采用全库全量抽取以及基于时间戳的增量抽取模式、基于触发器的增量抽取模式进行数据采集；
11、(22)半结构化数据采集方法：半结构化数据主要来自于各类信息化系统、物联网设备的配置文件及日志文件，以xml、json及自定义文本文件格式进行存储，采用flume架构进行数据采集。
12、(23)非结构化数据采集方法：这类数据主要包括图形、图像、音频、视频，主要来自于人脸抓拍、车辆抓拍、监控视频、执法记录仪数据等安保系统或装备，通过第三方api接口或传输协议实现数据采集，关键特征信息通过神经网络算法转化为结构化数据进行存储。
13、进一步，步骤2中对大型活动安保相关各类多源异构数据资源进行统一分类与预处理，具体方法如下：
14、(31)对步骤1中采集汇聚的各类安保数据资源，按照“来源-类型-重要程度-更新频率-接入/传输方式”进行统一分类，对数据的一致性、冗余性进行检查后，按照来源、类型、特征、用途，采用统一的命名规则设置标识码，以便于进行下一步操作；
15、(32)建立索引与格式转化：分别对结构化数据、半结构化数据、非结构化数据建立索引规范和存储规则，依据索引规范，根据不同数据的类型、时空特征建立安保数据索引；按照存储规则转化为适合存储和使用的数据格式后，进行噪声数据剔除、去重。
16、进一步，步骤3中所述5大核心库按如下类型进行定义：
17、资源库：存储各类安保资源类数据信息，包括前端感知设备数据以及第三方系统数据等，还包括公共信息库数据；
18、主题库：按照特定主题类别进行存储，包括重点人员库、重点车辆库；
19、专题库：按照专项任务进行存储；
20、知识库：包括安保知识库、场馆业务库、风险情报库、事件案例库和决策支持库；
21、预案库：存储各类突发事件的应急处置预案信息。
22、进一步，步骤3中进行数据存储方法具体包括：
23、实时性数据存储方法：采用高并发网络通信技术、io资源管控技术、多级高速数据缓存算法、无损压缩和有损压缩相结合的方式，实现数据的高效传输与存储；
24、非实时性数据存储方法：分为在线的非实时性数据和离线的非实时性数据两种数据，对于在线的非实时性数据，建立监听机制，当数据更新时调用相应的api接口或其他方式进行数据的更新与存储；对于离线的非实时性数据，在系统非高峰运行时间采用文件导入或人工录入等方式，手动进行非实时性数据的更新。
25、冷热数据分离存储方法：以每日0点为时间戳，对当天0:00-24:00的实时数据独立存储，对24小时以前的数据在每日0:00-2:00进行增量存储，通过构建数据库中间件，提供分片集群、合理设计索引、配置读写关注等方式为上层应用提供均衡高效的读写服务。
26、进一步，步骤4所述的基于5大核心库进行时空大数据管理与分析，具体为：
27、在管理方面，涉及元数据管理、数据清洗配置、质量检测、数据加工、数据关联和数据地图等治理工具；
28、在分析方面，基于分布式的服务架构设计支持可扩展的业务模型库与算法引擎，通过对数据的特征分析、语义分析、时空分析、轨迹关联、交叉核验等数据融合处理，形成有价值的数据情报辅助安保指挥研判与处置决策。
29、进一步，步骤5所述的统一数据共享接口，设计方法为：按照“数据来源-业务类型-数据类型”设计统一数据共享接口，包括数据的导入、导出和同步接口。
30、本专利技术通过构建规范的、安全的、全域化的时空大数据融合与挖掘处理架构，充分利用数据资源，开发数据模型，形成数据情报，能够提供安保多源异构数据的动态采集、统一存储、综合治理、挖掘分析、应用支持等全链路一体化的数据服务，实现了人员、群体、车辆、事件等多维度情报信息的实时获取与关联分析、人员画像与关系挖掘、轨迹追踪与场景复盘，有效支撑了车辆冲撞、周界入侵、敏感行为等突发事件的防范管控，提升了场馆的综合安保能力。
本文档来自技高网...【技术保护点】
1.一种基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，步骤1的数据采集，具体方法如下：
3.根据权利要求1所述的基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，对大型活动安保相关各类多源异构数据资源进行统一分类与预处理，具体方法如下：
4.根据权利要求1所述的基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，步骤3中所述5大核心库按如下类型进行定义：
5.根据权利要求1所述的基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，步骤3中进行数据存储方法具体包括：
6.根据权利要求1所述的基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，步骤4所述的基于5大核心库进行时空大数据管理与分析，具体为：
7.根据权利要求1所述的基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，步骤5所述的统一数据共享接口，设计方法为：
【技术特征摘要】
1.一种基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，步骤1的数据采集，具体方法如下：
3.根据权利要求1所述的基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在于，对大型活动安保相关各类多源异构数据资源进行统一分类与预处理，具体方法如下：
4.根据权利要求1所述的基于安保时空大数据的多源异构数据融合与挖掘方法，其特征在...
【专利技术属性】
技术研发人员：赵倩，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。