航空应急救援数据采集系统及方法技术方案

本发明专利技术提供了航空应急救援数据采集系统及方法。航空应急救援数据采集系统，包括用于采集实时数据的实时数据采集子系统，所述实时数据采集子系统包括：多个采集设备，用于分别从多个采集点并行地采集实时数据；分布式消息中间件，从所述多个采集设备接收所述实时数据并且将所述实时数据进行标准化；以及分布式流式处理引擎，以消息订阅的方式从所述分布式消息中间件获取标准化的实时数据。该采集系统利用云计算和大数据技术，实现多源异构数据的实时采集、标准化和数据载入。解决了不同数据源(不同操作系统、不同的数据库系统、不同的文件系统等)、不同数据类型(结构化数据、半结构化数据和非结构化数据)的统一和标准化问题。

【技术实现步骤摘要】
航空应急救援数据采集系统及方法
本专利技术一般地涉及大数据
，更具体地，涉及航空应急救援数据采集系统及方法。
技术介绍
航空应急救援是应急救援的方式之一，特指采用航空技术手段和技术装备实施的一种应急救援。与其他应急救援方式比较，其独特之处在于使用的技术条件和组织管理。航空应急救援具备响应速度快、机动能力强、救援范围广、救援效果好、科技含量高的特点，具有其他应急救援手段无可比拟的优势，有着极其广阔的应用前景。国际上通常把航空应急救援类型分为四类：自然灾害救援、事故灾害救援、公共卫生救援和公共安全事件救援。我国国土面积广大，海岸线漫长，山区众多，又是灾害多发的国家，发展快捷高效的通用航空应急救援体系十分必要。在航空应急救援指挥体系的建设中，必须充分考虑我国的地形地貌、气象水文、地质构造、人文环境和发展程度等诸多因素，建立涵盖自然灾害、事故灾害、公共卫生、公共安全等四类突发事件的处置和救援体制机制。近些年来，飞速发展的大数据和云计算技术开始在航空应急救援中发挥作用，但依然存在着信息孤岛难题。航空应急救援中，需要从政府应急管理部门的系统中接收航空应急救援任务，从空管系统、天气系统、通航云系统等外部系统中接收飞行任务及计划数据、天气数据、飞行器运营人数据、基地数据、飞行监控数据等。涉及的部门多、接口多样、流程复杂，各系统采用的操作系统、数据库系统或文件系统均不同。现有的应急救援数据采集和汇聚，基本采用手工录入或数据文件导入的方式，效率低，实时性差，存在来源不同、格式不一等问题。如图1的数据处理逻辑所示，现有的航空应急救援数据，可分为来自系统内部和基于互联网的终端采集两个渠道，分别由系统服务器和网络服务器提供数据汇聚和处理分发业务，处理后的数据统一存储到后端的数据存储中心。。近年来，随着航空应急救援体系的发展，相关组织和机构已开展了一系列数据应用实践，但现有技术存在一些问题和不足：一是数据整合程度低，分散在不同部门，没有形成共享机制和平台，数据处理受人力限制大、缺乏相应的技术平台和标准体系，难以快速实现数据整合；二是数据应用初级，没有形成覆盖全部门的规模化数据应用体系，缺乏大数据思维下的创新性应用，存在应用模式传统、综合分析力度不够、分析深度不足等问题；三是基础设施资源分布不均，各级部门多系统分散投入基础设施建设，造成投入大收益小、需求大投入小等发展不均衡的现象，急需一个统一的大数据系统对基础设施资源进行跨区域整合和按需分配调度。
技术实现思路
本专利技术针对现有技术中所存在的等缺陷，提供了能够解决上述问题的一种航空应急救援数据采集系统及方法。根据本专利技术的一方面，提供了一种航空应急救援数据采集系统，包括用于采集实时数据的实时数据采集子系统，所述实时数据采集子系统包括：多个采集设备，用于分别从多个采集点并行地采集实时数据；分布式消息中间件，从所述多个采集设备接收所述实时数据并且将所述实时数据进行标准化；以及分布式流式处理引擎，以消息订阅的方式从所述分布式消息中间件获取标准化的实时数据。优选地，所述实时数据采集子系统还包括分布式一致性服务器，用于与所述分布式流式处理引擎和所述分布式消息中间件通信连接，以使所述分布式流式处理引擎和所述分布式消息中间件中的数据具有一致性。优选地，所述多个采集点中的每个采集点具有多个专用设备节点，其中，每个采集点完全覆盖所述多个专用设备节点。优选地，所述分布式消息中间件通过硬盘存储数据。优选地，所述实时数据包括预警信息、监测源数据、事件信息和救援状态信息。优选地，所述航空应急救援数据采集系统还用于采集通用数据、专业数据以及基础数据。优选地，所述通用数据、所述专业数据以及所述基础数据以批量采集的方式从其他数据系统接入，其中，接入方式包括Shell客户端、JavaAPI、WebHDFSRestAPI以及shift接口。优选地，所述通用数据进一步包括应急救援相关的知识库、法律法规、救援案例。优选地，所述专业数据包括：应急预案、辅助研判算法、空间数据分析及建模模型。优选地，所述基础数据包括基础地理信息、空间数据、危险源数据、应急资源数据和救援目标数据。根据本专利技术的另一方面，提供了一种航空应急救援数据采集方法，包括分别从多个采集点并行地采集实时数据；接收所述实时数据并且将所述实时数据进行标准化；以及以消息订阅的方式从所述分布式消息中间件获取标准化的实时数据。本专利技术所提供的多源异构航空应急救援数据的采集系统，利用云计算和大数据技术，实现多源异构数据的实时采集、标准化和数据载入。解决了不同数据源(不同操作系统、不同的数据库系统、不同的文件系统等)、不同数据类型(结构化数据、半结构化数据和非结构化数据)、不同采集方式(包括实时采集、全量采集和增量采集等)的统一和标准化问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是现有技术中的航空应急救援数据的采集系统的数据处理逻辑；图2是根据本专利技术的实施例的航空应急救援数据的采集系统中的实时数据采集子系统的结构框图；图3是根据本专利技术的实施例的航空应急救援数据的采集系统中的实时数据采集子系统的具体结构图；以及图4是根据本专利技术的实施例的实时数据采集的流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图2是根据本专利技术的实施例的航空应急救援数据的采集系统中的实时数据采集子系统的结构框图。下文中，将参照图2对实时数据采集子系统进行描述。根据本专利技术的实施例的实时数据采集包括用于采集实时数据的实时数据采集子系统，实时数据采集子系统200包括：多个采集设备202，用于分别从多个采集点并行地采集实时数据；分布式消息中间件204，从多个采集设备202接收实时数据并且将实时数据进行标准化；以及分布式流式处理引擎206，以消息订阅的方式从分布式消息中间件204获取标准化的实时数据。数据采集节点的数据量可以根据实际需要进行动态的调整，可以通过多个节点并行采集以提高传输速度，满足用户采集需求，如果使用多个数据采集节点，每个节点对应若干个专用设备节点，所有数据采集节点完全覆盖专用设备节点，同时保证不重复。为了保证数据采集接入时的可靠性，在系统架构设计中在数据接入处增加了消息缓冲中间件，保证消息的可靠传输。该采集系统利用云计算和大数据技术，实现多源异构数据的实时采集、标准化和数据载入。解决了不同数据源(不同操作系统、不同的数据库系统、不同的文件系统等)、不同数据类型(结构化数据、半结构化数据和非结构化数据)的统一和标准化问题。图3是根据本专利技术的实施例的航空应急救援数据的采集系统中的实时数据采集子系统的具体结构图。下文中，将参照图3对实时数据采集子系统进行详细描述。根据本专利技术的实施例的实时数据采集包括用本文档来自技高网...

【技术保护点】
1.一种航空应急救援数据采集系统，其特征在于，包括用于采集实时数据的实时数据采集子系统，所述实时数据采集子系统包括：多个采集设备，用于分别从多个采集点并行地采集实时数据；分布式消息中间件，从所述多个采集设备接收所述实时数据并且将所述实时数据进行标准化；以及分布式流式处理引擎，以消息订阅的方式从所述分布式消息中间件获取标准化的实时数据。

【技术特征摘要】
1.一种航空应急救援数据采集系统，其特征在于，包括用于采集实时数据的实时数据采集子系统，所述实时数据采集子系统包括：多个采集设备，用于分别从多个采集点并行地采集实时数据；分布式消息中间件，从所述多个采集设备接收所述实时数据并且将所述实时数据进行标准化；以及分布式流式处理引擎，以消息订阅的方式从所述分布式消息中间件获取标准化的实时数据。2.根据权利要求1所述的航空应急救援数据采集系统，其特征在于，所述实时数据采集子系统还包括分布式一致性服务器，用于与所述分布式流式处理引擎和所述分布式消息中间件通信连接，以使所述分布式流式处理引擎和所述分布式消息中间件中的数据具有一致性。3.根据权利要求1所述的航空应急救援数据采集系统，其特征在于，所述多个采集点中的每个采集点具有多个专用设备节点，其中，所述每个采集点完全覆盖所述多个专用设备节点。4.根据权利要求1所述的航空应急救援数据采集系统，其特征在于，所述分布式消息中间件通过硬盘存储数据。5.根据权利要求1所述的航空应急救援数据采集系统，其特征在于，所述实时数据包括预警信息、监测源数据、事件信息和救援状态信息。6....

【专利技术属性】
技术研发人员：赵艳楠，宋怀明，郭庆，蒋丹东，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：北京,11