基于大数据技术的航空运营数据采集系统技术方案

本发明专利技术涉及航空数据处理，基于大数据技术的航空运营数据采集系统，包括用于采集ACARS数据的ACARS数据采集系统、用于采集QAR数据的QAR数据采集系统、用于采集文本类数据的文本类数据采集系统；还包括一大数据分析平台；ACARS数据采集系统通过报文的方式将ACARS数据传到地面站，地面站接收到报文数据解码后上传大数据分析平台；QAR数据采集系统通过地面专线将QAR数据传输给大数据分析平台；文本类数据采集系统将反映运营机队可靠性状况的原始数据，每月上传大数据分析平台一次。本发明专利技术将各种类型的数据采集到统一的大数据分析平台中，提升了运营数据采集的自动化，并解决传统数据采集后数据孤岛的问题。

Data acquisition system of aviation operation based on big data technology

The invention relates to aviation data processing, aviation operation data collection system based on big data technology, including ACARS data collection system for collecting ACARS data, QAR data collection system for collecting QAR data, text data collection system for collecting text data, and a big data analysis platform; ACARS data collection system uses message to collect ACARS data The data is transmitted to the ground station, which receives the message data decoding and then uploads it to the big data analysis platform; the QAR data acquisition system transmits the QAR data to the big data analysis platform through the ground special line; the text data acquisition system will reflect the original data of the reliability status of the operating fleet, and upload the big data analysis platform once a month. The invention collects various types of data into a unified big data analysis platform, improves the automation of operation data collection, and solves the problem of data island after traditional data collection.

【技术实现步骤摘要】
基于大数据技术的航空运营数据采集系统
本专利技术涉及数据处理领域，具体涉及航空数据处理。
技术介绍
传统的航空运营数据采集系统，多将少量的ACARS数据接入到关系型数据库里，QAR数据整合后存储到硬盘中。随着飞机数量及飞机上传感器采集参数数量的增加，民机运营将产生大量的ACARS数据、QAR数据以及其它多类型的数据，传统的数据业务系统无法满足大量数据的采集功能。
技术实现思路
本专利技术的目的在于，提供一种基于大数据技术的航空运营数据采集系统。本专利技术所解决的技术问题可以采用以下技术方案来实现：基于大数据技术的航空运营数据采集系统，其特征在于，包括用于采集ACARS数据的ACARS数据采集系统、用于采集QAR数据的QAR数据采集系统、用于采集文本类数据的文本类数据采集系统；还包括一大数据分析平台；所述ACARS数据采集系统在飞机飞行过程中通过报文的方式将ACARS数据传到地面站，地面站接收到报文数据解码后上传大数据分析平台；所述QAR数据采集系统在飞机降落后，通过地面专线将QAR数据传输给大数据分析平台；所述文本类数据采集系统将反映运营机队可靠性状况的原始数据，采用EXCEL文件格式，每月上传大数据分析平台一次。本专利技术将各种类型的数据采集到统一的大数据分析平台中，提升了运营数据采集的自动化，并解决传统数据采集后数据孤岛的问题。所述ACARS数据采集系统，采用流数据处理的方式，利用Flume及Kafka消息网关的方法进行采集。r>Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。ACARS数据传到地面站以后，Flume可以采集文件、socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、Hbase、hive、kafka队列等众多外部存储系统中。通过对flume的配置实现相关ACARS数据的抽取采集。地面站接收到报文数据解码后上传大数据分析平台同时，上传给地面站的监控系统。所述QAR数据采集系统在飞机降落后，可以先通过地面专线将QAR数据导入关系型数据库中，然后对存放在关系型数据库中的数据，通过Sqoop工具定时抽取到大数据平台中。优选，通过Sqoop工具定时抽取到大数据平台的HDFS、HIVE、HBASE等数据存储系统中。Sqoop工具的架构主要由三个部分组成：Sqoopclient、HDFS/HBase/Hive、Database。用户向Sqoop发起一个命令之后，这个命令会转换为一个基于MapTask的MapReduce作业；MapTask会访问关系型数据库中的原数据信息，通过并行的MapTask将数据库的数据读取出来，然后导入大数据平台中。当然也可以将大数据平台中的数据，导入传统的关系型数据库中。它的核心思想就是通过基于MapTask(只有map)的MapReduce作业，实现数据的并发拷贝和传输，这样可以大大提高效率。作为一种优选方案：Sqoop工具具有Sqoopimport功能，Sqoopimport功能是将数据从关系型数据库导入HDFS中：首先用户输入一个Sqoopimport命令，Sqoop工具会从关系型数据库中获取原数据信息，比如要操作数据库表的schema是什么样子，这个表有哪些字段，这些字段都是什么数据类型等。它获取这些信息之后，会将输入命令转化为基于Map的MapReduce作业。这样MapReduce作业中有很多Map任务，每个Map任务从数据库中读取一片数据，这样多个Map任务实现并发的拷贝，把整个数据快速的拷贝到大数据平台的HDFS上。Sqoop工具具有Sqoopexport功能，Sqoopexport功能是将数据从HDFS导入关系型数据库表中：首先用户输入一个Sqoopexport命令，它会获取关系型数据库的Schema，建立大数据平台字段与关系型数据库表字段的映射关系。然后会将输入命令转化为基于Map的MapReduce作业，这样MapReduce作业中有很多Map任务，它们并行的从HDFS读取数据，并将整个数据拷贝到关系型数据库中。所述文本类数据采集系统，通过一次性批量采集加定时抽取的方式进行采集。反映运营机队可靠性状况的原始数据，主要包括飞机使用数据、动力装置使用数据、故障记录、部件拆换记录以及修理记录等。这些数据通过某些特定的计算公式进行统计分析后，可以得出一些概率值或指标值，能够直观的反应机队可靠性状况。反映运营机队可靠性状况的原始数据，除可以采用EXCEL文件格式，每月上传大数据分析平台一次外，还可以与现有现有机队可靠性管理系统建立数据接口，实现数据自动导入。数据录入系统后及进行各可靠性指标值的计算。对于应用系统中的结构化、非结构化数据可通过批量采集方式汇集到大数据存储处理系统中，这个汇集过程是需要配置自动化的数据采集规则，并得到数据拥有者的审核授权方能进行，数据管理员可以对整个数据采集过程进行监控追溯。具体实施方式为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面进一步阐述本专利技术。基于大数据技术的航空运营数据采集系统，包括用于采集ACARS数据的ACARS数据采集系统、用于采集QAR数据的QAR数据采集系统、用于采集文本类数据的文本类数据采集系统；还包括一大数据分析平台；ACARS数据采集系统在飞机飞行过程中通过报文的方式将ACARS数据传到地面站，地面站接收到报文数据解码后上传大数据分析平台；QAR数据采集系统在飞机降落后，通过地面专线将QAR数据传输给大数据分析平台；文本类数据采集系统将反映运营机队可靠性状况的原始数据，采用EXCEL文件格式，每月上传大数据分析平台一次。本专利技术将各种类型的数据采集到统一的大数据分析平台中，提升了运营数据采集的自动化，并解决传统数据采集后数据孤岛的问题。ACARS数据采集系统，采用流数据处理的方式，利用Flume及Kafka消息网关的方法进行采集。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。ACARS数据传到地面站以后，Flume可以采集文件、socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、Hbase、hive、kafka队列等众多外部存储系统中。通过对flume的配置实现相关ACARS数据的抽取采集。地面站接收到报文数据解码后上传大数据分析平台同时，上传给地面站的监控系统。QAR数据采集系统在飞机降落后，可以先通过地面专线将QAR数据导入关系型数据库中，然后对存放在关系型数据库中的数据，通过Sqoop工具定时抽取到大数据平台中。优选，通过Sqoop工具定时抽取到大数据平台的HDFS、HIVE、HBASE等数据存储系统中。Sqoop工具的架构主要由三个部分组成：Sqoopclient、HDFS/HBase/Hive、Database。用户向Sqoop发起一个命令之后，这个命令会转换为一个基于MapTask的MapReduce作业；MapTask会本文档来自技高网...

【技术保护点】
1.基于大数据技术的航空运营数据采集系统，其特征在于，包括用于采集ACARS数据的ACARS数据采集系统、用于采集QAR数据的QAR数据采集系统、用于采集文本类数据的文本类数据采集系统；/n还包括一大数据分析平台；/n所述ACARS数据采集系统在飞机飞行过程中通过报文的方式将ACARS数据传到地面站，地面站接收到报文数据解码后上传大数据分析平台；/n所述QAR数据采集系统在飞机降落后，通过地面专线将QAR数据传输给大数据分析平台；/n所述文本类数据采集系统将反映运营机队可靠性状况的原始数据，采用EXCEL文件格式，每月上传大数据分析平台一次。/n

【技术特征摘要】
1.基于大数据技术的航空运营数据采集系统，其特征在于，包括用于采集ACARS数据的ACARS数据采集系统、用于采集QAR数据的QAR数据采集系统、用于采集文本类数据的文本类数据采集系统；
还包括一大数据分析平台；
所述ACARS数据采集系统在飞机飞行过程中通过报文的方式将ACARS数据传到地面站，地面站接收到报文数据解码后上传大数据分析平台；
所述QAR数据采集系统在飞机降落后，通过地面专线将QAR数据传输给大数据分析平台；
所述文本类数据采集系统将反映运营机队可靠性状况的原始数据，采用EXCEL文件格式，每月上传大数据分析平台一次。


2.根据权利要求1所述的基于大数据技术的航空运营数据采集系统，其特征在于：所述ACARS数据采集系统，采用流数据处理的方式，利用Flume及Kafka消息网关的方法进行采集。


3.根据权利要求2所述的基于大数据技术的航空运营数据采集系统，其特征在于：ACARS数据传到地面站以后，Flume采集源数据，并将采集到的数据输出到HDFS、Hbase、hive、kafka队列中。


4.根据权利要求1所述的基于大数据技术的航空运营数据采集系统，其特征在于：地面站接收到报文数据解码后上传大数据分析平台同时，上传给地面站的监控系统。


5.根据权利要求1所述的基于大数据技术的航空运营数据采集系统，其特征在于：所述QAR数据采集系统在飞机降落后，先通过地面专线将QAR数据导入关系型数据...

【专利技术属性】
技术研发人员：褚艳云，
申请(专利权)人：上海帕科网络科技有限公司，
类型：发明
国别省市：上海;31