【技术实现步骤摘要】
本专利技术涉及民机数据存储领域，特别涉及一种民机试飞数据存储管理方法；此外，本专利技术还涉及一种民机试飞数据存储管理系统。
技术介绍
1、随着国产民航飞机已进入试运营阶段，国产民航飞机的飞行试验正在有序开展，试飞过程中展现多型号、多驾机、多地点的特点；同时，为了补充飞行模拟器及真机试验，并行开展了pc环境模拟试验等仿真试验。在试飞的过程中会产生大量的试飞时序数据，通过分析试飞时序数据的信息能够实时反映飞机的运行状态，因此对飞机试飞时序数据的研究意义重大。试飞数据的采样频率一般在8hz以上，采样参数达到几万个，采集的试飞数据存在数据量大、种类多、格式不统一等问题。
2、在低频率的试飞情况下，民航试飞数据的存储处理使用传统的关系型数据库能够应付试飞数据的存储和分析，但是，随着试飞飞机数量增加、试飞密度提高，会产生海量的时序数据。目前全量分析和研究海量数据一般采用大数据技术。
3、大数据技术采用lambda架构整体比较简单，将流式计算框架和离线批处理计算框架相互独立解耦，然而该架构存在的突出问题是需要同时维护、运营离线批处理和实时流处理两套代码，造成大量运维成本和资源浪费。两套并行的架构需要保证处理加工的结果保持一致，存在大量的人力、物力浪费。数仓中实时和离线链路割裂，造成重复工作，重复资源浪费；实时和离线数据模型不一致，数据一致性和质量难以保障。
4、采用kappa架构避免了维护两套系统和需要保持结果一致的问题，但是kappa架构也存在问题，比如消息中间件缓存的数据量和回溯数据有性能瓶颈。例如通常
5、数据服务和数据应用基于大数据平台之上构建，基于业务需求、数据需求进行立项和开发，最终完成面向产品的应用，提供给用户使用。但是面向用户产品的应用之间一般是相互独立的，数据开发的敏捷性不足，数据服务相对松散，缺少统一的数据服务目录管理，导致数据服务共享、复用难。此外，数据服务标准不统一，难以面向全网实现开放共享。
技术实现思路
1、为了解决现有技术存在的问题，本专利技术的至少一个实施例提供了一种民机试飞数据存储管理方法，把采集到的民机试飞数据通过消息中间件存储至时序数据库，构建面向民机试飞数据场景的数据仓库，从而使得实时时序数据和离线时序数据能够被高效、全量、实时地进行统一处理，时序试飞数据元信息后续维护更加便捷。为此，本专利技术的至少一个实施例还提供一种民机试飞数据存储管理系统。
2、第一方面，本专利技术实施例提出一种民机试飞数据存储管理方法，方法包括：
3、采集民机试飞数据得到民机试飞数据集，把民机试飞数据集的全量数据和增量数据实时同步至消息中间件；
4、通过消息中间件把民机试飞数据集存储至时序数据库；
5、通过时序数据库对民机试飞数据集的实时时序数据和离线时序数据进行统一处理。
6、在一些实施例中，本专利技术提供的民机试飞数据存储管理方法，采集民机试飞数据得到民机试飞数据集包括：
7、通过物联网组件对民机试飞数据进行采集和传输。
8、在一些实施例中，本专利技术提供的民机试飞数据存储管理方法，把民机试飞数据集的全量数据和增量数据实时同步至消息中间件包括：
9、通过flink cdc把民机试飞数据集的全量数据和增量数据实时同步至消息中间件。
10、在一些实施例中，本专利技术提供的民机试飞数据存储管理方法，把民机试飞数据集存储入时序数据库包括：
11、通过flink cdc和消息中间件把民机试飞数据集存储入时序数据库。
12、在一些实施例中，本专利技术提供的民机试飞数据存储管理方法，方法还包括：
13、把民机试飞数据集的元数据信息全量备份至关系数据库，构建面向民机试飞数据服务的统一目录。
14、在一些实施例中，本专利技术提供的民机试飞数据存储管理方法，把民机试飞数据集的元数据信息全量备份至关系数据库包括：
15、把关系数据库的数据通过flink cdc同步至消息中间件，并且实时订阅消费至图数据库中进行清洗、关联和存储。
16、在一些实施例中，本专利技术提供的民机试飞数据存储管理方法，方法还包括：
17、图数据库和时序数据库设置有外部数据共享接口。
18、第二方面，本专利技术实施例还提供了一种民机试飞数据存储管理系统，其特征在于，包括：
19、采集模块，用于采集民机试飞数据得到民机试飞数据集；
20、同步传输模块，用于把民机试飞数据集的全量数据和增量数据实时同步至消息中间件；
21、数据存储模块，用于通过消息中间件把民机试飞数据集存储至时序数据库；
22、数据处理模块，用于通过时序数据库对民机试飞数据集的实时时序数据和离线时序数据进行统一处理。
23、在一些实施例中，本专利技术提供的民机试飞数据存储管理系统，系统还包括：
24、统一目录构建模块，用于把民机试飞数据集的元数据信息全量备份至关系数据库，构建面向民机试飞数据服务的统一目录。
25、在一些实施例中，本专利技术提供的民机试飞数据存储管理系统，统一目录构建模块包括：
26、数据清洗关联模块，用于把关系数据库的数据通过flink cdc同步至消息中间件，并且实时订阅消费至图数据库中进行清洗、关联和存储。
27、可见，本专利技术实施例的一种民机试飞数据存储管理方法，把采集到的民机试飞数据通过消息中间件存储至时序数据库，构建面向民机试飞数据场景的数据仓库，从而使得实时时序数据和离线时序数据能够被高效、全量、实时地进行统一处理，时序试飞数据元信息后续维护更加便捷。通过消息中间件订阅消费至图数据库进行清洗、关联和存储，并且设置外部数据共享接口，提供数据服务统一目录应用使用，实现民机试飞时序数据元信息的统一管理和联机工序。
本文档来自技高网...【技术保护点】
1.一种民机试飞数据存储管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的民机试飞数据存储管理方法，其特征在于，所述采集民机试飞数据得到民机试飞数据集包括：
3.根据权利要求1所述的民机试飞数据存储管理方法，其特征在于，所述把所述民机试飞数据集的全量数据和增量数据实时同步至消息中间件包括：
4.根据权利要求1所述的民机试飞数据存储管理方法，其特征在于，所述把所述民机试飞数据集存储入时序数据库包括：
5.根据权利要求1所述的民机试飞数据存储管理方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的民机试飞数据存储管理方法，其特征在于，所述把所述民机试飞数据集的元数据信息全量备份至关系数据库包括：
7.根据权利要求6所述的民机试飞数据存储管理方法，其特征在于，所述方法还包括：
8.一种民机试飞数据存储管理系统，其特征在于，包括：
9.根据权利要求8所述的民机试飞数据存储管理系统，其特征在于，所述系统还包括：
10.根据权利要求9所述的民机试飞数据存储管理系统，
...【技术特征摘要】
1.一种民机试飞数据存储管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的民机试飞数据存储管理方法，其特征在于，所述采集民机试飞数据得到民机试飞数据集包括：
3.根据权利要求1所述的民机试飞数据存储管理方法，其特征在于，所述把所述民机试飞数据集的全量数据和增量数据实时同步至消息中间件包括：
4.根据权利要求1所述的民机试飞数据存储管理方法，其特征在于，所述把所述民机试飞数据集存储入时序数据库包括：
5.根据权利要求1所述的民机试飞数据存储管理方法，其特...
【专利技术属性】
技术研发人员：蒋超，安童，胡晓璐，
申请(专利权)人：上海航空工业集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。