【技术实现步骤摘要】
本专利技术涉及民机试飞数据处理，特别涉及一种民机试飞时序数据存储计算方法；此外，本专利技术还涉及一种民机试飞时序数据存储计算系统。
技术介绍
1、民机研制过程中，需要对大量的试飞数据进行数据存储和数据分析。传统的方式是将数据存储在本地，利用编程软件读取数据做进一步分析处理。然而，这种方式下，因为存在较多科目，因此文件较为分散，无法将文件进行有效的组织和统一管理。而且当文件丢失时也难以及时恢复，同时，在数据分析之前，需要对数据做预处理步骤，该过程涉及数据传输和数据计算，预处理效率较低。时序文件存储占用较多存储空间，且随着飞机事业的不断发展，文件数据将会越来越多，占用的空间也会越来越多，影响数据库的性能。
技术实现思路
1、为了解决现有技术存在的问题，本专利技术的至少一个实施例提供了一种民机试飞时序数据存储计算方法，实现了对民机试飞数据的统一管理，通过时序数据库iotdb的高压缩比特性和更廉价的存储介质，定期清理和按需恢复历史数据文件，从而优化了民机试飞数据的存储以及节省了存储成本，满足项目各阶段的数据使用。为此，本专利技术的至少一个实施例还提供一种民机试飞时序数据存储计算系统。
2、第一方面，本专利技术实施例还提供了一种民机试飞时序数据存储计算方法，方法包括：
3、将民机试飞数据根据科目划分存储在文件管理系统中，并且修复损坏的数据文件；
4、读取数据文件分批写入时序数据库，根据预设的时间周期定期删除时序数据库中的历史数据文件；
5、通过
6、在一些实施例中，本专利技术提供的一种民机试飞时序数据存储计算方法，从存储桶中读取数据文件分批写入时序数据库包括：
7、从存储桶中读取数据文件分批写入时序数据库的同时，将数据文件的基本信息存储于关系数据库。
8、在一些实施例中，本专利技术提供的一种民机试飞时序数据存储计算方法，根据预设的时间周期定期删除时序数据库中的历史数据文件包括：
9、在关系数据库中对每个数据文件设置定期删除标签；
10、设定定期删除标签的初始值为第一预设值，设定数据文件被删除后的定期删除标签的值为第二预设值；
11、对时序数据库的数据文件进行查询时，如果定期删除标签的值为第一预设值，读取时序数据库的数据文件；如果定期删除标签的值为第二预设值，对该数据文件进行恢复后继续访问，并且恢复后把定期删除标签的值设为第一预设值。
12、在一些实施例中，本专利技术提供的一种民机试飞时序数据存储计算方法，通过编排可扩展的udf函数对数据文件进行预处理包括：
13、自定义配置需要的预处理步骤，形成编排json数据，通过分布式计算框架对数据文件的参数进行缺失值填充、异常值修复以及降采样处理。
14、在一些实施例中，本专利技术提供的一种民机试飞时序数据存储计算方法，方法还包括：
15、将业务所需的预处理逻辑设置为自定义udf函数，通过注册脚本将其补充进udf编排函数库。
16、第二方面，本专利技术实施例还提供了一种民机试飞时序数据存储计算系统，包括：
17、数据文件划分存储模块，将民机试飞数据根据科目划分存储在文件管理系统中，并且修复损坏的数据文件；
18、时序数据库写入模块，用于读取数据文件分批写入时序数据库；
19、时序数据库清理恢复模块，用于根据预设的时间周期定期删除或恢复时序数据库中的历史数据文件；
20、预处理模块，用于通过json文件编排可扩展的udf函数对数据文件进行预处理。
21、在一些实施例中，本专利技术提供的一种民机试飞时序数据存储计算系统，时序数据库写入模块包括：
22、基本信息写入模块，用于从存储桶中读取数据文件分批写入时序数据库的同时，将数据文件的基本信息存储于关系数据库。
23、在一些实施例中，本专利技术提供的一种民机试飞时序数据存储计算系统，时序数据库清理恢复模块包括：
24、定期删除标签设置模块，用于在关系数据库中对每个数据文件设置定期删除标签；设定定期删除标签的初始值为第一预设值，设定数据文件被删除后的定期删除标签的值为第二预设值；
25、时序数据库查询模块，用于对时序数据库的数据文件进行查询时，如果定期删除标签的值为第一预设值，读取时序数据库的数据文件；如果定期删除标签的值为第二预设值，对该数据文件进行恢复后继续访问，并且恢复后把定期删除标签的值设为第一预设值。
26、在一些实施例中，本专利技术提供的一种民机试飞时序数据存储计算系统，预处理模块包括：
27、数据文件预处理模块，用于自定义配置需要的预处理步骤，形成编排json数据，通过分布式计算框架对数据文件的参数进行缺失值填充、异常值修复以及降采样处理。
28、在一些实施例中，本专利技术提供的一种民机试飞时序数据存储计算系统，预处理模块还包括：
29、扩展设置模块，用于将业务所需的预处理逻辑设置为自定义udf函数，通过注册脚本将其补充进udf编排函数库。
30、可见，本专利技术实施例的一种民机试飞时序数据存储计算方法和系统，实现了对民机试飞数据的统一管理，通过时序数据库iotdb的高压缩比特性和更廉价的存储介质，定期清理和按需恢复历史数据文件，从而优化了民机试飞数据的存储以及节省了存储成本，满足项目各阶段的数据使用。通过可配置的json数据文件和可扩展的udf函数，从而使得数据预处理效率更高更灵活。
本文档来自技高网...【技术保护点】
1.一种民机试飞时序数据存储计算方法，其特征在于，所述方法包括：
2.根据权利要求1所述的民机试飞时序数据存储计算方法，其特征在于，所述从所述存储桶中读取数据文件分批写入时序数据库包括：
3.根据权利要求2所述的民机试飞时序数据存储计算方法，其特征在于，所述根据预设的时间周期定期删除所述时序数据库中的历史数据文件包括：
4.根据权利要求1所述的民机试飞时序数据存储计算方法，其特征在于，所述通过json文件编排可扩展的UDF函数对数据文件进行预处理包括：
5.根据权利要求4所述的民机试飞时序数据存储计算方法，其特征在于，所述方法还包括：
6.一种民机试飞时序数据存储计算系统，其特征在于，包括：
7.根据权利要求6所述的民机试飞时序数据存储计算系统，其特征在于，所述时序数据库写入模块包括：
8.根据权利要求6所述的民机试飞时序数据存储计算系统，其特征在于，所述时序数据库清理恢复模块包括：
9.根据权利要求6所述的民机试飞时序数据存储计算系统，其特征在于，所述预处理模块包括：
1
...【技术特征摘要】
1.一种民机试飞时序数据存储计算方法，其特征在于，所述方法包括：
2.根据权利要求1所述的民机试飞时序数据存储计算方法，其特征在于，所述从所述存储桶中读取数据文件分批写入时序数据库包括：
3.根据权利要求2所述的民机试飞时序数据存储计算方法，其特征在于，所述根据预设的时间周期定期删除所述时序数据库中的历史数据文件包括：
4.根据权利要求1所述的民机试飞时序数据存储计算方法，其特征在于，所述通过json文件编排可扩展的udf函数对数据文件进行预处理包括：
5.根据权利要求4所述的民机试飞时序...
【专利技术属性】
技术研发人员：葛程程，安童，蒋超，胡晓璐，
申请(专利权)人：上海航空工业集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。