一种航天器异构测试数据集成管理系统技术方案

本发明专利技术提供了一种航天器异构测试数据集成管理系统，其中的数据采集模块用于采集航天器测试数据并按照结构化数据和非结构化数据分类输出所述航天器测试数据；数据存储模块用于根据预定格式将所述航天器测试数据分别存储在分布式存储数据库和分布式文件系统中；数据查询与下载模块用于查询及下载所述分布式存储数据库和分布式文件系统中的航天器测试数据。本发明专利技术通过将航天器测试数据并按照结构化数据和非结构化数据分类存储于分布式存储数据库和分布式文件系统中，并能够根据时间序列查询及下载，实现了航天器测试数据及音视频文件的快速存储与高安全性管理，并以文件为单位将数据批量导入以及基于列导向的存储与部件级参数的整体查询和批量下载。

【技术实现步骤摘要】
一种航天器异构测试数据集成管理系统
本专利技术涉及一种航天器异构测试数据集成管理系统，属于航天器运动测试

技术介绍
在航天器的全寿命周期的测试过程中，用于航天器健康状态评估的主要依据是航天器研发过程中产生的实验测试数据与在轨航天器传输至航天器地面站的遥测数据，这些数据统称为航天器测试数据。应用大数据技术对试验数据与遥测数据资料进行集中的管理，能够便于测试人员对航天器测试数据进行综合的分析，对于航天器的在轨营运维护与健康管理有重要的意义，是当前国内外航天领域面临的挑战之一，同时是航天领域研究的热点。然而目前航天器测试数据通常是以分散存储的形式进行管理，存在着数据孤岛现象，缺乏统一的存储与管理体系。例如，在航天器全寿命周期测试过程中，主要存在测试和试验数据分散、数据类型复杂多样、格式不统一以及音视频文件难以统一管理等问题。
技术实现思路
本专利技术提出了一种航天器异构测试数据集成管理系统，以解决现有的航天器全寿命周期测试过程中存在的测试和试验数据分散、数据类型复杂多样、格式不统一以及音视频文件难以统一管理的问题，为此本专利技术采用如下的技术方案：一种航天器异构测试数据集成管理系统，包括：数据采集模块、数据存储模块和数据查询与下载模块；所述数据采集模块用于采集航天器测试数据并按照结构化数据和非结构化数据分类输出所述航天器测试数据；所述数据存储模块用于根据预定格式将所述航天器测试数据分别存储在分布式存储数据库和分布式文件系统中；所述数据查询与下载模块用于查询及下载所述分布式存储数据库和分布式文件系统中的航天器测试数据。本专利技术通过将航天器测试数据并按照结构化数据和非结构化数据分类存储于分布式存储数据库和分布式文件系统中，并能够根据时间序列查询及下载，实现了航天器测试数据及音视频文件的快速存储与高安全性管理，并以文件为单位将数据批量导入以及基于列导向的存储与部件级参数的整体查询和批量下载。附图说明图1为本专利技术所述的航天器异构测试数据集成管理系统的结构示意图。图2为实施例一提出的航天器异构测试数据集成管理系统的结果示意图。图3为实施例一中的说明文件的格式示意图。图4为实施例一中的结构化数据导入的流程示意图。图5为实施例一中的结构化数据查询的流程示意图。图6为实施例一中的音视频文件导入的数据流向示意图。图7为实施例一中的音频文件导入的流程示意图。图8为实施例一中的音频文件访问的流程示意图。图9为实施例一中的音频文件查询的流程示意图。图10为实施例一中的音频文件下载的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。结合图1所示，本具体实施方式提供的航天器异构测试数据集成管理系统包括：数据采集模块10、数据存储模块20和数据查询与下载模块30；其中的数据采集模块10用于采集航天器测试数据并按照结构化数据和非结构化数据分类输出所述航天器测试数据；数据存储模块20用于根据预定格式将所述航天器测试数据分别存储在分布式存储数据库和分布式文件系统中；数据查询与下载模块30用于查询及下载所述分布式存储数据库和分布式文件系统中的航天器测试数据。可选的，结合图2所示，数据存储模块20包括结构化数据采集子模块21、非结构化数据采集子模块22、数据导入子模块23和文件导入子模块24；其中，结构化数据采集子模块21用于从所述航天器测试数据中提取结构化数据并输出；非结构化数据采集子模块22用于从所述航天器测试数据中提取非结构化数据并输出；数据导入子模块23用于将所述结构化数据按照指定格式输出至所述分布式存储数据库；文件导入子模块24用于将所述非结构化数据按照指定格式输出至所述分布式文件系统。可选的，结合图2所示，数据存储模块20还包括结构化数据清洗子模块25；其中，数据清洗子模块25用于对所述结构化数据进行数据一致性检查以及对无效值和缺失值进行处理。可选的，结合图2所示，数据存储模块20还包括第一存储子模块26；其中，第一存储子模块26用于以时间为行索引并以每个航天器部件为列族，并通过表的形式存储所述结构化数据。可选的，结合图2所示，数据存储模块20还包括第一导入子模块27；其中，第一导入子模块27用于获取所述表的名称、数据文件和说明文件名称，若所述数据文件或说明文件不为空，则将数据文件按照说明文件中的格式导入所述分布式存储数据库。可选的，结合图2所示，数据查询与下载模块30包括第一数据查询子模块31；其中，第一数据查询子模块31用于获取所述表的名称、起始行、结束行和列名，并对获取的起始行和结束行名进行规范化处理后，从所述分布式存储数据库中查询与所获取的起始行、结束行名最接近的行名作为新的起始行、结束行名，并从所述分布式存储数据库中获取所有行名和列名并排序，从中截取起始行与结束行所包含的行名，并对获取的列名中的列族名进行该列族所属全部列名的替换，从所述分布式存储数据库中读取指定的行和列并输出查询结果。可选的，结合图2所示，数据存储模块20包括第二存储子模块28；其中，第二存储子模块28用于以文件名称作为行索引、分别以位置信息和属性信息为列族，并通过表的形式存储所述非结构化数据。可选的，结合图2所示，数据存储模块20还包括第二导入子模块29；其中，第二导入子模块29用于获取本地文件的路径和文件标签，若所述本地文件路径下的文件存在，则将所述文件导入所述分布式文件系统，并将所述文件的名称、存储路径和标签导入所述分布式存储数据库。可选的，结合图2所示，数据查询与下载模块30包括第二数据查询子模块32；其中，第二数据查询子模块32用于获取需要查询的标签及所述分布式文件系统中所有文件的信息，若所述标签的查询结果为空，则提示无符合条件的查询文件，若所述标签的查询结果不为空，则将搜索结果记为所有与所述标签的内容一致的行号，并将搜索结果输出。可选的，结合图2所示，数据查询与下载模块30还包括数据下载子模块33；其中，数据下载子模块33用于获取本地下载路径和下载文件名称，若所述分布式文件系统中存有所述下载文件名称对应的文件，则将所述文件批量下载至本地路径并输出下载成功提示。下面通过具体的实施例对本专利技术提出的航天器异构测试数据集成管理系统进行详细说明。实施例一结合图1和图2所示，本实施例提供的航天器异构测试数据集成管理系统包括：数据存储模块20和数据查询与下载模块30；数据存储模块20用于根据预定格式将所述航天器测试数据分别存储在分布式存储数据库和分布式文件系统中；数据查询与下载模块30用于查询及下载所述分布式存储数据库和分布式文件系统中的航天器测试数据。其中，在数据存储模块20中包括结构化数据采集子模块21、非结构化数据采集子模块22、数据导入子模块23、文件导入子模块24、结构化数据清洗子模块25、第一存储子模块26、第一导入子模块27、第二存储子模块28和第二导入子模块29。在数据查询与下载模块30中包括第一数据查询子模块31、第二数据查询子模块32和数据下载子模块33。本实施例采用数据仓库的思想将航天器测试数据与多媒体数本文档来自技高网...

【技术保护点】
一种航天器异构测试数据集成管理系统，其特征在于，包括：数据采集模块、数据存储模块和数据查询与下载模块；所述数据采集模块用于采集航天器测试数据并按照结构化数据和非结构化数据分类输出所述航天器测试数据；所述数据存储模块用于根据预定格式将所述航天器测试数据分别存储在分布式存储数据库和分布式文件系统中；所述数据查询与下载模块用于查询及下载所述分布式存储数据库和分布式文件系统中的航天器测试数据。

【技术特征摘要】
1.一种航天器异构测试数据集成管理系统，其特征在于，包括：数据采集模块、数据存储模块和数据查询与下载模块；所述数据采集模块用于采集航天器测试数据并按照结构化数据和非结构化数据分类输出所述航天器测试数据；所述数据存储模块用于根据预定格式将所述航天器测试数据分别存储在分布式存储数据库和分布式文件系统中；所述数据查询与下载模块用于查询及下载所述分布式存储数据库和分布式文件系统中的航天器测试数据。2.根据权利要求1所述的装置，其特征在于，所述数据存储模块包括结构化数据采集子模块、非结构化数据采集子模块、数据导入子模块和文件导入子模块；所述结构化数据采集子模块用于从所述航天器测试数据中提取结构化数据并输出；所述非结构化数据采集子模块用于从所述航天器测试数据中提取非结构化数据并输出；所述数据导入子模块用于将所述结构化数据按照指定格式输出至所述分布式存储数据库；所述文件导入子模块用于将所述非结构化数据按照指定格式输出至所述分布式文件系统。3.根据权利要求2所述的装置，其特征在于，所述数据存储模块还包括结构化数据清洗子模块；所述数据清洗子模块用于对所述结构化数据进行野值剔除以及对无效值和缺失值进行处理。4.根据权利要求1至3任意一项所述的装置，其特征在于，所述数据存储模块包括第一存储子模块；所述第一存储子模块用于以时间为行索引并以每个航天器部件为列族，并通过表的形式存储所述结构化数据。5.根据权利要求4所述的装置，其特征在于，所述数据存储模块还包括第一导入子模块；所述第一导入子模块用于获取所述表的名称、数据文件和说明文件名称，若所述数据文件或说明文件不为空，则将数据文件按照说明文件中的格式导入所述分布式存储数据库。6.根据权利要求1至3任意一项所述的装置，其特征在于，所述数据查询与下载模块包括第一...

【专利技术属性】
技术研发人员：刘大同，毛晴，张玉杰，彭宇，彭喜元，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23