一种高效数据处理方法及系统，在传统数据处理流程基础上，根据数据集读取、数据预处理、数据分析和数据可视化等工作流程特点，提供了快速处理和多功能可视化的流程特点，能够快速完成数据流处理和应用，解决了传统的数据处理方式存在的数据处理流程灵活性和高复杂度无法兼顾的难题，为多源试验测试数据的快速处理和分析提供了新思路。
【技术实现步骤摘要】
本专利技术涉及一种高效数据处理方法及系统，属于飞行器数据处理领域。
技术介绍
1、随着航空航天任务需求的不断增大，自动测试技术愈显重要。多源试验测试数据处理是综合测试及发射过程中极其重要但又复杂繁琐的工作。传统的数据处理工作需要结合项目特点和任务要求，制定数据处理要求按照较为固定的处理逻辑和模式完成数据实时处理或事后处理工作，数据处理逻辑无法通过可视化的形式，表达数据处理流程和内外部逻辑。同一型号不同发次的数据处理需要高度定制，即使通过配置的方式，也无法完成数据处理流程及内、外部逻辑的配置，严重影响试验数据的处理和判读效率。
技术实现思路
1、本专利技术解决的技术问题是：针对目前现有技术中，航空航天测试数据处理的传统方法难以满足处理和判读效率的问题，提出了一种高效数据处理方法及系统。
2、本专利技术解决上述技术问题是通过如下技术方案予以实现的：
3、一种高效数据处理方法，包括：
4、加载基本帧信息文件，对不同数据流的基本帧信息文件进行独立预处理；
5、加载不同数据流对应的数据配置文件，进行基本帧信息文件的存储器数据解析；
6、对解析所得参数挑路结果文件进行第一次人工确认，根据确认结果进行文件处理控制；
7、根据预处理后所得起飞零秒文件、时统参数文件进行起飞零秒时间计算提取；
8、利用起飞零秒时间进行参数挑路结果文件的零位修正及时间修正；
9、由修正后的参数挑路结果文件获取相对时间文件；</p>10、对相对时间文件进行第二次人工确认，根据确认结果进行文件处理控制；
11、以相对时间文件作为最终参数挑路结果文件，进行数据格式转换并输出为满足用户需求格式的文本文件。
12、所述基本帧信息文件的数据流文件种类包括dat、xlsx、csv、sql、txt、xml，所有数据流的基本帧信息文件均通过可视化界面展示以实现控制。
13、第一次人工确认具体步骤如下：
14、确认参数挑路结果文件的正确性，并根据文件数据批量打印参数时间历程曲线；
15、根据确认结果进行可视化文件处理控制，选择执行参数挑路结果文件的下一步操作，包括暂停、继续、取消；
16、其中，若下一步操作选择暂停，则暂停数据处理等待外部指令；
17、若下一步操作选择继续，则进行起飞零秒时间提取；
18、若下一步操作选择取消，则终止数据处理流程；
19、若预设时间范围内无响应操作，则默认进行起飞零秒时间提取。
20、起飞零秒时间提取具体步骤为：
21、根据起飞零秒文件，默认起飞零秒文件的帧计数清零时间无清零点，确定第一子帧时间，由用户编辑确认；
22、根据时统参数文件中时统信号的跳变规则，利用第一子帧时间计算起飞零秒时间；
23、将起飞零秒时间呈报用户，由用户选择是否进行修正或以当前结果为最终起飞零秒时间。
24、参数挑路结果文件的零位修正具体为：
25、根据起飞零秒时间，对参数挑路结果文件的零位修正参数列表逐一修正确认，零位修正参数列表包括待处理参数名称、修正点数、修正方式，修正方式包括以存盘零秒为时间基准或以起飞零秒为时间基准，默认情况下使用起飞零秒作为时间基准；
26、修正完成后获取零位修正后的参数挑路结果文件。
27、参数挑路结果文件的时间修正具体为：
28、根据确认的起飞零秒时间，计算绝对时间减起飞零秒时间，即相对起飞零秒时间，获取相对起飞零秒时间的参数挑路结果文件；
29、所述相对时间文件根据时间修正后的相对起飞零秒时间的参数挑路结果文件、零位修正后的参数挑路结果文件获取。
30、第二次人工确认具体步骤如下：
31、确认相对时间文件的正确性，并根据文件数据批量打印参数时间历程曲线；
32、根据确认结果进行可视化文件处理控制，选择执行参数挑路结果文件的下一步操作，包括暂停、继续、取消；
33、其中，若下一步操作选择暂停，则暂停数据处理等待外部指令；
34、若下一步操作选择继续，则进行起飞零秒时间提取；
35、若下一步操作选择取消，则终止数据处理流程；
36、若预设时间范围内无响应操作，则默认进行文件格式转换。
37、所述数据格式需求为tdm3000文本文件格式要求；
38、由基本帧信息文件进行独立预处理直至获取最终参数挑路结果文件的数据处理算法，通过算法模型实现，算法模型根据预设的模板文件进行封装获得。
39、一种高效数据处理系统，用于实现高效数据处理方法，包括数据源加载模块、可视化建模组件模块、模型库模块、属性设置模块、属性数据处理算法集成模块，其中：
40、数据源加载模块，选取数据源，加载基本帧信息文件，对不同数据流的基本帧信息文件进行独立预处理；并根据独立预处理结果加载不同数据流对应的数据配置文件；
41、可视化建模组件模块，通过属性设置模块调用属性设置后的数据处理算法，进行实时拖动、编辑、连接、删除、缩放以构建算法模型；
42、模型库模块，将基本帧信息文件独立预处理至参数挑路结果文件的数据处理所需的所有数据处理算法插件化处理，并集成数据展示插件以供调用；
43、属性设置模块，对插件化处理后的各数据处理算法进行属性设置；
44、属性数据处理算法集成模块，对插件化处理后的各数据处理算法进行算法运行环境及进程的管理；
45、可视化控制模块，进行基本帧信息文件的存储器数据解析，对解析所得参数挑路结果文件进行第一次人工确认，根据确认结果进行文件处理控制，若下一步操作选择暂停，则暂停数据处理等待外部指令；若下一步操作选择继续，则进行起飞零秒时间提取；若下一步操作选择取消，则终止数据处理流程；
46、接收数据计算模块发送的零位修正后的参数挑路结果文件，获取相对时间文件；对相对时间文件进行第二次人工确认，若下一步操作选择暂停，则暂停数据处理等待外部指令；若下一步操作选择继续，则进行起飞零秒时间提取；若下一步操作选择取消，则终止数据处理流程；
47、以相对时间文件作为最终参数挑路结果文件，进行数据格式转换并输出为满足用户需求格式的文本文件；
48、数据计算模块，根据预处理后所得起飞零秒文件、时统参数文件进行起飞零秒时间计算提取，利用起飞零秒时间进行参数挑路结果文件的零位修正，将零位修正后的参数挑路结果文件发送至可视化控制模块。
49、所述模型库模块中，集成了交叉验证、混淆矩阵、roc曲线、li曲线，支持树状图、箱线图、小提琴图和条形图作为数据展示插件，用于将各数据处理算法结构可视化。
50、本专利技术与现有技术相比的优点在于：
51、本专利技术提供的一种高效数据处理方法及系统，构建了集数据源读取、数据预本文档来自技高网
...
【技术保护点】
1.一种高效数据处理方法，其特征在于包括：
2.根据权利要求1所述的一种高效数据处理方法，其特征在于：
3.根据权利要求1所述的一种高效数据处理方法，其特征在于：
4.根据权利要求3所述的一种高效数据处理方法，其特征在于：
5.根据权利要求4所述的一种高效数据处理方法，其特征在于：
6.根据权利要求5所述的一种高效数据处理方法，其特征在于：
7.根据权利要求6所述的一种高效数据处理方法，其特征在于：
8.根据权利要求7所述的一种高效数据处理方法，其特征在于：
9.一种高效数据处理系统，用于实现权利要求8所述的高效数据处理方法，其特征在于：
10.根据权利要求9所述的一种高效数据处理系统，其特征在于：
【技术特征摘要】
1.一种高效数据处理方法，其特征在于包括：
2.根据权利要求1所述的一种高效数据处理方法，其特征在于：
3.根据权利要求1所述的一种高效数据处理方法，其特征在于：
4.根据权利要求3所述的一种高效数据处理方法，其特征在于：
5.根据权利要求4所述的一种高效数据处理方法，其特征在于：
6.根据权利要...
【专利技术属性】
技术研发人员：王毅，封慧英，韩晓萌，赵俊翔，梁瑞卿，周伟，陈超，蒋永瑞，刘辉，高鹏，李萌萌，尹思媛，王保录，彭晓，于喜红，张运，丁雪，梁宇，陈虎，
申请(专利权)人：北京临近空间飞行器系统工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。