一种流程化数据分析处理系统技术方案

本发明专利技术公开了一种流程化数据分析处理系统，包括：算法库、流程库、处理结果库、算法编辑器、数据处理流程设计单元和数据处理服务单元；算法库中存储算法颗粒和算法模块；算法编辑器，用于编辑算法颗粒，存储到算法库中；从算法库提取算法颗粒或算法模块搭建所需功能的算法模块，并存储到算法库中；数据处理流程设计单元，用于调用算法库中的算法颗粒或算法模块，形成数据处理流程，保存为流程模板，存储到流程库；数据处理服务单元，用于从流程库提取流程模板，将数据装配至流程模板，流程模板自动运行，得到处理结果，保存至处理结果库。使用本发明专利技术能够提高试验数据分析处理的灵活性，提高工作效率、缩短试验分析验证的时间周期。

A flow data analysis and processing system

【技术实现步骤摘要】
一种流程化数据分析处理系统
本专利技术涉及测量仪器的数据管理及处理
，尤其涉及一种流程化数据分析处理系统。
技术介绍
在测试测量领域，需要做大量的试验，以验证系统或部件的功能。目前，领域内大量的型号试验都采用手工导入、计算、处理、比对的方法进行试验数据分析处理。人工处理存在效率低下、可靠性低、算法不可变、流程不可变和流程非自动化等缺点，这给试验数据的及时处理分析带来巨大挑战。
技术实现思路
有鉴于此，本专利技术提供了一种流程化数据分析处理系统，能够提高试验数据分析处理的灵活性，提高工作效率、缩短试验分析验证的时间周期。为了解决上述技术问题，本专利技术是这样实现的：一种流程化数据分析处理系统，包括：算法库、流程库、处理结果库、算法编辑器、数据处理流程设计单元和数据处理服务单元；算法库中存储算法颗粒和算法模块，接受算法编辑器和数据处理服务单元的调用；所述算法颗粒是指试验所需的基本处理算法；算法编辑器，用于编辑算法颗粒，存储到算法库中；从算法库提取算法颗粒或算法模块搭建所需功能的算法模块，并存储到算法库中；数据处理流程设计单元，用于调用算法库中的算法颗粒或算法模块，形成数据处理流程，保存为流程模板，存储到流程库；数据处理服务单元，用于从流程库提取流程模板，将数据装配至流程模板，流程模板自动运行，得到处理结果，保存至处理结果库。优选地，所述数据处理流程设计单元为可视化设计单元，根据来自外部的鼠标控制信号，从算法库中拖拽所需的算法颗粒和/或算法模块到设计面板上，并依据鼠标控制信号将算法颗粒和算法模块进行鼠标连线，以确定数据在各个算法颗粒和模块的流动顺序。优选地，数据处理服务单元在执行流程模板过程中，对各个算法颗粒和算法模块的执行进行监控、对输入数据的合法性进行判定；并提供用户交互控件，在算法执行过程中，接受外部使用者通过用户交互控件在任意时刻暂停、停止、退出整个算法执行流程。优选地，数据处理服务单元对输入数据的合法性进行判定的方式为：通过文件扩展名、已知文件头信息和/或全文数据辨识是否为合法数据源。优选地，所述系统进一步包括第一接口，用于通过网络方式将本地数据同步至外部服务器，从服务器更新数据至本地。优选地，所述系统进一步包括第二接口，用于与其他流程化数据分析处理系统级联，协同进行数据处理。优选地，数据处理流程设计单元在设计流程时，仅调用算法颗粒和算法模块的索引；数据处理服务单元在执行算法时再从算法库调度用算法颗粒和算法模块的程序。有益效果：(1)本专利技术通过流程化数据处理来满足算法可变、流程可变、流程自动化等需求，快速开展试验数据分析处理相关工作，将数据分析工程师从繁冗的工作中解脱出来，提高试验数据分析处理的灵活性，提高工作效率、缩短试验分析验证的时间周期，对型号研制具有重大意义，能够显著提升试验设计水平。(2)本专利技术数据处理流程设计单元设计为可视化设计单元，通过鼠标的操作实现算法的组合设计和数据流动顺序的设定，操作起来更加方便，快捷，进一步缩短试验分析验证的时间周期。(3)本专利技术在数据处理服务单元设置了过程监控、数据合法性判断操作，提高了数据处理的可靠性。附图说明图1为本专利技术流程化数据分析处理系统的组成框图。具体实施方式下面结合附图并举实施例，对本专利技术进行详细描述。本专利技术提供了一种流程化数据分析处理系统，如图1所示，包括：算法库、流程库、处理结果库、算法编辑器、数据处理流程设计单元和数据处理服务单元算法库中存储算法颗粒和算法模块，接受算法编辑器和数据处理服务单元的调用。其中，算法颗粒是指试验所需的基本处理算法，用户可通过算法编辑器自行编辑算法颗粒，也可提出需求，由专业的工程师进行算法颗粒设计，然后再通过算法编辑器保存到算法库。算法模块是指由一组基本算法颗粒组成、具备特定的处理功能，能够被后续设计直接使用的通用算法组合；也可以通过现有的算法模块，搭建更加复杂的算法模块，即支持算法模块的嵌套封装。算法模块的搭建和嵌套封装由算法编辑器来实现。算法编辑器，用于编辑算法颗粒，存储到算法库中。还负责从算法库提取算法颗粒或算法模块搭建所需功能的算法模块，并存储到算法库中。设计算法模块可以实现两个目的：1、在大型复杂的算法流程中，如果全部采用基本的算法颗粒搭建，不容易阅读和理解，而采用了算法模块则可以简单清晰的表达设计意图；2、采用算法模块搭建成常用的算法，为后续的算法流程设计复用，大大提高了试验数据分析的设计效率。数据处理流程设计单元，用于调用算法库中的算法颗粒或算法模块，形成数据处理流程，保存为流程模板，存储到流程库。该数据处理流程设计单元设计为可视化设计单元，根据来自外部的鼠标控制信号，从算法库中拖拽所需的算法颗粒和/或算法模块到设计面板上，并依据鼠标控制信号将算法颗粒和算法模块进行鼠标连线，以确定数据在各个算法颗粒和模块的流动顺序。可见，该模块的编辑采用所见即所得的方式，以鼠标拖曳方式，选择需要的算法颗粒、或算法模块，采用鼠标连线的方式设计数据在各个算法颗粒和模块的流动顺序，对于存在回路的算法流程(即存在反馈的算法)，软件应该支持对初始数据的设定。优选地，数据处理流程设计单元在设计流程时，仅调用算法颗粒和算法模块的索引；数据处理服务单元在执行算法时再从算法库调度用算法颗粒和算法模块的程序，这样可以减小流程模板的体量。数据处理服务单元，用于从流程库提取流程模板，将数据装配至流程模板，流程模板自动运行。流程模块运行后，将按照流程定义的处理路径，分别将数据传入各个算法颗粒、或算法模块，执行相应的算法，并将处理后的数据传递至下一个算法颗粒/算法模块，传递到最后一个环节后，得到处理结果，保存至处理结果库。在数据处理服务单元的算法执行过程中，对各个算法的执行过程进行监控(可以设定一些监控条件)、对输入数据的合法性进行必要判定，保证算法执行过程的健壮性。且提供用户交互控件，例如按键，在算法执行过程中，允许用户通过按键的点击，在任意时刻暂停、停止、甚至退出整个算法执行流程。其中，数据处理服务单元对输入数据的合法性进行判定的方式为：通过文件扩展名、已知文件头信息和/或全文数据，辨识是否为合法数据源。辨识结果可以展现为识别的数据类型代码(可获知是否为非法数据格式)。在一优选实施例中，还可以在图1的系统中增加网络接口，便于将来构建网络版，能够将本地数据同步至服务器，同时能够从服务器更新数据至本地。在另一优选实施例中，还可以在图1系统中增加级联接口，用于实现多个流程化数据分析处理系统级联，协同进行数据处理。综上所述，以上仅为本专利技术的较佳实施例而已，并非用于限定本专利技术的保护范围。凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种流程化数据分析处理系统，其特征在于，包括：算法库、流程库、处理结果库、算法编辑器、数据处理流程设计单元和数据处理服务单元；/n算法库中存储算法颗粒和算法模块，接受算法编辑器和数据处理服务单元的调用；所述算法颗粒是指试验所需的基本处理算法；/n算法编辑器，用于编辑算法颗粒，存储到算法库中；从算法库提取算法颗粒或算法模块搭建所需功能的算法模块，并存储到算法库中；/n数据处理流程设计单元，用于调用算法库中的算法颗粒或算法模块，形成数据处理流程，保存为流程模板，存储到流程库；/n数据处理服务单元，用于从流程库提取流程模板，将数据装配至流程模板，流程模板自动运行，得到处理结果，保存至处理结果库。/n

【技术特征摘要】
1.一种流程化数据分析处理系统，其特征在于，包括：算法库、流程库、处理结果库、算法编辑器、数据处理流程设计单元和数据处理服务单元；
算法库中存储算法颗粒和算法模块，接受算法编辑器和数据处理服务单元的调用；所述算法颗粒是指试验所需的基本处理算法；
算法编辑器，用于编辑算法颗粒，存储到算法库中；从算法库提取算法颗粒或算法模块搭建所需功能的算法模块，并存储到算法库中；
数据处理流程设计单元，用于调用算法库中的算法颗粒或算法模块，形成数据处理流程，保存为流程模板，存储到流程库；
数据处理服务单元，用于从流程库提取流程模板，将数据装配至流程模板，流程模板自动运行，得到处理结果，保存至处理结果库。


2.如权利要求1所述的系统，其特征在于，所述数据处理流程设计单元为可视化设计单元，根据来自外部的鼠标控制信号，从算法库中拖拽所需的算法颗粒和/或算法模块到设计面板上，并依据鼠标控制信号将算法颗粒和算法模块进行鼠标连线，以确定数据在各个算法颗粒和模块的流动顺序。


3.如权利要求...

【专利技术属性】
技术研发人员：张伟楠，胡志臣，郑义，康卉，
申请(专利权)人：北京航天测控技术有限公司，
类型：发明
国别省市：北京;11