一种试验数据管理系统及实现方法技术方案

本发明专利技术提供了一种试验数据管理系统及实现方法

【技术实现步骤摘要】
一种试验数据管理系统及实现方法


[0001]本专利技术属数据管理与数据通信
，具体涉及一种试验数据管理系统及实现方法
。

技术介绍

[0002]外场试验会产生大量的试验数据，需要设计一个数据系统满足海量试验数据的中转
、
存储
、
管理
、
分析
、
可视化等需求
。
当前的主要方法还是采用主控集成一个非独立的数据管理模块，或者采用传统的
BS
系统架构的数据系统
。
[0003]采用主控集成数据管理模块的方法会导致数据系统不独立且可扩展性差
。
而在传统的基于
BS
架构的数据系统中，服务端一般与试验设备端建立
socket
连接，前端则是通过定时
HTTP
请求或者
AJAX
轮询从服务端来持续获取文本文件或数据库中最新的数据
。
这套数据通信方式实现简单，但存在如下弊端：定时
http
请求或
AJAX
轮询占用了大量带宽，且每次建立
http
连接均消耗大量时间；定时的
http
请求或
AJAX
轮询的时间间隔如果过小，则客户端会频繁与服务端建立连接，增大服务器的压力；定时的
http
请求或
AJAX
轮询的时间间隔如果过大，则试验数据的实时性难以保证；设备端和服务端的数据通过文本读取的方式进行交互，既浪费了计算资源，又使得系统复杂而难以扩展
。
[0004]近年来，随着新技术的发展，设备的外场试验会面临以下几个问题：
(1)
试验的场景会更加复杂，试验系统会需要接入新的设备节点；
(2)
试验过程中的数据种类更多，数据量更大，对数据处理的速度要求也更高；
(3)
试验过程中的变化情况会变多，对数据展示的实时性要求更高；
(4)
试验过程过程持续时间长，有对试验数据进行复盘回放的需求
。
在这种情况下，需要开发出一种具有功能齐全
、
高效率
、
低延时
、
较好可扩展性的试验数据系统及设计方法
。

技术实现思路

[0005]为了克服现有技术的不足，本专利技术提供一种试验数据管理系统及实现方法
。
包括
Pulsar
集群服务
、
后端
SpringBoot
服务
、flink
窗口服务
、
数据仓库
、vue
前端系统5个模块，后端
SpringBoot
服务通过
Pulsar
集群服务与各个试验设备连接
、
通过
flink
窗口服务从所述数据仓库存取试验数据，
vue
前端系统通过
websocket
连接与后端
SpringBoot
服务进行数据交互和设备控制，同时进行试验数据实时展示和回放
。
本专利技术是针对外场试验的数据调度管理与数据通信需求提供的一种具有功能齐全
、
高效率
、
低延时
、
易于扩展的方案，面对大量实时产生的试验数据，能够实现新节点的方便接入，同时保证高吞吐量和低延时
。
[0006]一种试验数据管理系统，其特征在于：主要包括
Pulsar
集群服务
、
后端
SpringBoot
服务
、flink
窗口服务
、
数据仓库和
vue
前端系统5个模块，其中，后端
SpringBoot
服务通过
Pulsar
集群服务与各个试验设备连接
、
通过
flink
窗口服务从数据仓库存取试验数据，试验数据按照试验轮次的
id
存储到数据库中，
vue
前端系统通过
websocket
连接与后端
SpringBoot
服务进行数据交互和设备控制，还具有包括开始
、
暂停
、
拖动
、
终止在内的试验
回放和试验数据实时展示功能
。
[0007]如前所述的一种试验数据管理系统实现方法，其特征在于步骤如下：
[0008]步骤
1、
根据需求设计系统各个模块之间需要交互的数据主题
、
系统内部需要交互的数据接口
、
系统的显控页面；
[0009]步骤
2、
针对数据主题构建试验设备节点和系统各模块节点的生产
/
消费消息接口；
[0010]步骤
3、
构建系统的数据处理逻辑，包括各模块间的交互逻辑；搭建数据窗口和数据仓库服务，形成试验数据的实时展示功能和回放功能；
[0011]步骤
4、
根据显控页面的设计需求，构建
vue
前端系统的数据请求
、
数据分发
、
状态管理和数据渲染的处理逻辑，具体包括：
[0012]使用
vuex
‑
store
的
commit()
函数将系统获取的数据依据类别分发到对应的数据管理程序中；基于
vuex
‑
store
的
state
属性对数据进行状态管理，包括状态检测
、
生成和改动；状态检测时，采用基于
vue
的双向绑定机制将展示组件与数据进行双向绑定，数据的状态变化将触发展示组件的重新渲染
。
[0013]步骤
5、
对数据系统的性能进行优化，具体包括：
[0014]步骤
a、
系统的前后端之间采用
websocket
协议替代
http
协议建立长连接，后端主动向前端推送数据，每次交互数据不再重新建立连接；
[0015]步骤
b、
在各个节点构建的
pulsar
生产
/
消费接口采用若干线程并行处理，每个消费线程负责处理一个主题的数据，每个消费线程接收到主题数据之后，判别
websocket
连接数，当连接数为0时，线程不进行数据处理和推送；
[0016]步骤
c、
对于高数据率高数据量的试验数据，采用数据聚合方法对一定时间内的数据取平均值后再进行实时展示
。
[0017]步骤...

【技术保护点】

【技术特征摘要】
1.
一种试验数据管理系统，其特征在于：主要包括
Pulsar
集群服务
、
后端
SpringBoot
服务
、flink
窗口服务
、
数据仓库和
vue
前端系统5个模块，其中，后端
SpringBoot
服务通过
Pulsar
集群服务与各个试验设备连接
、
通过
flink
窗口服务从数据仓库存取试验数据，试验数据按照试验轮次的
id
存储到数据库中，
vue
前端系统通过
websocket
连接与后端
SpringBoot
服务进行数据交互和设备控制，还具有包括开始
、
暂停
、
拖动
、
终止在内的试验回放和试验数据实时展示功能
。2.
如权利要求1所述的一种试验数据管理系统实现方法，其特征在于步骤如下：步骤
1、
根据需求设计系统各个模块之间需要交互的数据主题
、
系统内部需要交互的数据接口
、
系统的显控页面；步骤
2、
针对数据主题构建试验设备节点和系统各模块节点的生产
/
消费消息接口；步骤
3、
构建系统的数据处理逻辑，包括各模块间的交互逻辑；搭建数据窗口和数据仓库服务，形成试验数据的实时展示功能和回放功能；步骤
4、
根据显控页面的设计需求，构建
vue
前端系统的数据请求
、
...

【专利技术属性】
技术研发人员：陈金炜，黎仁刚，姚群，
申请(专利权)人：中国船舶集团有限公司第七二三研究所，
类型：发明
国别省市：