【技术实现步骤摘要】
本专利技术涉及传感器信号分析程序设计，具体是指一种适用于高通数据量下实时信号接收与分析的程序架构。
技术介绍
1、管道设施(例如陆地油气管道、燃气管道、输水管道、海洋油气管道等)、海洋设施(例如海上风电、水下油气生产系统等设施)都属长线型基础设施。针对长线型基础设施的安全监测是当前保证其平稳运行的关键，通常会采用多类型传感器进行交叉监测，例如点式光学/电学微声传感器、点式光学/电学微振传感器、分布式光学拾音器、分布式光纤温度传感器、点式电学压力传感器、点式电学流量传感器等。
2、当前主流传感器采样的物理量是振动或声音，其主要特点是采样频率高达数十万赫兹，即一秒内一支传感器可产生数十万个点数据。当长距离空间内布置成百上千支传感器采样信号，在监测时间内将产生海量的传感数据。例如采样频率为200khz，500支传感器，1小时可产生1440gb数据。
3、同时传感器类型多样，厂家各不相同，数据结构差异较大，由此需要花费大量人力物力针对每一种传感器各自开发一套专用的数据接收和分析程序。
4、多种传感器数据结构类型、海量传感数据的接包与存储是该类声振传感器应用的面临的最大困难；在高通量数据的冲击下，测试程序、修改程序代码缺陷也是一项十分耗时耗力的工作。同时程序的全天候持续运行又是针对开发者的一项重要考验
5、所以，一种适用于高通数据量下实时信号接收与分析的程序架构成为人们亟待解决的问题。
技术实现思路
1、为解决上述技术问题，本专利技术提供的技术
2、所述数据源层为各类传感器接收并感知外界物理环境信息，并转化为可网络传输的数字化信号，用于产生高通量传感数据；
3、所述转发器层通过检测计算机网卡，抓取数据源推送的数据流，对数据流信号进行字节截取、删除数据段的操作；
4、所述后台总体控制层通过监测计算机网卡，接收转发器的数据包，存入内存缓冲队列中；
5、所述中台数据分析层接收后台所发数据包，调用相关算法模块进行信号分析，并将结果发送给后台总体控制层；
6、所述前端展示层从后台总体控制层内存数据库中拉取数据，分发给前端选定的不同渲染器进行折线图、柱状图、颜色图块的展示表达。
7、进一步的，所述转发器层在瞬时大数据到来时开启本地缓冲池接收，将数据流存入自设内存数组中；待达到一定条件后，从内存数组中提取约定大小的数据包，按批次发送给后台总体控制层。
8、进一步的，所述后台总体控制层待满足约定条件后，从缓冲队列中提取数据包，存入指定磁盘位置，同时开启独立线程进行丢包检测、数据剪辑、单位转化、信道删减，再重新组合新数据包，然后将新数据包转发给中台数据分析层；待中台数据分析层反馈分析结果后，增加相关附加信息后，存入内存数据库中，然后将结果数据存储到本地。
9、进一步的，所述中台数据分析层所接收的数据包进行的算法分析包括但不限于时间域分析、频率域分析、空间域分析、时频域分析、时空域分析。
10、进一步的，所述前端展示层具有提供人机交互界面的功能，将程序参数分发给相关模块单元。
11、进一步的，所述程序架构的特点包括多模、低耦合组块化、高通量和参数化；
12、所述多模是指通过通用型数据包结构解析框架来适配多种模式多种类型的传感器，将数据包分解为网络层、包头段、数据段、包尾段，满足各种模式各类型传感器的数据结构；将数据段分为m个采样包，以对应于m个时间采样点，可满足单次传输数据包中包含多个时间采样包的情景；将采样包分为n个物理通道数，可满足单个采样包含多个传感信道数量；设立包头和包尾段，并指定包号段，可满足包号位置多样的实际情况；
13、所述低耦合组块化是指通过高内聚、低耦合的组块化设计，将数据分析流程分成五大独立组块，各模块可独立运行于不同的电脑主机上，通过约定的ip地址、端口、路径名进行通讯；
14、所述高通量是根据各组块分析特点，在程序中设置缓冲池、数据批次串联脉动式运行、数据流分流点、多线程运行设置，在瞬时海量数据的冲击下，程序不宕机，整个业务流程运行流畅、稳定；
15、所述参数化是指针对五大独立组块，程序设立八类组件，分别为软件配置组件、项目组件、参数曲线组件、数据分析组件、判别组件、处置组件、后台调控组件和终端展示组件。
16、进一步的，所述程序架构的特点包括多模、低耦合组块化、高通量和参数化；
17、所述多模是指通过通用型数据包结构解析框架来适配多种模式多种类型的传感器，将数据包分解为网络层、包头段、数据段、包尾段，满足各种模式各类型传感器的数据结构；将数据段分为m个采样包，以对应于m个时间采样点，可满足单次传输数据包中包含多个时间采样包的情景；将采样包分为n个物理通道数，可满足单个采样包含多个传感信道数量；设立包头和包尾段，并指定包号段，可满足包号位置多样的实际情况；
18、所述低耦合组块化是指通过高内聚、低耦合的组块化设计，将数据分析流程分成五大独立组块，各模块可独立运行于不同的电脑主机上，通过约定的ip地址、端口、路径名进行通讯；
19、所述高通量是根据各组块分析特点，在程序中设置缓冲池、数据批次串联脉动式运行、数据流分流点、多线程运行设置，在瞬时海量数据的冲击下，程序不宕机，整个业务流程运行流畅、稳定；
20、所述参数化是指针对五大独立组块，程序设立八类组件，分别为软件配置组件、项目组件、参数曲线组件、数据分析组件、判别组件、处置组件、后台调控组件和终端展示组件。
21、进一步的，所述高通量设置的缓冲池的操作方法如下所示：
22、转发器层设立内存数组，后台总体控制层设立内存缓冲数组、分析结果数据库redis a、分析结果数据库redis b，设立缓冲池下放数据包触发条件，将后续进程结果作为下方触发条件，例如后台控制层中将放入redis队列b作为内存缓冲队列下放数据包的必要条件，也就是上一数据批次没有计算完毕，下一数据批次不进行提取；
23、数据批次串联脉动式运动方法如下所示：
24、程序整体运行为串联流程，中间设立4个缓冲池用以消纳串联过程中的“堵塞”流现象，同时也将总串联流程隔断为4段独立的串联小流程，以增加软件的广泛适用性；串联小流程为：①转发器抓包-删除字节-存入缓冲池，②转发器取包-转发器发包-后台接包-存入缓冲池，③后台提取-数据初筛-中台分析-中台结果返回-后台接包-后台存入内存数据库，④前端拉取-前端渲染；串联小流程③中，当后台发送数据给中台后，后台一致等待中台返回数据，若中台无数据返回，后台不再提取下一数据批，即实现当前一数据批完成后再启动一下数据批的开始；
25、数据流分流点的操作方法如下所示：
26、在后台控制本文档来自技高网...
【技术保护点】
1.一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：所述程序架构包括五大独立组块，分别为数据源层、转发器层、后台总体控制层、中台数据分析层和前端展示层；
2.根据权利要求1所述的一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：所述转发器层在瞬时大数据到来时开启本地缓冲池接收，将数据流存入自设内存数组中；待达到一定条件后，从内存数组中提取约定大小的数据包，按批次发送给后台总体控制层。
3.根据权利要求1所述的一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：所述后台总体控制层待满足约定条件后，从缓冲队列中提取数据包，存入指定磁盘位置，同时开启独立线程进行丢包检测、数据剪辑、单位转化、信道删减，再重新组合新数据包，然后将新数据包转发给中台数据分析层；待中台数据分析层反馈分析结果后，增加相关附加信息后，存入内存数据库中，然后将结果数据存储到本地。
4.根据权利要求1所述的一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：所述中台数据分析层所接收的数据包进行的算法分析包括但不限于时间域分析、频
5.根据权利要求1所述的一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：所述前端展示层具有提供人机交互界面的功能，将程序参数分发给相关模块单元。
6.根据权利要求1所述的一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：所述程序架构的特点包括多模、低耦合组块化、高通量和参数化；
7.根据权利要求6所述的一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：所述多模配以解析框架，程序设置各层字节数、采样包数m、通道数n、数据类型、采样频率、映射通道表、数据转换系数k等变量加以规范，使程序适用多种模式类型的传感器数据结果。
8.根据权利要求6所述的一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：
...【技术特征摘要】
1.一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：所述程序架构包括五大独立组块，分别为数据源层、转发器层、后台总体控制层、中台数据分析层和前端展示层；
2.根据权利要求1所述的一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：所述转发器层在瞬时大数据到来时开启本地缓冲池接收，将数据流存入自设内存数组中；待达到一定条件后，从内存数组中提取约定大小的数据包，按批次发送给后台总体控制层。
3.根据权利要求1所述的一种适用于高通数据量下实时信号接收与分析的程序架构，其特征在于：所述后台总体控制层待满足约定条件后，从缓冲队列中提取数据包，存入指定磁盘位置，同时开启独立线程进行丢包检测、数据剪辑、单位转化、信道删减，再重新组合新数据包，然后将新数据包转发给中台数据分析层；待中台数据分析层反馈分析结果后，增加相关附加信息后，存入内存数据库中，然后将结果数据存储到本地。
4.根据权利要求1所述的一种适用于高通...
【专利技术属性】
技术研发人员：王健，何晋萍，
申请(专利权)人：上海原构智能科技合伙企业有限合伙，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。