一种面向桥梁结构健康监测的实时风速指标计算方法及系统技术方案

本发明专利技术公开了一种面向桥梁结构健康监测的实时风速指标计算方法及系统。本发明专利技术从消息中间件中提取实时桥梁健康监测状况数据，推送给实时流计算引擎，引擎对数据进行异常矫正后，推送实时算子进行增量计算，将滑动窗口的聚合中间态推送内存数据库进行存储，同时使用改进的桥梁结构健康监测指标进行计算，最终由指标作业对指标计算结果进行重组和拼接，并推送消息中间件输出。本发明专利技术能够减少桥梁结构健康监测指标计算时延；缓解桥梁环境、硬件设备等因素导致的瞬时噪声、跳点等数据异常对精度的影响；根据指标特性延迟指定时间触发数据处理，提升指标计算的准确性；引入内存数据库存储滑动窗口聚合值和指标值，减少读写硬盘的时间消耗。间消耗。间消耗。

【技术实现步骤摘要】
一种面向桥梁结构健康监测的实时风速指标计算方法及系统


[0001]本专利技术涉及桥梁结构健康监测实时数据处理领域，尤其涉及一种面向桥梁结构健康监测的实时风速指标计算方法及系统。

技术介绍

[0002]随着建筑材料的不断升级和桥梁工程技术的不断进步，桥梁的建筑规模和安全使用年限都不断扩大。因此，对桥梁结构健康监测系统提出了新的需求，一方面，桥梁结构健康监测数据体量日益扩大，对传感器监测数据的处理能力提出了新的要求；另一方面，为了确保桥梁结构健康监测指标能够尽可能真实反应桥梁的健康状况，对桥梁结构健康监测指标的计算准确性提出了更高的标准。桥梁结构状态是通过结构响应表现出来的，健康监测的工作方式就是通过解析桥梁的结构响应来获取桥梁的结构状态，从而对桥梁进行一系列健康评估。桥梁健康监测系统一般分为三个等级，即长期在线自动健康监测系统、定期离线健康监测系统和定期养护健康监测系统。长期在线自动健康监测系统作为其中最高等级的监测系统，特别适合于在特大跨径复杂桥梁结构和具有重大战略意义的关键桥梁上使用。实时计算技术作为长期在线自动健康监测系统中的核心技术，对于海量数据的实时处理能力和桥梁健康状况的实时反馈都有越来越高的标准，而传统的解决方案是使用数据库调用进行定时计算，通过SQL查询的适用场景主要为大规模批处理，在进行实时流处理时性能不佳。
[0003]针对如何在海量数据进行实时计算问题，现有Lambda结构和Kappa架构两种架构实现“批流一体化”的实时计算技术方案。Lambda架构是流式计算模式和批式计算模式共同维护大数据处理系统，由流式计算模块提供实时数据计算，由批式计算模块做准确的离线计算并矫正实时计算中可能产生的错误。这种架构缺点在于需要维护流计算和批计算两套独立的代码逻辑，增加维护成本，且批式计算在对实时计算的时序追赶上实现困难。Kappa架构则利用强大的流式计算模式提供稳定及时的算力，在发生错误时需要等待服务空闲时段进行数据修复。两种架构为了保证计算准确，既影响了正常的流计算服务也影响系统性能，很难满足桥梁结构健康监测的实时指标计算需求。
[0004]针对以上问题，当前亟需一种面向桥梁结构健康监测的实时风速指标计算方法及系统，能够克服现有行业技术方案中耗时长、精度低的缺陷，并且可以同时达到低延迟高吞吐的数据处理和高精度的指标计算。

技术实现思路

[0005]本专利技术的目的是在于针对桥梁结构健康监测指标实时计算领域现有技术的不足，提出一种面向桥梁结构健康监测的实时风速指标计算方法及系统。
[0006]本专利技术的目的是通过以下技术方案来实现的：一种面向桥梁结构健康监测的实时风速指标计算方法，该方法包括以下步骤：
[0007](1)采集的桥梁传感器数据实时缓存至上游消息中间件中，在需要计算风速指标
时实时提取和解析上游消息中间件内缓存的桥梁传感器数据，以(id,timestamp,data)的格式推送给实时流计算引擎；
[0008](2)实时流计算引擎中的实时算子利用增量计算和滑动窗口对桥梁传感器数据进行数据聚合；通过异常检测算法对实时算子的数据聚合结果进行数据检测，把异常数据修改为正常后，进行短期存储，同时推送给实时风速指标作业和实时算子进行计算；
[0009](3)桥梁结构健康监测的实时风速指标作业根据计算逻辑，基于数据时间设计延迟触发机制，提取内存数据库中存储的数据进行数据对齐、计算和重组，并将计算结果存储在内存数据库和推送下游消息中间件；
[0010](4)根据指标计算逻辑要求，存储在内存数据库中的计算结果将被指标作业提取，并继续执行(3)步骤，直到指标计算逻辑运行完成，将指标计算结果推送下游消息中间件。
[0011]进一步地，所述步骤(2)中，实时算子在使用滑动窗口进行桥梁数据聚合时，通过数据驱动增量计算，滑动窗口时间跨度随着数据进入而不断增大，当滑动窗口内聚合数据达到最大跨度时，进行存储并清空。
[0012]进一步地，所述步骤(2)中，实时风速指标包括主风方向脉动风速、横风方向脉动风速、垂直方向脉动风速、平均风速和紊流强度。
[0013]进一步地，针对每个桥梁传感器的数据通道，实时算子均各维护多个独立的滑动窗口，每个滑动窗口维护一个中间态值，相邻滑动窗口的起始时间间隔相同；当有新的桥梁传感器数据从上游消息中间件提取进入流计算引擎时，所有滑动窗口同时进行计算。
[0014]进一步地，所述步骤(3)中，根据桥梁健康监测场景特性，延迟触发机制引入专家经验，基于驱动时钟设定数据处理延迟触发。
[0015]进一步地，所述步骤(2)中，使用3sigma或Z
‑
score异常检测算法，根据近期历史数据监测数据异常情况，并对异常数据进行修改。
[0016]进一步地，所述步骤(3)中，延迟触发机制驱动实时风速指标作业，实时风速指标利用实时算子，按照指标作业计算逻辑进行计算。
[0017]进一步地，所述步骤(3)和(4)中，推送下游消息中间件的数据格式为{id,name,starttime,endtime,data}。
[0018]另一方面，本专利技术还提供了一种面向桥梁结构健康监测的实时风速指标计算系统，该系统包括数据处理模块、实时流计算模块、指标计算逻辑模块和指标作业提取模块；
[0019]所述数据处理模块用于实时提取和解析上游消息中间件内缓存的桥梁传感器数据，以(id,timestamp,data)的格式推送给实时流计算模块；
[0020]所述实时流计算模块用于通过实时流计算引擎中的实时算子利用增量计算和滑动窗口对桥梁传感器数据进行数据聚合；通过异常检测算法对实时算子的数据聚合结果进行数据检测，把异常数据修改为正常后，进行短期存储，同时推送各实时风速指标作业和实时算子进行计算；
[0021]所述指标计算逻辑模块用于将桥梁结构健康监测的实时风速指标作业根据计算逻辑，基于数据时间设计延迟触发机制，提取内存数据库中存储的数据进行数据对齐、计算和重组，并将计算结果存储在内存数据库和推送下游消息中间件；
[0022]所述指标作业提取模块用于根据指标计算逻辑模块的指标计算逻辑要求，存储在内存数据库中的计算结果将被指标作业提取，并继续执行指标计算逻辑模块，直到指标计
算逻辑运行完成，将指标计算结果推送下游消息中间件。
[0023]本专利技术的有益效果：首先本专利技术利用桥梁传感器数据的周期性特点，进行数据异常矫正，可以更好地应对因硬件设备受物理因素影响、数据传输环境信号干扰等因素导致的瞬时噪声、跳点等数据异常，降低异常数据对指标精度的影响；同时，通过提出一种适用桥梁健康监测实时计算指标的增量计算方法和滑动窗口数据聚合技术，改进平均风速、脉动风速和紊流强度指标计算方法，减少存储体量，不但减小了传统SQL批量计算带来的资源使用率波动，同时降低了读写硬盘带来的IO压力和时间消耗，大大减少了指标计算时延，增大系统吞吐量；另外，设计延迟触发机制，缓解桥梁结构健康监测数据因网络传输、信号干扰等原因本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向桥梁结构健康监测的实时风速指标计算方法，该方法包括以下步骤：(1)采集的桥梁传感器数据实时缓存至上游消息中间件中，在需要计算风速指标时实时提取和解析上游消息中间件内缓存的桥梁传感器数据，以(id,timestamp,data)的格式推送给实时流计算引擎；(2)实时流计算引擎中的实时算子利用增量计算和滑动窗口对桥梁传感器数据进行数据聚合；通过异常检测算法对实时算子的数据聚合结果进行数据检测，把异常数据修改为正常后，进行短期存储，同时推送给实时风速指标作业和实时算子进行计算；(3)桥梁结构健康监测的实时风速指标作业根据计算逻辑，基于数据时间设计延迟触发机制，提取内存数据库中存储的数据进行数据对齐、计算和重组，并将计算结果存储在内存数据库和推送下游消息中间件；(4)根据指标计算逻辑要求，存储在内存数据库中的计算结果将被指标作业提取，并继续执行(3)步骤，直到指标计算逻辑运行完成，将指标计算结果推送下游消息中间件。2.根据权利要求1所述的一种面向桥梁结构健康监测的实时风速指标计算方法，其特征在于，所述步骤(2)中，实时算子在使用滑动窗口进行桥梁数据聚合时，通过数据驱动增量计算，滑动窗口时间跨度随着数据进入而不断增大，当滑动窗口内聚合数据达到最大跨度时，进行存储并清空。3.根据权利要求1所述的一种面向桥梁结构健康监测的实时风速指标计算方法，其特征在于，所述步骤(2)中，实时风速指标包括主风方向脉动风速、横风方向脉动风速、垂直方向脉动风速、平均风速和紊流强度。4.根据权利要求2所述的一种面向桥梁结构健康监测的实时风速指标计算方法，其特征在于，针对每个桥梁传感器的数据通道，实时算子均各维护多个独立的滑动窗口，每个滑动窗口维护一个中间态值，相邻滑动窗口的起始时间间隔相同；当有新的桥梁传感器数据从上游消息中间件提取进入流计算引擎时，所有滑动窗口同时进行计算。5.根据权利要求1所述的一种面向桥梁结构健康监测的实时风速指标计算方法，其特征在于，所述步骤(3...

【专利技术属性】
技术研发人员：王雷，李文龙，高杨，田俊，姚都，张鸿飞，施陆平，厉家乐，
申请(专利权)人：浙江邦盛科技股份有限公司，
类型：发明
国别省市：