一种分布式光纤传感大数据实时统计压缩方法技术

本发明专利技术公开了一种分布式光纤传感大数据实时统计压缩方法，涉及传感信号压缩技术领域，步骤1.将整个监测范围内的各空间点长时间累积采集到的一维时间响应信号作为计量信号，并分别对各空间点的计量信号进行分位数统计；步骤2.根据分位数统计结果确定各空间点的异常信号判定标准；步骤3.将某一空间点一段时间内累积到的一维时间响应信号作为一个信号处理单元，并通过该空间点的异常信号判定标准对所述信号处理单元进行异常信号判断；若所述信号单元为异常信号，则对所述信号处理单元进行数据压缩操作。本发明专利技术大大提高了连续时空不间断监测过程产生的海量数据的压缩效率，能满足海量数据压缩的实时性要求。

【技术实现步骤摘要】
一种分布式光纤传感大数据实时统计压缩方法
本专利技术属于传感信号压缩
，具体涉及一种分布式光纤传感大数据实时统计压缩方法。
技术介绍
分布式光纤声音/振动传感是以光纤为传感元件和传输介质，感测沿线环境中声波、振动等物理量的空间分布和时间变化信息，是实现大范围环境动态监测的一种重要技术手段，在基础设施安全监测领域中发挥重要作用。在长距离和高空间分辨率要求的监测中，分布式光纤声音/振动传感具有电子传感器件不可比拟的优势，在边境安全、军事基地防范、油气管道泄漏、社区安全以及建筑结构监测等领域具有广泛应用前景。分布式光纤声音/振动传感系统在大范围全天候不间断监测过程中将产生巨大的数据量。例如针对监测距离为50公里的典型分布式光纤声音/振动传感系统，按照空间分辨率10米，采样频率50KHz计算，分布式光纤声音/振动传感系统每秒将产生250M个监测数据，每个监测数据按2个字节计算，则每秒钟数据量为500M字节，每小时数据量为1.7T字节。在全天候不间断监测过程中，每一天24小时即会产生40.8T字节的海量数据。随着分布式光纤声音/振动传感系统性能指标的不断提高，例如，单点检测频带越来越宽，监测距离越来越远，空间分辨率越来越高，其单位时间内获得的传感节点数及传感数据量还会成倍、几十倍、上百倍地增加。对于后面的数据存储、实时传输和处理造成巨大压力。如果不能很好解决此矛盾，高性能的系统指标在实际应用中并不能真正发挥作用。为解决分布式光纤声音/振动传感中海量数据在传输和存储中占用大量资源的问题，将数据压缩技术引入到数据采集系统中，是一种行之有效的解决思路和途径。目前基于小波变换的数据压缩方法已经在一维、二维信号压缩中占据重要地位，但其典型压缩比难以满足分布式光纤传感系统高密度时空采集网格下实时产生的海量数据的压缩需求，此外，基于Shearlet变换的压缩方法存在运算量大、计算复杂的问题，无法实现实时压缩。
技术实现思路
本专利技术的目的在于：为解决采集分布式光纤声音/振动传感中连续时空不间断监测过程产生的海量数据时，难以满足对海量数据进行实时压缩的问题，本专利技术提供一种分布式光纤传感大数据实时统计压缩方法。本专利技术采用的技术方案如下：一种分布式光纤传感大数据实时统计压缩方法，包括以下步骤：步骤1.将整个监测范围内的各空间点长时间累积采集到的一维时间响应信号作为计量信号，并分别对各空间点的计量信号进行分位数统计；步骤2.根据分位数统计结果确定各空间点的异常信号判定标准；步骤3.将某一空间点一段时间内累积到的一维时间响应信号作为一个信号处理单元，并通过该空间点的异常信号判定标准对所述信号处理单元进行异常信号判断；若所述信号单元为异常信号，则对所述信号处理单元进行数据压缩操作。进一步地，步骤3中所述的数据压缩操作采用有损压缩和无损压缩级联的方式；其中，有损压缩采用一种基于自适应OTSU阈值的提升小波变换压缩方法，无损压缩采用游程编码方法和霍夫曼编码方法。进一步地，确定各空间点的异常信号判定标准的具体步骤如下：步骤A1.对整个监测范围内各空间点采集的分布式光纤声音/振动传感信号，在时间轴上进行长时间累积得到二维时空累积响应信号，记为XM,N，其中，M表示长时间累积时间，N表示空间采集的序列长度；步骤A2.以空间点为单位，从二维时空累积响应信号XM,N中获取各空间点上长时间累积采集得到的一维时间响应信号，记作X:,n(n＝1,2,…,N)；步骤A3.将各空间点的一维时间响应信号X:,n作为统计对象进行信号幅值的分位数统计：将一维时间响应信号X:,n幅值的上四分位数记作Q2，将一维时间响应信号X:,n幅值的下四分位数记作Q1；步骤A4.根据上四分位数Q2和下四分位数Q1计算得到一维时间响应信号X:,n幅值的正常值取值范围(p,q)，其中，p＝Q1-k×(Q2－Q1)，q＝Q2+k×(Q2－Q1)，k的取值根据应用场景确定，为固定值；步骤A5.根据正常值取值范围(p,q)确定一维时间响应信号X:,n中的异常点，并计算所述异常点的个数占一维时间响应信号X:,n的信号长度的比例，记作ar；步骤A6.根据比例ar确定一个异常比例阈值at作为异常信号判定标准。进一步地，所述的基于自适应OTSU阈值的提升小波变换压缩方法的具体步骤如下：步骤B1.选择小波基；步骤B2.利用小波基对异常信号进行基于自适应OTSU阈值的提升小波分解，得到异常信号的低频分量和高频分量，即为提升小波系数；步骤B3.通过自适应OTSU阈值对提升小波系数进行选取，得到提升小波阈值压缩系数；步骤B4.根据提升小波阈值压缩系数计算压缩比和均方根误差；步骤B5.选取多个不同的小波基并依次执行步骤B2-B4，得到对应的提升小波阈值压缩系数、压缩比和均方根误差；步骤B6.根据压缩比和均方根误差对不同小波基下提升小波的压缩效果进行比较，得到最优小波基，并将最优小波基对应的提升小波阈值压缩系数记作C。进一步地，得到异常信号的提升小波系数的具体步骤如下：步骤B2.1.确定提升小波分解的层数N；步骤B2.2.对异常信号进行提升小波分解，得到异常信号的第n层(1≤n≤N)小波分解后的低频系数cAn和高频系数cDn；步骤B2.3.对第n(1≤n≤(N-1))层小波分解后的低频系数cAn进行提升小波分解，得到第(n+1)层提升小波分解后的低频系数cAn+1和高频系数cDn+1；步骤B2.4.将得到的低频系数cAn(1≤n≤N)和高频系数cDn(1≤n≤N)按下标n从大到小的顺序进行排列，得到低频分量cAs＝cAn和高频分量cDs＝[cDn,…,cD1]。进一步地，得到提升小波阈值压缩系数的具体步骤如下：步骤B3.1.分别确定低频分量和高频分量的OTSU上界阈值，分别记作cAth和cDth；步骤B3.2.选取低频分量中绝对值大于cAth的低频系数，记作coff_A；选取高频分量中绝对值大于cDth的高频系数，记作coff_D；步骤B3.3.将低频系数coff_A和高频系数coff_D进行合并，得到提升小波阈值压缩系数。进一步地，所述的游程编码方法的具体步骤如下：步骤C1.初始化游程编码矩阵B＝[]，初始化变量num_zero＝0,index＝1,计算提升小波阈值压缩系数C的长度，记作length，进入步骤C2；步骤C2.若index≤length，则进入步骤C3；若index>length，则进入步骤C5；步骤C3.若满足A(index)≠0，则使bit1＝num_zero,bit2＝A(index),B＝[B,bit1,bit2],num_zero＝0，进入步骤C4；若A(index)＝0，则使num_zero＝num_zero+1，进入步骤C4；步骤C4.令index＝index+1，进入步骤C2；步骤C5.若num_zero>0，则使B＝[B,num_zero－1,0]，进入步骤C6；若num_zero≤0，则进入步骤C6；步骤C6.输出的游程编码矩阵B，即游程编码矩阵B为提升小波阈值压缩系数C的游程编码结果，记作Crlc。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：1、本专利技术中，在连续时空不间断声音、振动等动态信号监测过程中，将整个范围内的各空间点长本文档来自技高网...

【技术保护点】
1.一种分布式光纤传感大数据实时统计压缩方法，其特征在于，包括以下步骤：步骤1.将整个监测范围内的各空间点长时间累积采集到的一维时间响应信号作为计量信号，并分别对各空间点的计量信号进行分位数统计；步骤2.根据分位数统计结果确定各空间点的异常信号判定标准；步骤3.将某一空间点一段时间内累积一维时间响应信号作为一个信号处理单元，并通过该空间点的异常信号判定标准对所述信号处理单元进行异常信号判断；若所述信号单元为异常信号，则对所述信号处理单元进行数据压缩操作。

【技术特征摘要】
1.一种分布式光纤传感大数据实时统计压缩方法，其特征在于，包括以下步骤：步骤1.将整个监测范围内的各空间点长时间累积采集到的一维时间响应信号作为计量信号，并分别对各空间点的计量信号进行分位数统计；步骤2.根据分位数统计结果确定各空间点的异常信号判定标准；步骤3.将某一空间点一段时间内累积一维时间响应信号作为一个信号处理单元，并通过该空间点的异常信号判定标准对所述信号处理单元进行异常信号判断；若所述信号单元为异常信号，则对所述信号处理单元进行数据压缩操作。2.根据权利要求1所述的一种分布式光纤传感大数据实时统计压缩方法，其特征在于，步骤3中所述的数据压缩操作采用有损压缩和无损压缩级联的方式；其中，有损压缩采用一种基于自适应OTSU阈值的提升小波变换压缩方法，无损压缩采用游程编码方法和霍夫曼编码方法。3.根据权利要求1所述的一种分布式光纤传感大数据实时统计压缩方法，其特征在于，确定各空间点的异常信号判定标准的具体步骤如下：步骤A1.对整个监测范围内各空间点采集的分布式光纤声音/振动传感信号，在时间轴上进行长时间累积得到二维时空累积响应信号，记为XM,N，其中，M表示长时间累积时间，N表示空间采集的序列长度；步骤A2.以空间点为单位，从二维时空累积响应信号XM,N中获取各空间点上长时间累积采集得到的一维时间响应信号，记作X:,n(n＝1,2,…,N)；步骤A3.将各空间点的一维时间响应信号X:,n作为统计对象进行信号幅值的分位数统计：将一维时间响应信号X:,n幅值的上四分位数记作Q2，将一维时间响应信号X:,n幅值的下四分位数记作Q1；步骤A4.根据上四分位数Q2和下四分位数Q1计算得到一维时间响应信号X:,n幅值的正常值取值范围(p,q)，其中，p＝Q1-k×(Q2－Q1)，q＝Q2+k×(Q2－Q1)，k的取值根据应用场景确定，为固定值；步骤A5.根据正常值取值范围(p,q)确定一维时间响应信号X:,n中的异常点，并计算所述异常点的个数占一维时间响应信号X:,n的信号长度的比例，记作ar；步骤A6.根据比例ar确定一个异常比例阈值at作为异常信号判定标准。4.根据权利要求2所述的一种分布式光纤传感大数据实时统计压缩方法，其特征在于，所述的基于自适应OTSU阈值的提升小波变换压缩方法的具体步骤如下：步骤B1.选择小波基；步骤B2.利用小波基对异常信号进行基于自适应OTSU阈值的提升小波分解，得到异常信号的低频分量和高频分量，即为提升小波系数；步骤B3.通过自适应OTSU阈值对提升小波系数进行选取，得到提升小波阈值压缩系数；步骤B4.根据提升小波阈值压缩系数计算压缩比和均方根误差；步骤B5.选取多个不同的小波基并依次执行步骤B2-B4，得到对应的提升小波阈值压缩系数、压缩比和均方根误差；步骤B6.根据压缩比和均方根误差对不同小波基下提升小波的压缩效果进行比较，得到最优小波基，并将最优小波基对应的提升小波阈值压缩系...

【专利技术属性】
技术研发人员：吴慧娟，郑义，唐波，邱浩宇，肖垚，王梦娇，刘香荣，吕立东，饶云江，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51