利用相关性分析对矿井电法监测数据进行数据清洗的方法技术

本发明专利技术公开了一种利用相关性分析对矿井电法监测数据进行数据清洗的方法，针对常规数据清洗方法难以消除矿井电法监测数据中多个连续异常数据点影响的技术问题，该方法利用矿井电法监测数据具有时间序列相关性的特点，对不同时间的监测数据进行相关性分析，通过识别相关度较低或不相关的数据并对其进行校正，消除多个连续异常数据点的影响，实现对矿井电法监测数据的数据清洗。监测数据的数据清洗。监测数据的数据清洗。

【技术实现步骤摘要】
利用相关性分析对矿井电法监测数据进行数据清洗的方法


[0001]本专利技术涉及一种矿井物探数据清洗方法，属于矿井物探领域，具体涉及一种利用相关性分析对矿井电法监测数据进行数据清洗的方法。

技术介绍

[0002]矿井电法监测等价于对煤矿井下同一片目标区域连续不断的重复进行电法勘探，该方法被广泛用于煤矿工作面回采过程中煤层顶、底板破坏监测和水害监测，获得了良好的地质效果。矿井电法勘探采集的数据一般是电位或电位差，要从中解译出有用的地质信息，需要消除电磁噪声、巷道积水、浮煤、金属体等干扰因素的影响。此外，在进行矿井电法监测的过程中，监测电极的接地条件可能会随时间的推移发生变化，监测电极本身也可能因为采动破坏无法正常工作，这都需要在数据清洗的过程中加以考虑，否则可能会导致解释结果中出现假异常。
[0003]矿井电法监测通常在煤矿井下目标区域周围布置若干监测电极，利用发射电极向地下供电建立人工电场，利用接收电极采集电压信号。一个发射电极供电时，一般会有多个接收电极进行信号采集。进行矿井电法监测时，间隔固定的时间便可以采集一组监测数据，矿井电法监测数据随着时间的推移源源不断的生成，数据量非常庞大。常规的数据清洗方法一般采用野值修正、光滑滤波等手段，这一类方法可以消除或校正电磁噪声、巷道积水、浮煤、金属体等造成的孤立的异常数据点。但是当某一个发射电极在采动过程中受到严重干扰时，接收电极采集到的信号会包含较多的干扰信息，该发射电极对应的多个连续的接收数据都属于异常数据。这种情况下，监测数据中会形成多个连续的异常数据点，采用常规的数据清洗方法一般难以消除这一类干扰信息的影响。如果采用人工识别的方法去处理这一类异常数据，则需要耗费大量的人力和时间，并且处理结果也不具备时效性。

技术实现思路

[0004]本专利技术主要是解决现有技术所存在的难以消除矿井电法监测数据中多个连续异常数据点影响的技术问题，提供了一种利用相关性分析对矿井电法监测数据进行数据清洗的方法。该方法利用矿井电法监测数据具有时间序列相关性的特点，对不同时间的监测数据进行相关性分析，通过识别相关度较低或不相关的数据并对其进行校正，消除多个连续异常数据点的影响，实现对矿井电法监测数据的数据清洗。
[0005]本专利技术解决其技术问题所采用的技术方案是：
[0006]一种利用相关性分析对矿井电法监测数据进行数据清洗的方法，包括：
[0007]将各个监测时段内同一发射电极、不同接收电极对应的数据归为一组；
[0008]对分组后的监测数据进行归一化处理；
[0009]基于归一化处理后的数据计算相邻两个时段监测数据的相关系数矩阵；
[0010]基于相关系数矩阵清洗监测数据。
[0011]优选的，上述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，所述
将各个监测时段内同一发射电极、不同接收电极对应的数据归为一组包括：
[0012]将第i个监测时段的监测数据记为T(i)，其中，i＝0、1、
……
、n，其中T(0)是初始监测数据；
[0013]将同一发射电极、不同接收电极对应的数据归为一组，记为D(i,j)，其中，j为发射电极编号；
[0014]将监测数据T(i)中同一发射电极、同一接收电极采集的数据记为d(i，j，k)，其中，k为接收电极编号；
[0015]其中，T(i)、D(i，j)和d(i，j，k)三者关系式如下：
[0016][0017]式中，ms为发射电极的个数，mr为接收电极的个数。
[0018]优选的，上述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，在监测系统所有监测电极都正常工作的情况下采集初始监测数据T(0)。
[0019]优选的，上述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，对归组后的同一发射电极、不同接收电极对应的数据进行野值修正和光滑滤波，消除孤立的异常点数据。
[0020]优选的，上述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，基于下式计算相邻两个时段监测数据的相关系数矩阵：
[0021][0022]式中s(i-1，i，j)是D(i-1，j)和D(i，j)的协方差，c(i-1，j)和c(i，j)分别是D(i-1,j)和D(i，j)的标准差；R(i-1,i)表示监测数据T(i-1)和监测数据T(i)的相关系数矩阵。
[0023]优选的，上述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，基于下式计算D(i-1，j)和D(i，j)的协方差s(i-1,i,j)：
[0024][0025]优选的，上述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，标准差c(i-1,j)和c(i,j)的计算基于下式：
[0026][0027][0028]优选的，上述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，若R(i-1,i)(i>0)中存在相关系数r(i-1，i,j0)＝0，其中，1≤j0≤ms，将T(i)中第j0个发射电极
对应的接收数据D(i，j0)视作不相关的异常数据加以标记，基于下式对其进行校正：
[0029][0030]优选的，上述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，若R(i-1,i)(i>0)中存在相关系数0<|r(i-1，i，j1)|<ε(1≤j1≤ms)，将T(i)中第j1个发射电极对应的接收数据D(i，j1)标记为相关度较低的异常数据，基于下式对其进行校正：
[0031]D(i，j1)＝r(i-1，i，j1)D(i，j1)+(1-r(i-1，i，j1))D(i-1，j1) (i≥1)。
[0032]优选的，上述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，若R(i-1，i)的所有元素均满足|r(i-1，i，j)|≥ε(j＝1、
……
、ms)，表明监测数据T(i)和T(i-1)存在相关性，则进行下一时段监测数据的清洗。
[0033]本专利技术的有益效果是，通过对当前时段的监测数据和上一时段的监测数据进行相关性分析，根据给定的相关系数阈值识别相关度较低或不相关的异常数据，可以在监测过程中对监测数据进行实时分析处理，具有较高的时效性；利用前期或上一时段的监测数据对异常数据进行校正，而不是将异常数据直接删除，可以在消除多个连续异常数据点影响的同时，尽可能多的保留对后期地质解释有用的数据信息。
附图说明
[0034]图1为本专利技术的一种具体实施方式示意图。
具体实施方式
[0035]下面结合附图对本专利技术的具体实施方式作进一步的说明。
[0036]在进行矿井电法监测的过程中，监测电极的接地条件可能会随时间的推移发生变化，监测电极本身也可能因为采动破坏无法正常工作。当某一个发射电极在采动过程中受到严重干扰时，监测数据中会形成多个连续的异常数据点，采用常规的数据清洗方法一般难以消除这一类干扰信息的影响本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用相关性分析对矿井电法监测数据进行数据清洗的方法，其特征在于，包括：将各个监测时段内同一发射电极、不同接收电极对应的数据归为一组；对分组后的监测数据进行归一化处理；基于归一化处理后的数据计算相邻两个时段监测数据的相关系数矩阵；基于相关系数矩阵清洗监测数据。2.根据权利要求1所述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，其特征在于，所述将各个监测时段内同一发射电极、不同接收电极对应的数据归为一组包括：将第i个监测时段的监测数据记为T(i)，其中，i＝0、1、......、n，其中T(0)是初始监测数据；将同一发射电极、不同接收电极对应的数据归为一组，记为D(i，j)，其中，j为发射电极编号；将监测数据T(i)中同一发射电极、同一接收电极采集的数据记为d(i，j，k)，其中，k为接收电极编号；其中，T(i)、D(i，j)和d(i，j，k)三者关系式如下：式中，ms为发射电极的个数，mr为接收电极的个数。3.根据权利要求1所述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，其特征在于，在监测系统所有监测电极都正常工作的情况下采集初始监测数据T(0)。4.根据权利要求1所述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，其特征在于，对归组后的同一发射电极、不同接收电极对应的数据进行野值修正和光滑滤波，消除孤立的异常点数据。5.根据权利要求2所述的利用相关性分析对矿井电法监测数据进行数据清洗的方法，其特征在于，基于下式计算相邻两个时段监测数据的相关系数矩阵：式中s(i-1，i，j)是D(i-1，j)和D(i，j)的协方差，c(i-1，j)和c(i，j)分别是D(i-1，j)和D...

【专利技术属性】
技术研发人员：鲁晶津，南汉晨，李德山，王冰纯，蔺兑如，段建华，崔伟雄，闫文超，
申请(专利权)人：中煤科工集团西安研究院有限公司，
类型：发明
国别省市：