用于盾构装备数据协同互馈的异常数据检测方法及装置制造方法及图纸

本发明专利技术公开了一种用于盾构装备数据协同互馈的异常数据检测方法及装置，所述方法包括：收集盾构装备的历史正常数据、历史异常数据与运行段的地质数据，并根据文本时间序列数据、数值时间序列数据、地质数据的类型分别进行预处理；将历史正常数据与对应的地质数据相匹配，并分割为训练集和验证集；将训练集输入基于LSTM和VAE的模型中进行训练；对训练后的模型进行测试，准确率达标后放入数据收集终端中；后续接收的数据输入模型进行测试，记录异常数据的位置与数值；之后将异常数据删除，进行数据补全后返回数据库中，对模型进行迭代更新训练。本发明专利技术能够解决多维数据的异常检测问题，对于不同种类的数据具有较高的鲁棒性。对于不同种类的数据具有较高的鲁棒性。对于不同种类的数据具有较高的鲁棒性。

【技术实现步骤摘要】
用于盾构装备数据协同互馈的异常数据检测方法及装置


[0001]本专利技术涉及盾构装备数据协同互馈
，特别涉及一种用于盾构装备数据协同互馈的异常数据检测方法及装置。

技术介绍

[0002]在盾构场景下，各个装备之间并不是孤立存在，而是需要各个装备之间相互协同，互相反馈才可以平稳的运行。在此过程中需要数据采集终端设备将数据采集完毕后，交由服务器整合存储，每个装备的数据都经历了数据采集和数据存储的过程。但服务器中的数据来自于地理位置互不相同、组织结构互相独立且功能应用多样的各种装备，因此这些数据在使用目的和最终结果相互之间具有差异，由此而产生的装备数据具有多源性、异构性和分布性的特点。同时，由于装备运行环境较为复杂，各个装备的耐久度、准确度和操作技术难度不尽相同，以及通信质量等问题很容易造成某些装备或某个装备群组出现异常情况，这些异常情况包括设备异常、操作异常和通信异常等，这些异常情况往往可以在装备运行数据的变化中得到展现，即为异常数据。
[0003]如果任由异常数据进入数据库，不仅会导致服务端产生错误的判断，也会在后期分析时遇到各种各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于盾构装备数据协同互馈的异常数据检测方法，其特征在于，包括以下步骤：S1、收集每一种盾构装备的历史正常数据、历史异常数据与运行段的地质数据，并根据数据类型分别进行预处理；其中，历史正常数据和历史异常数据均包括文本时间序列数据和数值时间序列数据；S2、将历史正常数据与对应的地质数据相匹配，并按照预设比例分割为训练集和验证集；S3、将训练集输入基于LSTM和VAE的模型中进行训练，得到训练后的模型；S4、将历史异常数据与其前后预定时间段的历史正常数据一起输入模型中进行测试，若经过模型输出的数据与原始数据之间的差值超过阈值，则认定为异常数据；S5、模型准确率达到预设标准后，将模型放入数据收集终端中；S6、对于后续接收的数据，输入模型进行测试，记录异常数据的位置与数值，输出至前端；S7、记录异常数据的位置与数值后，将异常数据删除，并采用平均值法进行数据补全，将补全后的健康数据与对应的地质数据返回数据库中，对模型进行迭代更新训练。2.根据权利要求1所述的异常数据检测方法，其特征在于，步骤S1中，对文本时间序列数据进行预处理的步骤包括：采用正则表达式方法去除文本时间序列数据中的停用词；将未采集到数据的时间列填充为0；提取文本时间序列数据中所有字，采用One
‑
hot编码的方式进行编码，即使用N个行列长度为1
×
N的一维矩阵将字进行矩阵化，其中N为字的种类数；每个字的矩阵中只有一列为1，其他列均为0，且不同字为1的位置不重复；使用BERT模型生成相应的词向量。3.根据权利要求1所述的异常数据检测方法，其特征在于，步骤S1中，对数值时间序列数据进行预处理的步骤包括：提取设备运行状态，若非运行状态则直接将数据输入，否则删除反应运行状态的向量后对缺失值q
i
使用平均值法补全，公式如下：对数值时间序列数据采用如下公式进行归一化处理：其中X
′
为归一化结果，X为原始时间序列，X
max
和X
min
分别为原始时间序列的最大值和最小值；采用滑动窗口法扩增数据集，即设定窗口大小，每次提取固定长度的数据集作为训练样本，设原始时间序列为X＝{x0，x1…
x
n
}，n为时间序列长度，窗口大小为Window_Size，使用滑动窗口法后扩增为：X
k
＝{[x0，x1…
x
Window_Size
]，[x1，x2…
x
Window_Size+1
]
…
[x
n
‑
Window_Size
，x
n
‑
Window_Size+1
…
x
n
]}。4.根据权利要求1所述的异常数据检测方法，其特征在于，步骤S1中，对地质数据进行预处理的步骤包括：
对缺失数据采用与数值时间序列数据相同的方法进行补全；与输入的文本时间序列数据或数值时间序列数据进行匹配。5.根据权利要求1所述的异常数据检测方法，其特征在于，步骤S2中，将历史正常数据与对应的地质数据相匹配后，按照8∶2的比例分割为训练集和验证集。6.根据权利要求1所述的异常数据检测方法，其特征在于，步骤S3中，所述模型的输入层接收两项输入，一方面接收作为主数据的文本时间序列数据或数值时间序列数据进入LSTM层提取特征，一方面接收作为辅数据的地质数据，并与提取特征后的文本时间序列数据或数值时间序列数据进行合并，合并后再经过一层LSTM层将主数据与辅数据特征融合，之后经过全连接层铺平，进入编码器中。7.根据权利要求6所述的异常数据检测方法，其特征在于，所述模型中的编码器和解码器采用VAE模型的处理方式，根据输入数据X＝{x1，x2，
……
x
n
}拟合输入分布构建隐变量z，并从隐变量z生成目标数据X
′
＝{x
′1，x
′2，
……
x
′
n
}，使得X
′
尽可能接近X；在编码器和解码器中，编码器为隐变量z近似推断过程，可设为P(z|x)...

【专利技术属性】
技术研发人员：宁焕生，高大智，毛凌锋，王洪泊，李荣洋，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：