一种大坝变形监测连续性缺失数据补全方法技术

本发明专利技术公开了一种大坝变形监测连续性缺失数据补全方法，该方法解决大坝变形监测数据中连续性缺失补全问题。首先，对变形监测数据中连续性缺失进行预处理；其次，分别从全局空间、全局时间、局部空间、局部时间以及语义角度，计算变形监测测点间时空相似性以及功能相似性，对变形监测数据中缺失数据进行全局和局部的空间、时间插值以及语义插值；最后，构造深度神经网络模型，将上述变形监测缺失数据补全初步结果作为输入，利用深度神经网络表示能力，实现非线性融合，完成大坝变形监测中连续性缺失数据补全。

【技术实现步骤摘要】
一种大坝变形监测连续性缺失数据补全方法
本专利技术涉及一种面向连续性数据缺失补全方法，具体是一种基于多视图深度融合的大坝变形监测缺失数据补全方法，通过深度神经网络捕获复杂非线性时空关系，完成大坝变形监测连续性缺失数据补全，属于数据挖掘

技术介绍
大量传感器部署混凝土大坝中，它们相互合作持续地监测大坝变形的实时状态。传感器产生的数据是具有时空特征，但是由于其自身硬件、通信错误和严重无线干扰等影响因素，造成原始传感器数据产生大量缺失，在极端情况下，产生连续性数据缺失。这些数据缺失不但影响实时监测，而且不利于进一步研究分析和决策。因此，针对连续性缺失数据进行补全十分重要。有关数据缺失补全的研究通过单视图进行补全已经有所进展，例如基于K最近邻的局部空间插值、克里金(Kriging)插值法和基于主成分分析的多通道奇异谱分析。但是，这些方法不能很好地捕获数据当中时空关系，插值补全质量并不高。随着稀疏表示的快速发展，矩阵补全技术被广泛应用在因不稳定无线传输造成的随机数据缺失中。不同于上述方法，矩阵补全利用了数据当中低秩特征，很好地通过时空关系完成随机数据缺失补全。但是，对于整行或者整列的连续性数据缺失，利用现有的方法进行补全非常困难，其中最主要的原因是无法为其找到历史相关数据，缺少稳定连续的输入数据。当出现连续性数据缺失，现有的矩阵补全技术不起作用。现有方法针对无稳定的历史输入，通过全局初始化解决这一困难。例如基于多视图非负矩阵分解、基于协同过滤的数据补全和基于多视图融合的缺失数据补全，这些研究工作从单视图转向多视图融合学习。但是由于采用线性融合完成缺失数据补全，效果并不明显。解决连续性缺失补全的另一挑战是捕获数据源中复杂非线性时空关系。针对现有工作中多视图中线性融合将引起信息冗余，以及无法很好捕获数据中复杂非线性时空关系，本专利技术公开利用深度神经网络技术，同时融合时空和语义等视图，解决大坝变形监测连续性缺失数据补全问题，完成了大坝变形监测连续性缺失数据补全，获得更好准确性以及普适性。
技术实现思路
专利技术目的：针对大坝变形监测连续性缺失数据缺失稳定的历史输入和其蕴含的复杂非线性时空关系，本专利技术公开一种大坝变形监测连续性缺失补全方法，该方法通过跨时空视图以及语义视图中的互补异构信息，利用深度神经网络实现非线性融合，完成大坝变形监测连续性缺失数据补全。技术方案：一种大坝变形监测连续性缺失数据补全方法，首先对本专利技术的技术名称进行如下定义：定义1测点集合：部署的每一个传感器作为一个测点，所有的变形监测测点的集合构成测点集合，S＝{S1,…,Si,…,Sm}。定义2时间戳集合：每一时刻各变形监测测点将产生数据，将所有记录的时刻组成的集合构成时间戳集合，T＝{t1,…,ti,…,tn}。定义3监测矩阵：由大坝变形监测测点集合和时间戳集合共同组成一个变形监测数据矩阵(MonitoringMatrix)，形式化定义MMS×T，其每一个实体元素mmi,t代表测点i在时间戳t的变形监测数据，本专利技术中测点同大坝变形监测测点为同一含义。定义4连续性缺失：大坝变形监测中连续性缺失分为时间连续性缺失和空间连续性缺失。其中时间连续性缺失是指变形监测测点在特定的滑动窗口下，单个测点在这个窗口全部丢失。空间连续性缺失是指在同一个时间戳，所有的大坝变形监测测点发生数据丢失。所述方法通过神经网络实现非线性融合，减少冗余信息，完成大坝变形监测连续性缺失数据补全，具体包括以下七个步骤：(1)利用反转距离加权插值(InverseDistanceWeighted,IDW)和双向简单指数平滑插值(SimpleExponentialSmoothing,SES)对大坝变形监测数据连续性缺失预处理；(2)从全局空间角度，利用反转距离加权插值方法，计算变形监测测点间空间相似性，对缺失数据进行全局空间插值，得到变形监测缺失数据补全初步结果MM_gs；(3)从全局时间角度，利用双向简单指数平滑插值方法，计算变形监测测点间的时间相似性，对缺失数据进行全局时间插值，得到变形监测缺失数据补全初步结果MM_gt；(4)从局部空间角度，利用用户协同过滤(UserCollaborativeFiltering,UCF)方法，计算变形监测测点间局部空间相似性，对缺失数据进行局部空间插值，得到变形监测缺失数据补全初步结果MM_ls；(5)从局部时间角度，利用基于测点-时间二部图的能量扩散协同过滤(MassDiffusionCollaborativeFiltering,MD-CF)方法，对变形监测缺失数据进行局部时间插值，得到变形监测缺失数据补全初步结果MM_lt；(6)从语义角度，利用文本特征结构嵌套(StructuralEmbedding,SE)方法，计算变形监测测点间功能相似性，对缺失数据进行语义插值，得到变形监测缺失数据补全初步结果MM_sem；(7)构造人工神经网络模型，将步骤(2)-(6)的缺失数据补全初步结果作为输入，利用深度神经网络进行训练，实现非线性融合，完成大坝变形监测连续性缺失数据补全。所述步骤(1)大坝变形监测数据连续性缺失预处理中，针对连续性缺失带来稀疏性问题，进行对原始大坝变形监测连续性缺失数据预估计，具体主要分为三个流程，分别是IDW插值补全连续性缺失数据、SES插值补全连续性缺失数据和线性融合产生补全初始化值。具体如下：(1.1)全局空间视图插值补全连续性缺失数据：采用方法为反转距离加权插值。计算变形监测缺失数据所在测点与所有的大坝候选监测测点的距离，赋予各自相邻候选监测测点权值，利用公式补全连续性缺失数据。其中，mmi,t为测点i在时间戳t的监测数据，di是各候选测点距离目标测点的空间距离，α为衰减因子，di-α为赋予测点i的权值，MMgs作为全局空间补全初步结果，MMgs代表连续性缺失中每一个补全的变形监测数据。(1.2)全局时间视图补全连续性缺失数据：采用方法为双向简单指数平滑插值。本专利技术中，不仅考虑目标时间戳的历史数据，同时考虑目标时间戳的未来数据，从双向进行指数平滑加权，完成目标时间戳缺失的数据补全。给定一个目标时间戳t，针对mmi,t该监测数据，对测点i的候选时间戳tx处的监测数据分配各自的权值为进行指数加权，利用公式得到补全结果，其中，在公式中|tx-t|是候选时间戳tx和目标时间戳t的时间间隔，β为平滑因子，tx,1≤x≤n代表所有时间戳，MMgt作为全局时间补全初步结果，代表连续性缺失中每一个补全的变形监测数据。(1.3)线性融合全局时空视图补全结果：将全局空间视图补全结果和全局时间视图补全结果采用线性融合，取两者的均值作为变形监测每一个连续性缺失初始值。所述步骤(2)利用全局空间相关性进行对大坝变形监测连续性缺失预处理后的数据全局空间视图补全，具体步骤如下：(2.1)计算各候选变形监测测点i距离目标测点的空间距离di，利用距离赋予各自候选变形监测测点相应的权值di-α。(2.2)通过赋予的权值进行估计缺失值，得到的结果作为全局空间视图的补全初步结果，其计算方式为MMgs作为进行全局时空融合预处理后的大坝变形监测数据中每一个连续性缺失补全的全局空间估计结果。所述步骤(3)利用全局时间相关性进行对大坝变形监测连续性缺失预处理后的数据本文档来自技高网...

【技术保护点】
1.一种大坝变形监测连续性缺失数据补全方法，其特征在于，包括如下步骤：(1)利用反转距离加权插值和双向简单指数平滑插值对大坝变形监测数据连续性缺失预处理；(2)从全局空间角度，利用反转距离加权插值方法，计算大坝变形监测测点间空间相似性，对缺失数据进行全局空间插值，得到大坝变形监测缺失数据补全初步结果MM_gs；(3)从全局时间角度，利用双向简单指数平滑插值方法，计算大坝变形监测测点间的时间相似性，对缺失数据进行全局时间插值，得到大坝变形监测缺失数据补全初步结果MM_gt；(4)从局部空间角度，利用用户协同过滤(User Collaborative Filtering,UCF)方法，计算变形监测测点间局部空间相似性，对缺失数据进行局部空间插值，得到大坝变形监测缺失数据补全初步结果MM_ls；(5)从局部时间角度，利用基于测点‑时间二部图的能量扩散协同过滤方法，对变形监测缺失数据进行局部时间插值，得到大坝变形监测缺失数据补全初步结果MM_lt；(6)从语义角度，利用文本特征结构嵌套(Structural Embedding,SE)方法，计算大坝变形监测测点间功能相似性，对缺失数据进行语义插值，得到大坝变形监测缺失数据补全初步结果MM_sem；(7)构造人工神经网络模型，将步骤(2)‑(6)的缺失数据补全初步结果作为输入，利用深度神经网络进行训练，实现非线性融合，完成大坝变形监测连续性缺失数据补全。...

【技术特征摘要】
1.一种大坝变形监测连续性缺失数据补全方法，其特征在于，包括如下步骤：(1)利用反转距离加权插值和双向简单指数平滑插值对大坝变形监测数据连续性缺失预处理；(2)从全局空间角度，利用反转距离加权插值方法，计算大坝变形监测测点间空间相似性，对缺失数据进行全局空间插值，得到大坝变形监测缺失数据补全初步结果MM_gs；(3)从全局时间角度，利用双向简单指数平滑插值方法，计算大坝变形监测测点间的时间相似性，对缺失数据进行全局时间插值，得到大坝变形监测缺失数据补全初步结果MM_gt；(4)从局部空间角度，利用用户协同过滤(UserCollaborativeFiltering,UCF)方法，计算变形监测测点间局部空间相似性，对缺失数据进行局部空间插值，得到大坝变形监测缺失数据补全初步结果MM_ls；(5)从局部时间角度，利用基于测点-时间二部图的能量扩散协同过滤方法，对变形监测缺失数据进行局部时间插值，得到大坝变形监测缺失数据补全初步结果MM_lt；(6)从语义角度，利用文本特征结构嵌套(StructuralEmbedding,SE)方法，计算大坝变形监测测点间功能相似性，对缺失数据进行语义插值，得到大坝变形监测缺失数据补全初步结果MM_sem；(7)构造人工神经网络模型，将步骤(2)-(6)的缺失数据补全初步结果作为输入，利用深度神经网络进行训练，实现非线性融合，完成大坝变形监测连续性缺失数据补全。2.如权利要求1所述的大坝变形监测连续性缺失数据补全方法，其特征在于，所述步骤(2)利用全局空间相关性进行对大坝变形监测连续性缺失数据在全局空间视图补全，具体步骤如下：(2.1)计算各候选变形监测测点i距离目标变形监测测点的空间距离di，利用距离赋予各自候选变形监测测点相应的权值di-α，其中候选变形监测测点为除目标变形监测测点之外的大坝变形监测测点；(2.2)通过赋予的权值进行估计缺失值，得到的结果作为全局空间视图的补全初步结果，其计算方式为MMgs作为全局空间补全初步结果。3.如权利要求1所述的大坝变形监测连续性缺失数据补全方法，其特征在于，所述步骤(3)利用全局时间相关性进行对大坝变形监测连续性缺失数据在全局时间视图补全，具体步骤如下：(3.1)依据双向简单指数平滑赋予测点i各自候选时间戳相应的权值，候选时间戳tx的权值为其中|tx-t|为候选变形监测数据与目标变形监测数据mmi,t的时间间隔；(3.2)通过赋予的权值进行估计缺失值，得到的结果作为全局时间视图的预估计值，计算方式为其中，MMgt作为全局时间补全初步结果，β为平滑因子，tx,1≤x≤n代表所有时间戳。4.如权利要求1所述的大坝变形监测连续性缺失数据补全方法，其特征在于，所述步骤(4)具体实施步骤如下：(4.1)通过变形监测测点在不同时间戳的数据，计算不同时间戳中相似性。考虑各个测点衡量尺度问题，采用滑动窗口ω，通过测点u的监测数据和测点v的监测数据计算两个测点数据修正的余弦相似性，其中和表示时间戳，表示测点u在产生的数据。余弦相似性计算方式为其中，sim(Su,Sv)为测点u和测点v的相似性，和表示两个测点数据的平均值，Iu和Iv分别表示测点u和测点v未缺失时间戳集合，Iuv是测点u和测点v在同一个时间戳都有数据的时间戳集合；mmu,t,mmv,t为监测矩阵MM中的实体数据，代表u测点和v测点在t时间戳的监测数据；(4.2)将用户相似性大小按照降序进行排序，选择前...

【专利技术属性】
技术研发人员：毛莺池，张建华，高建，陈豪，平萍，王龙宝，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32