基于支持向量机的地面沉降预测系统和方法技术方案

本发明专利技术公开了一种基于支持向量机的地面沉降预测系统和方法，主要用于解决配套系统无法应对盾构施工过程中对海量数据的分析需求。系统包括Hadoop大数据分析平台、数据收集模块、数据预处理模块、模型构建模块、沉降预测模块，预测方法中，对预处理的去噪提出了基于置信度区间估计和依达拉准则的聚类算法进行异常点检测；构建预测模型时，权重向量的迭代计算过程是用N个分区的平均值进行更新，此策略和随机梯度下降相结合，提升了训练速度。本发明专利技术具备海量数据的存储和分析能力以及高性能的冗余能力，数据分析具有实时性和高效性，用于盾构施工过程的地面沉降量预测，为工程管理人员和施工操作人员提供参考和调整依据。

Land subsidence prediction system and method based on support vector machine

The invention discloses a ground subsidence prediction system and method based on support vector machines, which is mainly used to solve the requirement that the supporting system can not cope with the mass data during the shield construction process. The system includes Hadoop data analysis platform, data collection module, data processing module, model, settlement prediction module, prediction method, the preprocessing denoising clustering algorithm is proposed to estimate the confidence interval and Yidala criterion based on abnormal point detection; build prediction model, iterative weight vector calculation process is the average values of N partition are updated, this strategy and stochastic gradient descent combination, enhance the training speed. The invention has the ability to store and analyze massive data redundancy and high performance ability, data analysis with real-time and high efficiency, is used to predict the ground settlement of shield tunnel construction, and provide a reference basis for the adjustment of project management personnel and operation personnel.

【技术实现步骤摘要】
基于支持向量机的地面沉降预测系统和方法
本专利技术属于工业大数据
，尤其涉及地铁盾构施工领域的地面沉降预测，具体是一种基于支持向量机的地面沉降预测系统和方法，可用于对盾构施工过程中地面沉降量的预测。
技术介绍
城市化建设是我国基础建设重要组成部分。近年来，随着经济的发展，我国城市化建设进程不断加快，城市地下空间开发和利用发展迅速，隧道工程项目大批量产生，以盾构施工工法为代表的地下工程已成为城市地下建设的主要方式。所谓的地面沉降预测是指，对以盾构法施工的地下空间工程为背景的施工过程中因地层移动而导致地面隆起或沉降程度的预测，施工过程中的地面沉降量是施工质量监测的重要指标。但是受施工环境和水文条件的限制，以及盾构机自身机构的复杂性，及时对盾构施工过程中的沉降量进行准确、智能的预测是目前亟需解决的难点。地下工程施工过程必然会造成地层的初始应力状态、岩土体的物理力学性能的改变，进而影响周围的环境。当地层移位和变形超过一定的限度时，就会危机周围邻近建筑物及其基础和地下管线的安全，引起一系列的岩土环境工程问题，如塌陷、涌水、涌砂现象，可能造成地表建筑物损坏，地面管线断裂等。由于盾构法施工主要针对地铁工程建设，工程穿过的地区多是城市繁华地段，对环境影响的要求较高，最大限度降低施工对周围土体的影响，减小施工对邻近建筑物及管线的影响，合理控制施工引起的地表沉降，及时准确、智能的预测地面沉降量具有重大的工程意义。现有的地面沉降预测都是在单机下用R或MATLAB等进行建模分析，数据分析效率慢，遇到数据量增大时时常会宕机，导致系统无法运行，从而影响工程质量和施工进度。在地铁施工过程中，需要利用机器运行数据、施工地质数据和施工环境数据对施工线路的地面沉降量做出预测，用于判断当前施工操作的合理性。传统地面沉降分析方式都是在单机、串行模式下训练模型，当面对海量数据时暴露出的速度慢、效率低以及容错性差等问题，直接影响地面沉降量的预测，并带来施工风险。
技术实现思路
针对
技术介绍
所阐述的问题和现有技术的不足，本专利技术提出一种具有海量数据存储、冗余能力和实时、高效的基于支持向量机的地面沉降预测系统和方法。本专利技术是一种基于支持向量机的地面沉降预测系统，其特征在于，包括Hadoop大数据分析平台、数据收集模块、数据预处理模块、模型构建模块、沉降预测模块，数据收集模块、数据预处理模块、模型构建模块、沉降预测模块均是基于Hadoop大数据分析平台进行运行，所述Hadoop大数据分析平台主要包括有HDFS分布式文件系统子模块，MapReduce计算框架子模块；数据存储模块是将采集的原数据分别存储到HDFS分布式文件系统子模块中；数据预处理模块和模型构建模块是依据MapReduce计算框架子模块的分析模式进行数据预处理和模型构建；沉降预测模块是将构建的预测模型进行与Hadoop平台兼容的接口封装，接口以API的形式提供应用链接，将预测结果输出。本专利技术还是一种基于支持向量机的地面沉降预测方法，在权利要求1-5所述的基于支持向量机的地面沉降预测系统上运行，其特征在于，实现地面沉降预测过程包括有如下步骤：(1)搭建Hadoop大数据平台：根据盾构施工分析业务需求确定Hadoop大数据平台规模，包括节点数目和节点间的拓扑结构，然后在各节点安装配套工作环境，包括linux系统安装、节点网络配置、SSH无密码验证配置、Java环境安装、Hadoop集群安装；安装完成后，通过主节点控制其他从节点的启动、运行和管理，主节点实现任务的提交和分发，从节点具体运行实施；(2)收集构建模型所需的数据：数据主要分为三类，盾构机的运行数据由部署在机器上的传感器获取，依次传入下位机，上位机，以及本地存储中心，最后存储到HDFS分布式文件系统子模块中，地质数据通过地质勘探报告获取，施工环境数据由现场施工人员采集获得；(3)对数据进行预处理：对模型的输入数据进行清洗处理、去噪处理、归一化处理和降维处理，填充数据中的缺失值，剔除异常记录，消除量纲差异，降低数据维度；(4)构建地面沉降预测模型：在Hadoop大数据分析平台的MapReduce计算框架下，利用支持向量机算法，以特征向量矩阵作为输入，沉降量作为输出训练地面沉降预测模型，训练完成，地面沉降预测模型构建完毕；(5)封装沉降模型接口：将训练好的地面沉降预测模型保存到HDFS分布式文件系统，并以API的形式提供地面沉降预测模型调用的接口。从以前的数据枯竭到现在的海量数据，传统的分析手段已经无法满足盾构施工的实际分析需求，客观上需要对各种机器学习或数据挖掘算法进行并行化设计和开发，本专利技术在大数据分析平台处理施工过程中产生的海量数据，挖掘隐含的信息，从而产生更加实用的工程价值。本专利技术与现有技术相比，具有以下优点：(1)目前盾构施工越来越广泛，施工过程中产生的数据呈指数级增长，单机以及配套的处理系统难以胜任日益增长的盾构施工分析需求。本专利技术采用主节点和多从节点结构的Hadoop大数据平台作为海量盾构施工数据存储和计算的基础，解决了单机情况下“高维海量数据”难以处理的问题。主节点负责分析任务的分发和协调，从节点负责具体任务的执行。Hadoop大数据平台的数据存储不但提高了存储能力，而且具有对海量数据的冗余能力，确保数据安全性。Hadoop大数据平台的MapReduce计算框架为构建快速、高效和实时的预测模型提供了基础，提高预测效率，避免单机情况下分析海量数据出现运行异常，如宕机等。同时，海量盾构施工数据为预测模型的准确性提供了基础，提高了预测的准确性，保障了施工顺利、安全进行。(2)数据预处理是数据建模分析的必要过程，但目前对盾构施工数据分析的预测方式不尽相同，本专利技术根据盾构施工的特点，提出了完整的针对海量盾构施工数据进行预处理的机制，通过清洗处理、去噪处理、归一化处理和降维处理，完成对盾构施工数据的预处理。其中去噪处理是对数据中的异常值进行剔除，而在机器学习或数据挖掘领域对异常点的评判并没有标准。本专利技术提出的基于置信度区间估计和依达拉准则的聚类算法进行异常点检测。利用聚类算法的无监督学习特点，用置信度区间估计和依拉达准则求出不同的数据区间进行对比，选择相对合适的评判区间对数据进行异常点剔除，完善目前异常点检测时人为自定义异常检测区间的检测方式，并且使用自学习的方式得到不同异常检测区间，具有自学习对比的优势，降低人为主观因素对剔除“噪声”数据的干扰。(3)本专利技术构建预测模型时，在常规并行化策略的基础上为进一步提升训练速度，提出了并行化局部优化的迭代计算模式，迭代过程中的权重向量是用N个分区的平均值进行更新，此策略和随机梯度下降相结合，避免权值向量陷入局部最优，也避免了一次性计算全部数据集而带来的较高的计算复杂度。(4)本专利技术在沉降预测模块中设计了封装函数接口，提高了技术的重用性和可移植性，可跨平台使用。附图说明图1是本专利技术的系统架构示意图；图2是本专利技术中盾构施工地面沉降预测技术方案图图3是本专利技术数据去噪处理流程图；图4是本专利技术中基于支持向量机构建预测模型的流程图；图5是本专利技术模型构建时权重向量并行化迭代的计算流程图；图6是本专利技术中预测模型验证时真实值与预测值的对比图；图7是本专利技术中预测模型验证时的误差变化图。具体实施方式下面结合本文档来自技高网...

【技术保护点】
一种基于支持向量机的地面沉降预测系统，其特征在于，包括Hadoop大数据分析平台、数据收集模块、数据预处理模块、模型构建模块、沉降预测模块，数据收集模块、数据预处理模块、模型构建模块、沉降预测模块均是基于Hadoop大数据分析平台进行运行，所述Hadoop大数据分析平台主要包括有HDFS分布式文件系统子模块、MapReduce计算框架子模块；数据存储模块是将采集的原数据分别存储到HDFS分布式文件系统子模块中；数据预处理模块和模型构建模块是依据MapReduce计算框架子模块的分析模式进行数据预处理和模型构建；沉降预测模块是将构建的预测模型进行与Hadoop平台兼容的接口封装，接口以API的形式提供应用链接，将预测结果输出。

【技术特征摘要】
1.一种基于支持向量机的地面沉降预测系统，其特征在于，包括Hadoop大数据分析平台、数据收集模块、数据预处理模块、模型构建模块、沉降预测模块，数据收集模块、数据预处理模块、模型构建模块、沉降预测模块均是基于Hadoop大数据分析平台进行运行，所述Hadoop大数据分析平台主要包括有HDFS分布式文件系统子模块、MapReduce计算框架子模块；数据存储模块是将采集的原数据分别存储到HDFS分布式文件系统子模块中；数据预处理模块和模型构建模块是依据MapReduce计算框架子模块的分析模式进行数据预处理和模型构建；沉降预测模块是将构建的预测模型进行与Hadoop平台兼容的接口封装，接口以API的形式提供应用链接，将预测结果输出。2.根据权利要求1所述的基于支持向量机的地面沉降预测系统，其特征在于，数据收集模块包括确定数据收集范围子模块和数据存储子模块，数据收集范围子模块是通过对盾构施工过程中的机理分析，确定特征变量，采集相应的机器运行数据、施工地质数据和施工环境数据；数据存储子模块是将已经采集的特征数据存储到Hadoop平台的分布式文件系统上。3.根据权利要求1所述的基于支持向量机的地面沉降预测系统，其特征在于，数据预处理模块包括清洗处理子模块、去噪处理子模块、归一化处理子模块和降维处理子模块；清洗处理子模块是检测并填充原数据中的空值；去噪处理子模块是对清洗处理子模块处理后数据中的异常点进行剔除；归一化处理子模块是将清洗处理子模块、去噪处理子模块处理后的数据映射到[0,1]区间内；降维处理子模块是将清洗处理子模块、去噪处理子模块、归一化处理子模块处理后的高维特征映射成低维特征。4.根据权利要求1所述的基于支持向量机的地面沉降预测系统，其特征在于，模型构建模块是基于数据收集模块的海量数据和Hadoop平台计算框架，利用批量并行化梯度下降算法对支持向量机的权值向量进行迭代求解，构建出地面沉降预测模型。5.根据权利要求1所述的基于支持向量机的地面沉降预测系统，其特征在于，所述的地面沉降预测模型是，其中x是输入变量，ω是权值向量，m是特征变量的个数，是截距值，权值向量ω是在支持向量机算法中用批量并行化梯度下降策略迭代计算获得。6.一种基于支持向量机的地面沉降预测方法，在权利要求1-5所述的基于支持向量机的地面沉降预测系统上运行，其特征在于，实现地面沉降预测过程包括有如下步骤：(1)搭建Hadoop大数据平台：根据盾构施工分析业务需求确定Hadoop大数据平台规模，包括确定节点数目和节点间的拓扑结构，然后在各节点安装配套工作环境，包括linux系统安装、节点网络配置、SSH无密码验证配置、Java环境安装、Hadoop集群安装，确定主节点与从节点，主节点只有一个；安装完成后，通过主节点控制其他从节点的启动、运行和管理，主节点实现任务的提交和分发，从节点具体运行实施；(2)收集构建模型所需的数据，数据主要分为三类，盾构机的运行数据由部署在机器上的传感器获取，依次传入下位机，上位机，以及本地存储中心，最后存储到HDFS分布式文件系统子模块中，地质数据通过地质勘探报告获...

【专利技术属性】
技术研发人员：孔宪光，常建涛，王佩，冯尓磊，刘尧，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61