一种水准测量数据实时处理方法技术

本发明专利技术公开了一种水准测量数据实时处理方法，包括对原始数据的获取，获取后的数据通过处理器写入，通过存储器进行存储，对获取后的数据进行自动计算，获取的数据进行处理，按照时间节点进行数据的筛选，设置检索模块，对数据进行检索，检索后的数据进行加工、变换和传输，通过录入的检测高程对比，进行数据的实时分析，通过分布式计算架构对获取的数据进行转换，对转换后的数据进行统计分析，对采集的水准数据进行正确性的预警。本发明专利技术设置水准测量数据实时预警，可以很好的对数据进行预警，统计与分析利用分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，在进行统计和分析时，可以更加的准确，具有很好的逻辑性。

【技术实现步骤摘要】
一种水准测量数据实时处理方法
本专利技术涉及数据处理领域，特别涉及一种水准测量数据实时处理方法。
技术介绍
水准测量是利用一条水平视线，并借助水准尺，来测定地面两点间的高差，这样就可由已知点的高程推算出未知点的高程，通常由水准原点或任一已知高程点出发，沿选定的水准路线逐站测定各点的高程。由于不同高程的水准面不平行，沿不同路线测得的两点间高差将有差异，所以在整理国家水准测量成果时，须按所采用的正常高系统加以必要的改正，以求得正确的高程，在进行数据处理时，非常的不及时，处理的数据不准确，在进行数据处理时也无法很好的进行监控和预警。
技术实现思路
本专利技术的目的在于提供一种水准测量数据实时处理方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种水准测量数据实时处理方法，包括以下步骤：S1：对原始数据的获取，获取后的数据通过处理器写入，通过存储器进行存储；S2：对获取后的数据进行自动计算，获取的数据进行处理，按照时间节点进行数据的筛选，设置检索模块，对数据进行检索，检索后的数据进行加工、变换和传输；S3：通过录入的检测高程对比，进行数据的实时分析，通过分布式计算架构对获取的数据进行转换，对转换后的数据进行统计分析；S4：对采集的水准数据进行正确性的预警，通过聚类的K-Means、用于统计学习的SVM和用于分类的NaiveBayes进行数据分析，使用的工具有HadoopMahout，用于对数据的预测。优选的，所述处理器与存储器耦合，所述存储器耦合有加速器，处理器用于对加速器的控制。优选的，所述数据的采集和获取是利用数据库MySQL和Oracle存储数据，且Redis和MongoDB的NoSQL数据库用于数据的采集。优选的，所述统计与分析利用分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，在进行实时分析时采用EMC的GreenPlum、Oracle的Exadata，以及基MySQL的列式存储Infobright。优选的，对数据进行离中趋势分析，离中趋势分析通过全距、四分差、平均差、方差、标准差统计指标来研究水准测量的数据的离中趋势。优选的，水准测量数据要服从或近似服从正态分布，进行数据的使用时进行正态性检验，通过动差法进行数据的正态性检验。优选的，设置水准测量数据实时预警，通过对水准测量数据的横向纵向的比较、关联数据分析、特定比例验证和设定阈值进行例外标注进行预警，设置错误数据报警和性能数据报警，性能数据报警包括水准测量数据异常报警和错误逻辑数据报警。优选的，通过卷积神经网络对数据进行深度学习，从输入的水准测量数据中提取高阶特征，卷积神经网络中的卷积层和池化层能够响应输入特征的平移不变性，能够识别位于空间不同位置的相近特征。优选的，卷积层的功能是对输入数据进行特征提取，内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量，对水准测量数据进行特征提取，卷积核在工作时，输入特征，对输入特征做矩阵元素乘法求和并叠加偏差量：式中b为偏差量，Zl和Zl+1表示第1+1层的卷积输入和输出，Ll+1为Zl+1的尺寸，z(i,j)对应特征图的像素，K为特征图的通道数，f、s0和P是卷积参数层。本专利技术的技术效果和优点：设置水准测量数据实时预警，通过对水准测量数据的横向纵向的比较、关联数据分析、特定比例验证和设定阈值进行例外标注进行预警，可以很好的对数据进行预警，统计与分析利用分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，在进行实时分析时采用EMC的GreenPlum、Oracle的Exadata，以及基MySQL的列式存储Infobright，在进行统计和分析时，可以更加的准确，具有很好的逻辑性，提高实用性。附图说明图1为本专利技术的流程结构示意图；图2为本专利技术的模块结构示意图；图3为本专利技术的固定壳处的结构示意图。图中：1、固定壳；2、防护板；3、倒角；4、处理器；5、储存器；6、加速器。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供了如图1-3所示的一种水准测量数据实时处理方法，包括对原始数据的获取，获取后的数据通过处理器4写入，通过存储器5进行存储，对获取后的数据进行自动计算，获取的数据进行处理，按照时间节点进行数据的筛选，设置检索模块，对数据进行检索，检索后的数据进行加工、变换和传输，通过录入的检测高程对比，进行数据的实时分析，通过分布式计算架构对获取的数据进行转换，对转换后的数据进行统计分析，对采集的水准数据进行正确性的预警，通过聚类的K-Means、用于统计学习的SVM和用于分类的NaiveBayes进行数据分析，使用的工具有HadoopMahout，用于对数据的预测，所述处理器4与存储器5耦合，所述存储器5耦合有加速器6，处理器4用于对加速器6的控制。所述数据的采集和获取是利用数据库MySQL和Oracle存储数据，且Redis和MongoDB的NoSQL数据库用于数据的采集。所述统计与分析利用分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，在进行实时分析时采用EMC的GreenPlum、Oracle的Exadata，以及基MySQL的列式存储Infobright。对数据进行离中趋势分析，离中趋势分析通过全距、四分差、平均差、方差、标准差统计指标来研究水准测量的数据的离中趋势。水准测量数据要服从或近似服从正态分布，进行数据的使用时进行正态性检验，通过动差法进行数据的正态性检验。设置水准测量数据实时预警，通过对水准测量数据的横向纵向的比较、关联数据分析、特定比例验证和设定阈值进行例外标注进行预警，设置错误数据报警和性能数据报警，性能数据报警包括水准测量数据异常报警和错误逻辑数据报警。通过卷积神经网络对数据进行深度学习，从输入的水准测量数据中提取高阶特征，卷积神经网络中的卷积层和池化层能够响应输入特征的平移不变性，能够识别位于空间不同位置的相近特征。卷积层的功能是对输入数据进行特征提取，内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量，对水准测量数据进行特征提取，卷积核在工作时，输入特征，对输入特征做矩阵元素乘法求和并叠加偏差量：式中b为偏差量，Zl和Zl+1表示第1+1层的卷积输入和输出，Ll+1为Zl+1的尺寸，z(i,j)对应特征图的像素，K为特征图的通道数，f、s0和P是卷积参数层；如图3所示，在进行使用时，可以将测量设备可以放置在固定壳1的内部，设有的防护板2可以对内部的元件进行保护，设本文档来自技高网...

【技术保护点】
1.一种水准测量数据实时处理方法，包括以下步骤：/nS1：对原始数据的获取，获取后的数据通过处理器写入，通过存储器进行存储；/nS2：对获取后的数据进行自动计算，获取的数据进行处理，按照时间节点进行数据的筛选，设置检索模块，对数据进行检索，检索后的数据进行加工、变换和传输；/nS3：通过录入的检测高程对比，进行数据的实时分析，通过分布式计算架构对获取的数据进行转换，对转换后的数据进行统计分析；/nS4：对采集的水准数据进行正确性的预警，通过聚类的K-Means、用于统计学习的SVM和用于分类的Naive Bayes进行数据分析，使用的工具有HadoopMahout，用于对数据的预测。/n

【技术特征摘要】
1.一种水准测量数据实时处理方法，包括以下步骤：
S1：对原始数据的获取，获取后的数据通过处理器写入，通过存储器进行存储；
S2：对获取后的数据进行自动计算，获取的数据进行处理，按照时间节点进行数据的筛选，设置检索模块，对数据进行检索，检索后的数据进行加工、变换和传输；
S3：通过录入的检测高程对比，进行数据的实时分析，通过分布式计算架构对获取的数据进行转换，对转换后的数据进行统计分析；
S4：对采集的水准数据进行正确性的预警，通过聚类的K-Means、用于统计学习的SVM和用于分类的NaiveBayes进行数据分析，使用的工具有HadoopMahout，用于对数据的预测。


2.根据权利要求1所述的一种水准测量数据实时处理方法，其特征在于：所述处理器与存储器耦合，所述存储器耦合有加速器，处理器用于对加速器的控制。


3.根据权利要求2所述的一种水准测量数据实时处理方法，其特征在于：所述数据的采集和获取是利用数据库MySQL和Oracle存储数据，且Redis和MongoDB的NoSQL数据库用于数据的采集。


4.根据权利要求3所述的一种水准测量数据实时处理方法，其特征在于：所述统计与分析利用分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，在进行实时分析时采用EMC的GreenPlum、Oracle的Exadata，以及基MySQL的列式存储Infobright。


5.根据权利要求4所述的一种水准测量数据实时处理方法，其特征在于：对数据进行离...

【专利技术属性】
技术研发人员：程宝银，徐益峰，周醉，董召辉，王明辉，张蒙，
申请(专利权)人：苏州市测绘院有限责任公司，
类型：发明
国别省市：江苏;32