一种基于Hadoop的钢结构无损云检测系统技术方案

本发明专利技术公开了一种基于Hadoop的钢结构无损云检测系统，包括实时检测模块、检查记录模块、主站服务器、关系数据服务器、管理服务器、在线调度模块及Hadoop平台，所述在线调度模块分别与主站服务器、Hadoop平台及管理服务器相互连接，所述主站服务器分别与关系数据服务器及Hadoop平台的输入端连接，所述Hadoop平台与管理服务器的输入端连接。

【技术实现步骤摘要】
一种基于Hadoop的钢结构无损云检测系统
本专利技术涉及云平台系统领域，具体涉及一种基于Hadoop的钢结构无损云检测系统。
技术介绍
近年来，受自然因素和人为因素的影响，我国大型钢结构坍塌事故时有发生，这些事故造成了一定数量的人员伤亡和巨大的经济损失，钢结构建筑的安全问题受到社会的广泛关注。因此，应该采取良好有效的检测手段，以便及时地为其提供保养、维护，以保证钢结构健康安全，延长使用年限。利用先进的传感器检测技术、网络通信技术及计算机技术，虽可实时检测信息的变化，却并不能做到方便快捷的进行检测并迅速得到结果，而且其数据存储方式也均采用关系型数据库，伴随着数据量的不断增加，存储、计算效率会明显下降，海量数据的分析处理会更加困难。除此之外，工作人员对钢结构建筑的检查工作，仍采用传统的笔纸记录，不利于检测信息的储存和管理。Hadoop是并行技术、分布式技术和网格计算技术发展的产物，是一种为适应大规模数据计算和存储而发展起来的模型架构。Hadoop可在大量廉价硬件设备集群中运行程序，为各应用程序提供可靠稳定的接口来构建高扩展性和高可靠性的分布式系统。因此Hadoop运用在钢结构无损检测中能大大提高检测效率，并具有成本低廉、可靠性高、容错性高、扩展性强、可移植性强等优点。
技术实现思路
为了克服现有技术中钢结构无损检测方式存在的海量数据的存储效率和计算效率低下的缺陷，本专利技术提供一种基于Hadoop的钢结构无损云检测系统。本专利技术采用如下技术方案：一种基于Hadoop的钢结构无损云检测系统，包括实时检测模块、检查记录模块、主站服务器、关系数据服务器、管理服务器、在线调度模块及Hadoop平台；所述实时检测模块，连接主站服务器，用于检测并处理钢结构实时缺陷数据得到第一数据包，并将该第一数据包发送至主站服务器；所述检查记录模块，连接主站服务器，用于录入并处理人工检查数据得到钢结构健康数据构成第二数据包，并将该第二数据包发送至主站服务器；所述主站服务器，连接Hadoop平台和关系数据服务器，用于接收并解析第一数据包及第二数据包，得到第一解析结果及第二解析结果；所述关系数据服务器包括关系型数据库及非关系型数据库，用于将第一解析结果写入非关系型数据库，用于将第二解析结果写入关系型数据库；所述Hadoop平台，连接管理服务器，用于接收主站服务器的第一及第二解析结果和进行运算的分块作业进行计算；在线调度模块，与主站服务器、Hadoop平台及管理服务器相互连接，用于实时接收主站服务器、Hadoop平台及管理服务器的数据，根据数据对钢结构健康状况进行查询，并将反馈结果展示给工作人员进行处理；所述管理服务器，用于实时管理Hadoop平台，并将平台发送的数据信息，发送给在线调度模块，对该数据查询请求进行管理和调度得到各个作业，将各个作业的反馈结果发送给在线调度模块。所述检查记录模块包括：人工修正单元：根据工作人员对钢结构损坏情况的原始数据进行微调、修正，以及模式设置；检查记录单元：用于根据三种模式记录工作人员对钢结构损坏情况的检查记录；记录上传单元：用于通过网络或接口将现场设备中的记录及修正记录上传至主站服务器。所述三种模式包括日常检测、经常检测及定期检测。所述在线调度模块包括：数据查阅模块，用于发送第一数据查询请求至管理服务器得到第一反馈结果，并使用第一反馈结果更新钢结构实时数据；图表展示模块，用于发送第二数据查询请求至管理服务器得到第二反馈结果，通过图表引擎将第二反馈结果和历史反馈结果绘制成图表；数据分析模块，用于发送第三数据查询请求至管理服务器得到第三反馈结果，根据预定对比项分析第三反馈结果并通过图表显示分析结果。所述实时检测模块包括超声传感器及涡流传感器；所述实时数据包括钢结构的应变、裂纹、钢结构的涂层厚度及表面温度。Hadoop平台为服务器集群，包括MapReduce框架、HBase数据库和HDFS文件系统，所述HDFS文件系统位于底部，存储HBase数据库所有存储节点上的数据，最上层为MapReduce框架，由Jobtrakers和Tasktrackers构成。所述数据解析模块根据UDP协议进行解析。本专利技术的有益效果：使用平台的数据库和框架克服了传统钢结构检测系统随着成千上万的传感器所采集数据的不断增加而引起的存储效率、计算效率快速下降的问题，实现了对海量数据的分布式存储和并行计算，现场设备的在线检测软件工作人员可以随时随地了解实时监检测到的钢结构所处环境和钢结构自身信息等数据并实现反馈，人工检查系统实现了工作人员的无纸化作业，提高了工作效率，使得巡检数据便于管理和监测。附图说明图1是本专利技术的结构示意图；图2是本专利技术的Hadoop平台的结构示意图；图3是本专利技术数据查阅模块的查询方法流程示意图。具体实施方式下面结合实施例及附图，对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。实施例如图1所示，一种基于Hadoop的钢结构无损云检测系统，包括实时检测模块、检查记录模块、主站服务器、关系数据服务器、管理服务器、在线调度模块及Hadoop平台；如图2所示，Hadoop平台为服务器集群，包括MapReduce框架、HBase数据库和HDFS文件系统，Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem，HDFS)。HDFS有高容错性，并且可以部署在低廉的硬件上；它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了Posix的要求，可以以流的形式访问文件系统中的数据。Hadoop框架最核心的设计是HDFS和MapReduce。HDFS为海量数据提供了存储，MapReduce则为海量的数据提供了计算。Hadoop由许多元素构成，其最底部是HDFS文件系统，HDFS文件系统存储Hadoop集群中所有存储节点上的文件。HDFS的上层是MapReduce引擎，该引擎由Jobtrakers和Tasktrackers组成。所述实时检测模块，连接主站服务器，用于检测并处理钢结构实时缺陷数据得到第一数据包，并将该第一数据包发送至主站服务器；所述实时检测模块，连接主站服务器，用于检测并处理钢结构实时缺陷数据得到第一数据包，并将该第一数据包发送至主站服务器，缺陷数据包括裂纹及钢结构的应变等缺陷数据。所述检查记录模块，连接主站服务器，用于录入并处理人工检查数据得到钢结构健康数据构成第二数据包，并将该第二数据包发送至主站服务器；所述钢结构健康数据包括钢结构整体或各部位的损坏异常情况，例如腐蚀及变形等数据。所述主站服务器，连接Hadoop平台和关系数据服务器，用于接收并解析第一数据包及第二数据包，得到第一解析结果及第二解析结果；所述关系数据服务器包括关系型数据库及非关系型数据库，用于将第一解析结果写入HBase非关系型数据库，用于将第二解析结果写入MySQL关系型数据库。所述在线调度模块，与主站服务器、Hadoop平台及管理服务器相互连接，用于实时接收主站服务器、Hadoop平台及管理服务器的数据，根据数据对钢结构健康状况进行查询，并将反馈结果展示给工作人员进行处理。所述管理服务器，用于实时管理Hadoop平本文档来自技高网...

【技术保护点】
1.一种基于Hadoop的钢结构无损云检测系统，其特征在于，包括实时检测模块、检查记录模块、主站服务器、关系数据服务器、管理服务器、在线调度模块及Hadoop平台；所述实时检测模块，连接主站服务器，用于检测并处理钢结构实时缺陷数据得到第一数据包，并将该第一数据包发送至主站服务器；所述检查记录模块，连接主站服务器，用于录入并处理人工检查数据得到钢结构健康数据构成第二数据包，并将该第二数据包发送至主站服务器；所述主站服务器，连接Hadoop平台和关系数据服务器，用于接收并解析第一数据包及第二数据包，得到第一解析结果及第二解析结果；所述关系数据服务器包括关系型数据库及非关系型数据库，用于将第一解析结果写入非关系型数据库，用于将第二解析结果写入关系型数据库；所述Hadoop平台，连接管理服务器，用于接收主站服务器的第一及第二解析结果和进行运算的分块作业进行计算；在线调度模块，与主站服务器、Hadoop平台及管理服务器相互连接，用于实时接收主站服务器、Hadoop平台及管理服务器的数据，根据数据对钢结构健康状况进行查询，并将反馈结果展示给工作人员进行处理；所述管理服务器，用于实时管理Hadoop平台，并将平台发送的数据信息，发送给在线调度模块，对该数据查询请求进行管理和调度得到各个作业，将各个作业的反馈结果发送给在线调度模块。...

【技术特征摘要】
1.一种基于Hadoop的钢结构无损云检测系统，其特征在于，包括实时检测模块、检查记录模块、主站服务器、关系数据服务器、管理服务器、在线调度模块及Hadoop平台；所述实时检测模块，连接主站服务器，用于检测并处理钢结构实时缺陷数据得到第一数据包，并将该第一数据包发送至主站服务器；所述检查记录模块，连接主站服务器，用于录入并处理人工检查数据得到钢结构健康数据构成第二数据包，并将该第二数据包发送至主站服务器；所述主站服务器，连接Hadoop平台和关系数据服务器，用于接收并解析第一数据包及第二数据包，得到第一解析结果及第二解析结果；所述关系数据服务器包括关系型数据库及非关系型数据库，用于将第一解析结果写入非关系型数据库，用于将第二解析结果写入关系型数据库；所述Hadoop平台，连接管理服务器，用于接收主站服务器的第一及第二解析结果和进行运算的分块作业进行计算；在线调度模块，与主站服务器、Hadoop平台及管理服务器相互连接，用于实时接收主站服务器、Hadoop平台及管理服务器的数据，根据数据对钢结构健康状况进行查询，并将反馈结果展示给工作人员进行处理；所述管理服务器，用于实时管理Hadoop平台，并将平台发送的数据信息，发送给在线调度模块，对该数据查询请求进行管理和调度得到各个作业，将各个作业的反馈结果发送给在线调度模块。2.根据权利要求1所述的钢结构无损云检测系统，其特征在于，所述检查记录模块包括：人工修正单元：根据工作人员对钢结构损坏情况的原始数据进行微调...

【专利技术属性】
技术研发人员：洪晓斌，余蓉，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44