一种数据采集和可视化监控智能系统技术方案

一种数据采集和可视化监控智能系统，主要包括：用于通过OPC实现不同底层设备和上层管理系统数据传输的数据采集子系统，用于数据上传、备份及恢复的功能数据处理子系统，可选的应用大数据技术的大数据处理子系统，用于用户服务的应用子系统。其中，所述数据采集子系统包括OPC客户端、服务端及底层告警模块等，具有传输速度快、支持大规模数据传输等特点；所述数据处理子系统包括数据上传、备份恢复等模块，有效保障数据的完整性和安全性；所述可选大数据处理层包括数据实时流处理、数据离线计算模块；所述应用子系统包括数据可视化展示、历史数据统计查询、智能告警监控模块以及权限管理等功能。

An intelligent system for data acquisition and visual monitoring

A data acquisition and visualization monitoring intelligent system, mainly includes: data acquisition subsystem for different devices and the management system of data transmission is realized by OPC, for data upload, backup and restore the function of data processing subsystem, optional application of big data technology of big data processing subsystem for application subsystem user service. Among them, the data acquisition subsystem including OPC client, the server and the underlying alarm module, has the characteristics of high transmission speed, support the massive data transmission; the data processing subsystem includes data upload, backup and restore module, integrity and security of the effective protection of data; the optional data processing layer comprises a large the real-time data stream processing, data off-line calculation module; the application subsystem including data visualization, data query, historical statistics of intelligent alarm monitoring module and authority management function.

【技术实现步骤摘要】
一种数据采集和可视化监控智能系统
本专利技术涉及一种数据采集方法和可视化监控智能系统。
技术介绍
工业信息化时代，各种智能监控技术不仅能提高企业信息化管理和生产的自动化水平，还能有效提升生产效率。原始的简单系统仅仅具备了数据采集或者是数据显示的功能，并且每个数据采集网关采集的数据量也是有限的，一旦数据量较大时，上层的数据处理的难度也随即增大。本专利技术设计出一种数据采集和可视化监控智能系统，能有效满足新一代智能监控系统和信息集成的功能要求，不仅能进行大规模的数据采集和数据处理，同时能够进行有效合理的数据展示。
技术实现思路
本专利技术目针对现有工业化智能系统的不足，提出并设计出一种数据采集和可视化监控智能系统，能有效满足新一代智能监控系统和信息集成的功能要求，不仅能进行大规模的数据采集和数据处理，同时还能进行数据可视化服务。一种数据采集和可视化监控智能系统，包括：用于采集工业生产各传感器的工作参数和运行状态的数据采集子系统，用于数据上传、备份及恢复功能的数据处理子系统，可选的应用大数据处理方法面向处理大规模数据的大数据处理子系统，用于用户服务的应用子系统；其中，数据处理子系统将数据采集子系统的数据提交给应用子系统存储分析和服务，如果所采集的数据规模较大，需要通过大数据处理子系统进行处理，再进行应用子系统存储和服务；其中，所述的数据采集子系统包括：OPC服务端模块，用于通过本地数据接口采集不同设备的工作参数，所述工作参数包括温度、压力、湿度和电压等工业现场参数，并根据所述的工作参数判断工作现场运行状态是否正常；OPC客户端模块，用于经由数据处理模块和上层管理系统进行数据采集，根据上层管理系统的控制指令对不同的OPC服务端口数据进行采集；数据处理模块，用于OPC客户端模块和上层管理系统的数据交换服务，如参数格式转换、数据包组合拆分、数据异常值现场处理判定等功能；底层告警模块，用于连接本地数据处理模块，进行本地参数异常的报警提示，提醒传输数据的正确性和安全性；所述的数据处理子系统包括：数据上传模块，用于将OPC采集经由初步处理的的参数数据上传给应用子系统进行分布式存储，接收应用子系统的上传指令；数据备份恢复模块，用于本地数据的保存、备份和恢复，控制上传数据过程中意外状态的恢复和数据安全性保障；所述的大数据处理子系统包括：数据实时流处理模块，用于面向工业大数据低时延、可扩展和容错性高要求的并行性处理，以实时或接近实时的处理大数据流，采用Spark和Storm技术实现；数据离线计算模块，用于针对工业大数据量大、复杂批量计算等特点采用Hdfs、MapReduce、Hive技术实现；所述的应用子系统包括：数据分布式存储模块，用于所上传数据的云化存储，进行后继的数据管理、挖掘等功能；数据展示模块，用于工业现场数据基于B/S模式的实时数据、历史数据、统计数据等的可视化展示；统计查询模块，用于根据不同数据模型进行统计分析后的结果查询和检索；权限管理模块，用于基于B/S模式用户的不同权限管理，包括数据的可访问、可修改，权限的可指派、可收回等；告警查询模块，用于现场数据告警次数、告警值、处理情况等的统计和查询管理。数据采集子系统中，OPC服务端通过OPC通讯协议和TCP通讯协议，通过本地数据接口连接到不同工厂的设备中，用于实时采集每个工厂中的不同设备的装置参数信息；OPC客户端将采集到的数据通过webservice通讯协议连接到数据处理模块，进行数据的预处理，一旦数据有异常和缺失，告警模块会做出相对应的告警信息，方便进行数据检测和恢复；数据处理子系统中，数据上传模块一方面连接到数据处理模块，一方面连接到应用子系统中的数据分布式存储模块；数据在往应用子系统上传前，会通过数据恢复和备份模块对数据进行有效的备份，一旦遇到数据丢失等现象，方便高层对数据再次请求时数据的及时恢复和完整性。大数据处理子系统，通过hadoop技术可以应对数据量大时的数据处理，通过HDFS和MapReduce为海量的数据提供离线计算；通过storm技术可以应对数据量大时的数据实时计算处理，保障应用子系统对数据的秒级响应和展示。所述的应用子系统能对数据进行有效的数据展示，实时数据可视化模块，能对当前某一段时间的设备指标进行可视化展示；历史统计查询模块，能对历史某一段时间的设备指标进行统计和展示；告警监控模块，能对出现告警信息的设备做出及时的监控提醒，保障系统的安全性；权限管理模块，能针对不同的管理人员设定不同的管理等级，实现不同等级不同操作功能的界面展示。应用子系统中的权限管理模块，针对不同工厂、不同层级人员的不同请求响应，设计出不同的权限管理界面，方便整个工厂对数据请求和设备监控的合理性和有效性，保障数据信息化管理的需求；应用子系统中的数据展示模块，对不同工厂的不同需求，方便对需要查询监控的设备进行数据查询和展示，也可以对某个区域的不同设备进行监控和数据查询；应用子系统中的统计查询模块，针对不同时段的数据请求需求，提供了查询人员对不同设备、不同历史时段的历史数据查询功能，能有效观测不同时间段的设备数据对比和区域分析功能；应用子系统中的告警查询模块，针对设备可能出现的参数超标等现象，通过告警模块对出现异常的设备做出及时的告示，方便管理人员做出合理的措施，防止不必要的损失。本专利技术的优点是：1)实现对各个工厂现场设备参数的统一数据采集和处理，基于OPC可以使本系统从底层开始就独立于制造商，满足平台独立、可伸缩性强、高可用等优点；2)充分考虑工业大数据特征，通过大数据处理子系统满足大数据的实时性、离线计算等需求；3)系统结构明晰，子系统功能明确，操作友好，实现对工业大数据采集和可视化监控的可定制化、灵活性和智能化。附图说明图1本专利技术的功能模块设计图。图2本专利技术的应用子系统权限管理界面。图3本专利技术的应用子系统统计查询界面。图4本专利技术的应用子系统告警查询界面。具体实施方式下面结合附图，对本专利技术的实施进行详细描述。如图1所示，本专利技术，即一种数据采集和可视化监控智能系统，包括：部署在数据采集子系统100的设备源1、OPC服务端2、OPC客户端3、数据处理模块4、告警模块5；部署在数据处理子系统200的数据上传模块6、数据备份恢复模块7；部署在应用子系统300的数据分布式存储8、告警查询模块9、数据展示模块10、权限模块11和统计查询模块12；以及部署在大数据处理子系统400的数据实时流处理13和数据离线处理14。OPC服务端2通过本地数据端口采集设备源1的数据信息，包括温度、气压、压强等。OPC客户端批量从OPC服务端中得到实时数据，整合后通过以太网传输给数据处理模块4。数据处理模块4对数据进行初步处理，检测到异常处理时通知告警模块5向用户告警，并将数据交给数据处理层200的数据上传模块6。告警模块5通过短信和邮件向指定用户发送告警信息。在数据处理子系统200中，数据上传模块6首先会将数据通过以太网发送给数据备份恢复模块7。数据备份恢复模块7会对数据进行本地和异地备份，并在数据丢失时对数据进行还原。然后，数据上传模块6将数据传输到应用子系统300的数据分布式存储8。在应用子系统300中，数据分布式存储8有两种选择方案，当数据量小，不需要进行大数据处理时，直接选用MySQL作为本文档来自技高网...

【技术保护点】
一种数据采集和可视化监控智能系统，其特征在于：所述的采集可视化监控系统包括：用于采集工业生产各传感器的工作参数和运行状态的数据采集子系统，用于数据上传、备份及恢复功能的数据处理子系统，可选的应用大数据处理方法面向处理大规模数据的大数据处理子系统，用于用户服务的应用子系统；其中，数据处理子系统将数据采集子系统的数据提交给应用子系统存储分析和服务，如果所采集的数据规模较大，需要通过大数据处理子系统进行处理，再进行应用子系统存储和服务，其中，所述的数据采集子系统包括：OPC服务端模块，用于通过本地数据接口采集不同设备的工作参数，所述工作参数包括温度、压力、湿度和电压等工业现场参数，并根据所述的工作参数判断工作现场运行状态是否正常；OPC客户端模块，用于经由数据处理模块和上层管理系统进行数据采集，根据上层管理系统的控制指令对不同的OPC服务端口数据进行采集；数据处理模块，用于OPC客户端模块和上层管理系统的数据交换服务，如参数格式转换、数据包组合拆分、数据异常值现场处理判定等功能；底层告警模块，用于连接本地数据处理模块，进行本地参数异常的报警提示，提醒传输数据的正确性和安全性；所述的数据处理子系统包括：数据上传模块，用于将OPC采集经由初步处理的的参数数据上传给应用子系统进行分布式存储，接收应用子系统的上传指令；数据备份恢复模块，用于本地数据的保存、备份和恢复，控制上传数据过程中意外状态的恢复和数据安全性保障；所述的大数据处理子系统包括：数据实时流处理模块，用于面向工业大数据低时延、可扩展和容错性高要求的并行性处理，以实时或接近实时的处理大数据流，采用Spark和Storm技术实现；数据离线计算模块，用于针对工业大数据量大、复杂批量计算等特点采用Hdfs、MapReduce、Hive技术实现；所述的应用子系统包括：数据分布式存储模块，用于所上传数据的云化存储，进行后继的数据管理、挖掘等功能；数据展示模块，用于工业现场数据基于B/S模式的实时数据、历史数据、统计数据等的可视化展示；统计查询模块，用于根据不同数据模型进行统计分析后的结果查询和检索；权限管理模块，用于基于B/S模式用户的不同权限管理，包括数据的可访问、可修改，权限的可指派、可收回等；告警查询模块，用于现场数据告警次数、告警值、处理情况等的统计和查询管理。...

【技术特征摘要】
1.一种数据采集和可视化监控智能系统，其特征在于：所述的采集可视化监控系统包括：用于采集工业生产各传感器的工作参数和运行状态的数据采集子系统，用于数据上传、备份及恢复功能的数据处理子系统，可选的应用大数据处理方法面向处理大规模数据的大数据处理子系统，用于用户服务的应用子系统；其中，数据处理子系统将数据采集子系统的数据提交给应用子系统存储分析和服务，如果所采集的数据规模较大，需要通过大数据处理子系统进行处理，再进行应用子系统存储和服务，其中，所述的数据采集子系统包括：OPC服务端模块，用于通过本地数据接口采集不同设备的工作参数，所述工作参数包括温度、压力、湿度和电压等工业现场参数，并根据所述的工作参数判断工作现场运行状态是否正常；OPC客户端模块，用于经由数据处理模块和上层管理系统进行数据采集，根据上层管理系统的控制指令对不同的OPC服务端口数据进行采集；数据处理模块，用于OPC客户端模块和上层管理系统的数据交换服务，如参数格式转换、数据包组合拆分、数据异常值现场处理判定等功能；底层告警模块，用于连接本地数据处理模块，进行本地参数异常的报警提示，提醒传输数据的正确性和安全性；所述的数据处理子系统包括：数据上传模块，用于将OPC采集经由初步处理的的参数数据上传给应用子系统进行分布式存储，接收应用子系统的上传指令；数据备份恢复模块，用于本地数据的保存、备份和恢复，控制上传数据过程中意外状态的恢复和数据安全性保障；所述的大数据处理子系统包括：数据实时流处理模块，用于面向工业大数据低时延、可扩展和容错性高要求的并行性处理，以实时或接近实时的处理大数据流，采用Spark和S...

【专利技术属性】
技术研发人员：吴哲夫，邬新东，张彤，肖鹰，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33