基于工业大数据的远程采集监视系统及方法技术方案

本发明专利技术涉及通讯业务技术领域，公开了一种基于工业大数据的远程采集监视系统及方法。该远程采集监视系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，对所述工业大数据进行协议转换及首次封包上传，同时按照第一预设监测规则对上述三个过程进行监测并提取第一特征值，并将所述第一特征值及所述工业大数据一起进行首次封包上传；以及数据接收接口，用于对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对上述四个过程进行监测并提取第三特征值，并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库。

Remote collection and monitoring system and method based on industrial big data

The invention relates to the technical field of communication service, and discloses a remote acquisition and monitoring system and method based on industrial large data. The remote acquisition and monitoring system comprises a data acquisition interface for acquiring the large industrial data in a multi-process concurrent form, protocol conversion and first packet uploading of the large industrial data, and monitoring the three processes and extracting the first eigenvalue according to the first preset monitoring rule, and An eigenvalue is first uploaded together with the industrial large data, and a data receiving interface is used for data analysis and numerical compression processing of the first eigenvalue and the industrial large data, and the processed first eigenvalue and the industrial large data are written into the database in accordance with the third pre-processing. Suppose the monitoring rules monitor the above four processes and extract the third eigenvalue, and write the first eigenvalue, the third eigenvalue and the large industrial data together into the database.

【技术实现步骤摘要】
基于工业大数据的远程采集监视系统及方法
本专利技术涉及通讯业务
，具体地涉及基于工业大数据的远程采集监视系统及方法。
技术介绍
云计算、物联网、大量社交网络的兴起使我们各行各业每时每刻都在产生和处理海量的数据，大数据时代已经到来。大数据应用具有数量巨大，数据种类繁多，数据有待快速处理，以及数据价值不明确等特点。工业大数据是制造业在生产过程中产生的大数据。工业大数据以海量、多来源、异构(结构化、半结构化和非结构化数据并存)、增长速度快等为主要特点。与传统互联网大数据相比，具有更强的专业性、关联性、流程性、时序性和解析性。工业大数据的采集，主要是运用工业互联网技术进行远程数据采集或可视化采集，通过采集软件在工业互联网中进行广域的、大规模的、实时的采集和传递，经过多次汇聚和转发，最终发送给大数据平台作为分析和应用的数据源。工业大数据采集监视，主要包括以下三个方面：监视采集网络状态、采集程序运行状态及收集故障信息等；评价采集系统的可靠性和高效性；在发生事故时能快速地找到和分析事故的原因，找到恢复采集的最佳方法。传统的数据采集监视方式，主要包括以下三个方面：写日志文件，定期拷贝到服务器；从采集程序向服务器上传时间、事件/内容这类半结构化数据，当采集链路长、网络状况不确定等情况时，需要进行数据压缩、数据加密等处理，之后再传输这些数据；或者采集程序将这些监视信息结构化写入本地关系数据库，再由服务器自行读取。传统数据采集监视方法，已经不适合工业大数据瞬息万变的要求。其主要问题是需要为网络监视单独进行处理，包括日志的存储、备份、解析等，网络层级越多，日志的收集和传输尤为不方便，很难在短时间内解析和查询到远程节点的日志信息。工业大数据的采集监视方式面临的主要问题是，广域分布的工业控制系统数据源复杂多变，数据传输网络链路较长，网络情况复杂，很容易出现传输问题。对运维人员来说，要保证大量数据的实时性、安全性和可靠性，需要及时监视各采集节点的性能、运行情况，监视网络传输情况，必须考虑当网络发生故障时如何快速定位排查的问题。
技术实现思路
本专利技术的目的是提供一种基于工业大数据的远程采集监视系统及方法，其不仅可以使运维人员实时了解各采集过程的情况，便于及时采取相应办法减轻采集服务器和网络传输的压力，快速解决网络故障，保障了工业大数据平台的安全、高效运行。为了实现上述目的，本专利技术一方面提供一种基于工业大数据的远程采集监视系统，该远程采集监视系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，对所述工业大数据进行协议转换及首次封包上传，同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值，并将所述第一特征值及所述工业大数据一起进行首次封包上传；以及数据接收接口，用于接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库。可选的，该远程采集监视系统还包括：数据汇聚接口，用于接收首次封包上传的所述第一特征值及所述工业大数据，对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值，并将所述第一特征值、所述第二特征值及所述工业大数据一起进行二次封包上传，所述数据接收接口用于接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据，对所述第一特征值、所述第二特征值及所述工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第二特征值、所述第三特征值及所述工业大数据一起写入所述数据库。可选的，所述远程采集监视系统还包括：显示界面，用于显示所述数据采集接口、所述数据汇聚接口及所述数据接收接口的各个数据处理过程所对应的特征值。可选的，该远程采集监视系统还包括：报警装置，用于当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时，发出报警提示。可选的，所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则包括：监测资源指标，该资源指标包括CPU平均利用率、内存使用率、网络带宽、端口状态及接口状态；以及监测系统指标，该系统指标包括并发用户数、平均响应时间、事务成功率及超时出错率。相应的，本专利技术另一方面还提供一种基于工业大数据的远程采集监视方法，该远程采集监视方法包括：在数据采集接口处，通过多进程并发形式采集所述工业大数据，对所述工业大数据进行协议转换及首次封包上传，同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值，并将所述第一特征值及所述工业大数据一起进行首次封包上传；以及在数据接收接口处，接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值及所述第三特征值及所述工业大数据一起写入所述数据库。可选的，所述接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库包括：在数据汇聚接口处，接收首次封包上传的所述第一特征值及所述工业大数据，对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值，并将所述第一特征值及所述第二特征值及所述工业大数据一起进行二次封包上传；以及在所述数据接收接口处，接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据，对所述第一特征值、所述第二特征值及所述该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值本文档来自技高网...

【技术保护点】
1.一种基于工业大数据的远程采集监视系统，其特征在于，该远程采集监视系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，对所述工业大数据进行协议转换及首次封包上传，同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值，并将所述第一特征值及所述工业大数据一起进行首次封包上传；以及数据接收接口，用于接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库。

【技术特征摘要】
1.一种基于工业大数据的远程采集监视系统，其特征在于，该远程采集监视系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，对所述工业大数据进行协议转换及首次封包上传，同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值，并将所述第一特征值及所述工业大数据一起进行首次封包上传；以及数据接收接口，用于接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库。2.根据权利要求1所述的基于工业大数据的远程采集监视系统，其特征在于，该远程采集监视系统还包括：数据汇聚接口，用于接收首次封包上传的所述第一特征值及所述工业大数据，对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值，并将所述第一特征值、所述第二特征值及所述工业大数据一起进行二次封包上传，所述数据接收接口用于接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据，对所述第一特征值、所述第二特征值及所述工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第二特征值、所述第三特征值及所述工业大数据一起写入所述数据库。3.根据权利要求2所述的基于工业大数据的远程采集监视系统，其特征在于，所述远程采集监视系统还包括：显示界面，用于显示所述数据采集接口、所述数据汇聚接口及所述数据接收接口的各个数据处理过程所对应的特征值。4.根据权利要求2所述的基于工业大数据的远程采集监视系统，其特征在于，该远程采集监视系统还包括：报警装置，用于当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时，发出报警提示。5.根据权利要求2所述的基于工业大数据的远程采集监视系统，其特征在于，所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则包括：监测资源指标，该资源指标包括CPU平均利用率、内存使用率、网络带宽、端口状态及接口状态；以及监测系统指标，该系统指标包括并发用户数、平均响应时间、事务成功率及超时出错率。6.一种基于工业大数据的远程采集监视方法，其特征在于，该远程采集监视方法包括：在数据采集接口处，通过多进程并发形式采集所述工业大数据，对所述工业大数据进行协议...

【专利技术属性】
技术研发人员：王莹，杨硕，孔华永，
申请(专利权)人：中国神华能源股份有限公司，神华信息技术有限公司，
类型：发明
国别省市：北京,11