基于工业大数据的数据采集系统及方法技术方案

本发明专利技术涉及工业大数据技术领域领域，公开了一种基于工业大数据的数据采集系统及方法。该数据采集系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及数据接收接口，用于接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。本发明专利技术可实现秒频率的实时数据采集，保证工业大数据能够实时且安全地传输，从而有效地缓解数据采集接口和网络传输的压力。

【技术实现步骤摘要】
基于工业大数据的数据采集系统及方法
本专利技术涉及工业大数据
，具体地涉及一种基于工业大数据的数据采集系统及方法。
技术介绍
随着消费互联网的崛起，大数据分析与云计算技术的发展壮大，“工业大数据”时代应运而生，各个企业的核心从“单点对多点”的数据中心模式转变为以用户为核心的平台式服务模式。各国制造业创新战略的实施基础都是工业大数据的搜集和特征分析，及以此为未来制造系统搭建无忧环境。通过工业大数据的分析和应用去预测需求、预测制造，整合产业链和价值链，发现用户的价值缺口及管理不可预见的问题，实现为用户提供定制化的产品和服务。工业大数据和传统的互联网大数据相比，具有更强的专业性、关联性、流程性、时序性和解析性等特点。工业大数据的采集主要是运用工业互联网技术进行远程数据采集、可视化采集，通过采集软件在工业互联网中进行广域的、大规模的、实时的采集和传递，经过多次汇聚和转发，最终发送给大数据平台作为分析和应用的数据源。工业大数据主要是三类数据，一是从工业控制系统采集的所有生产数据，二是直接采集智能传感器PLC设备的监视数据，三是工厂内外管理系统的数据，如ERP系统、客户关系管理系统及销售系统等。目前工业大数据采集的数据对象中，第一类和第二类数据，即各种控制系统和大量的智能设备的数据，数据量最多、增长最快、实时性要求较高、难度较大的是；第三类数据主要是通过管理软件之间的接口来实现采集。下面将主要针对前两类数据的采集情况进行说明。工业控制系统一般通过协议或规约来提供以工业太网中的现场数据，尤其在电力行业中，经常采用modbus协议、CDT规约、101规约、104规约，DNP协议或其它专有协议。这些协议大部分属于请求/应答式的技术协议，只能用以获取瞬时数据，常用于工业以太网。工业控制系统中另一种常见的提供数据方式，是提供既支持即时产生的实时数据又支持历史实时数据的协议，其中最具有代表性和广泛性的是OPC协议。智能传感器PLC一般通过专有协议提供数据，目前大部分智能传感器都支持OPC协议进行网络数据通信，或者串行RS232/485协议通信。工业大数据的采集面临的主要问题是：数据源实时产生的数据量巨大，工业控制系统或智能传感器的数据几乎是秒级变化，在数据包小、数量多且频率高的情况下，对采集服务器和传输网络的压力非常大，且对数据传输的方式和数据安全性有很高的要求。尤其是将现场数据的范围放到广域网分布的系统范围之后，大数据总和是多个现场数据的总和，当采集点总量达到百万级时这个问题更加明显和棘手。
技术实现思路
本专利技术的目的是提供一种基于工业大数据的数据采集系统及方法，该数据采集系统可实现秒频率的实时数据采集，保证工业大数据能够实时且安全地传输，从而有效地缓解数据采集接口和网络传输的压力。为了实现上述目的，本专利技术提供一种基于工业大数据的数据采集系统，该数据采集系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及数据接收接口，用于接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。可选的，该数据采集系统还包括：数据汇聚接口，用于对所述首次封包上传的所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，所述数据接收接口用于接收二次封包上传的所述工业大数据，对该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。可选的，所述数据采集接口包括：第一共享内存区，所述数据采集接口还用于对所述工业大数据进行数据过滤，只有时间戳和数据值同时变化的数据才能存入所述第一共享内存区。可选的，所述数据采集接口与所述数据汇聚接口还采用断点续传技术传输数据，其中，所述断点续传技术包括：当所述数据采集接口与所述数据汇聚接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据汇聚接口，和/或当所述数据汇聚接口与所述数据接收接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据接收接口。可选的，所述数据加密包括采用非对称加密算法进行数据加密，所述数据解密包括采用非对称解密算法进行数据解密。可选的，所述数据汇聚接口包括：第二共享内存区，所述数据汇聚接口对所述首次封包上传的所述工业大数据进行数据加密后，将所加密的所述工业大数据存入所述第二共享内存区；以及所述数据接收接口包括：第三共享内存区，所述数据接收接口对所述首次封包上传或二次封包上传的所述工业大数据进行数值压缩后，将所压缩的所述工业大数据存入所述第三共享内存区。可选的，所述数据采集接口通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；所述数据汇聚接口通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据接收接口。相应地，本专利技术还提供一种基于工业大数据的数据采集方法，该数据采集方法包括：在数据采集接口处，通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及在数据接收接口处，接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。可选的，所述接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库包括：在数据汇聚接口处，接收所述首次封包上传的所述工业大数据，对该工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传；以及在所述数据接收接口处，接收二次封包上传的所述工业大数据，对该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。可选的，该数据采集方法还包括：在通过所述多进程并发形式采集所述工业大数据后，对所述工业大数据进行数据过滤，只有时间戳和数据值同时变化的数据才能存入所述数据采集接口内的第一共享内存区。可选的，该数据采集方法还包括：采用断点续传技术传输数据，该断点续传技术包括：当数据采集接口与数据汇聚接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据汇聚接口，和/或当所述数据汇聚接口与数据接收接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据接收接口。可选的，所述数据加密包括采用非对称加密算法进行数据加密，所述数据解密包括采用非对称解密算法进行数据解密。可选的，该数据采集方法还包括：对所述首次封包上传的所述工业大数据进行数据加密后，将所加密的所述工业大数据存入所述数据汇聚接口内的第二共享内存区；对所述首次封包上传或二次封包上传的所述工业大数据进行数值压缩后，将所压缩的所述工业大数据存入所述数据接收接口内的第三共享内存区。可选的，在所述数据采集接口处，通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；在所述数据汇聚接口处，通过TCP网络传输协议将所述二次封包上传的本文档来自技高网...

【技术保护点】
1.一种基于工业大数据的数据采集系统，其特征在于，该数据采集系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及数据接收接口，用于接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。

【技术特征摘要】
1.一种基于工业大数据的数据采集系统，其特征在于，该数据采集系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，并对所述工业大数据进行协议转换及首次封包上传；以及数据接收接口，用于接收首次封包上传的所述工业大数据，对该工业大数据进行数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。2.根据权利要求1所述的基于工业大数据的数据采集系统，其特征在于，该数据采集系统还包括：数据汇聚接口，用于对所述首次封包上传的所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，所述数据接收接口用于接收二次封包上传的所述工业大数据，对该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述工业大数据写入数据库。3.根据权利要求1所述的基于工业大数据的数据采集系统，其特征在于，所述数据采集接口包括：第一共享内存区，所述数据采集接口还用于对所述工业大数据进行数据过滤，只有时间戳和数据值同时变化的数据才能存入所述第一共享内存区。4.根据权利要求2所述的基于工业大数据的数据采集系统，其特征在于，所述数据采集接口与所述数据汇聚接口还采用断点续传技术传输数据，其中，所述断点续传技术包括：当所述数据采集接口与所述数据汇聚接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据汇聚接口，和/或当所述数据汇聚接口与所述数据接收接口的通讯故障时，标记未传输的数据；以及当该通讯恢复正常时，在不影响正常数据上传的情况下，再将所述未传输的数据上传到所述数据接收接口。5.根据权利要求2所述的基于工业大数据的数据采集系统，其特征在于，所述数据加密包括采用非对称加密算法进行数据加密，所述数据解密包括采用非对称解密算法进行数据解密。6.根据权利要求2所述的基于工业大数据的数据采集系统，其特征在于，所述数据汇聚接口包括：第二共享内存区，所述数据汇聚接口对所述首次封包上传的所述工业大数据进行数据加密后，将所加密的所述工业大数据存入所述第二共享内存区；以及所述数据接收接口包括：第三共享内存区，所述数据接收接口对所述首次封包上传或二次封包上传的所述工业大数据进行数值压缩后，将所压缩的所述工业大数据存入所述第三共享内存区。7.根据权利要求2所述的基于工业大数据的数据采集系统，其特征在于，所述数据采集接口通过UDP网络传输协议将所述首次封包上传的所述工业大数据上传至所述数据汇聚接口；所述数据汇聚接口通过TCP网络传输协议将所述二次封包上传的所述工业大数据上传至所述数据接收接口。8.一种基于工业大数据的数据采集方法，其...

【专利技术属性】
技术研发人员：王莹，杨硕，孔华永，
申请(专利权)人：中国神华能源股份有限公司，神华信息技术有限公司，
类型：发明
国别省市：北京,11