一种服务端获取采集端数据的方法技术

本发明专利技术提供一种服务端获取采集端数据的方法，包括：搭建基于以太网的数据采集系统，通过以太网将采集设备将采集的数据发送到交换机，服务器通过以太网连接到交换机的网口；建立交换机和数据接收与解析模块的网络连接，在数据采集与解析模块中使用Netty框架作为服务端的监听端口，在数据传输时，Netty的接收线程组轮询数据通道并从缓冲区提取数据到数据接收与解析模块中；利用管道过滤器的体系结构对数据进行协议解析并封装成统一数据模型后将数据推送至分布式消息队列Kafka的Topic中；使用数据处理节点，使其作为数据消费者从Kafka中拉取数据，完成数据处理和加载信息功能。本发明专利技术能稳定数据采集和传输，提高数据传输效率。率。率。

【技术实现步骤摘要】
一种服务端获取采集端数据的方法


[0001]本专利技术涉及数据通讯
，尤其涉及一种服务端获取采集端数据的方法。

技术介绍

[0002]数据采集是工业控制和监控中的重要环节，在现代工业中，现场采集数据的准确性、全面性、实时性对系统公开运行和稳定性都有着深远的影响，数据采集系统已经成为工业控制和监控系统的核心和基础，是保证质量，提高产量，发挥经济效益的一项重要手段。随着工业4.0的推进，各种各样的数据采集设备被部署在工业生产中，工业过程数据参数越来越复杂，而目前大多数中小型离散制造业企业的生产车间数据采集方式不足，面对数以千计的采集设备，数据采集存在传输时效率低下，数据不稳定等问题。因此，如何实现数据的高效，稳定的数据采集与传输，具有重要的意义。

技术实现思路

[0003]本专利技术提供一种服务端获取采集端数据的方法，解决数据采集传输效率低和不稳定的问题，能稳定数据采集和传输，提高数据传输效率。
[0004]为实现以上目的，本专利技术提供以下技术方案：
[0005]一种服务端获取采集端数据的方法，包括：
[0006]搭建基于以太网的数据采集系统，通过以太网将采集设备将采集的数据发送到交换机，服务器通过以太网连接到交换机的网口；
[0007]建立交换机和数据接收与解析模块的网络连接，在数据采集与解析模块中使用Netty框架作为服务端的监听端口，在数据传输时，Netty的接收线程组轮询数据通道并从缓冲区提取数据到数据接收与解析模块中；
[0008]利用管道过滤器的体系结构对数据进行协议解析并封装成统一数据模型后将数据推送至分布式消息队列Kafka的Topic中；
[0009]使用数据处理节点，使其作为数据消费者从Kafka中拉取数据，完成数据处理和加载信息功能。
[0010]优选的，所述搭建基于以太网的数据采集系统，包括：
[0011]设置采集层和控制层，并通过以太网进行连接；
[0012]所述采集层包括通讯模块和采集设备，通讯模块主要完成TCP/IP协议转换，每一个通讯模块都与一个采集设备连接；
[0013]所述控制层包括PC机和数据库服务器，PC机、数据服务器和通讯模块均通过以太网进行连接，通讯模块将采集设备采集到的数据通过交换机将数据输送到数据服务器进行处理；并通过PC机对数据库服务器进行管理。
[0014]优选的，所述通讯模块将采集的数据发送到交换机，多个采集设备通过所述通讯模块连接到交换机。
[0015]优选的，所述数据接收与解析模块首先将采集到的规范化数据进行解析，数据将
会被符合条件的Handler进行协议解析，之后以JSON串的格式封装成报文。
[0016]优选的，所述报文的格式为：标识ID、Topic、数据参数，其中所述标识ID由网关生成，代表一个采集设备的唯一标识。
[0017]优选的，所述在数据传输时，Netty的接收线程组轮询数据通道并从缓冲区提取数据到数据接收与解析模块中，包括：
[0018]利用Netty框架中的BossGroup组件轮询对服务端的Accept事件；
[0019]当有新的连接请求建立时，创建一个NioSocketChannel与交换机的连接；
[0020]在连接建立时，通信模块开始发送数据与心跳信息，并通过交换机进行数据初步加工后发送，Netty框架接收从交换机发送的数据，之后数据会在Netty框架中的管道中流动，被不同的Handler处理。
[0021]优选的，所述将采集到的规范化数据进行解析，数据将会被符合条件的Handler进行协议解析，包括：
[0022]在接收到数据时，首先进行数据协议解析，采用责任链的设计模式，将发送数据的三种协议：HTTP协议、TCP协议和MQTT协议解析规则封装为三种对应的Handler放置在管道Pipline的首部，当数据流过管道Pipline的前三个Handler时，数据将会被符合条件的Handler进行协议解析。
[0023]优选的，所述使用数据处理节点，使其作为数据消费者从Kafka中拉取数据，完成数据处理和加载信息功能，包括：
[0024]将数据接收与解析模块解析后封装的数据推送至Kafka，在Kafka中，Topic主题下的一个分区只会由一个消费者进行处理，通过对主题分区的消息数量进行控制，以控制不同数据处理节点的负载。
[0025]优选的，所述使用数据处理节点，使其作为数据消费者从Kafka中拉取数据，完成数据处理和加载信息功能，还包括：
[0026]数据处理节点中的Kafka消费者不断的从Kafka集群中拉取Kafka消息，之后从Kafka消息中取出消息，数据处理节点将消息内容作为函数参数传递给数据处理模块，数据处理模块首先会取出采集设备的ID，之后数据处理模块首先会判断此ID是否存在表中，如果存在，则继续判断消息的内容是否有更新，如果有更新，那么会更新表中序列号ID对应的数据，如果表中不存在该ID，那么则将该ID作为新的一项插入表中，同时对保存在内存数据库中的该ID对应的通信上下文进行更新或插入，接着将采集到的数据加载到目标数据库中。
[0027]本专利技术提供一种服务端获取采集端数据的方法，首先搭建数据采集系统，并建立数据接收与解析模块，由数据接收与解析模块完成对数据的采集，并对数据进行解析后推送到分布式消息队列Kafka中，进而数据处理节点从Kafka集群获取数据并进行处理，将处理结果加载到数据库。解决数据采集传输效率低和不稳定的问题，能稳定数据采集和传输，提高数据传输效率。
附图说明
[0028]为了更清楚地说明本专利技术的具体实施例，下面将对实施例中所需要使用的附图作简单地介绍。
[0029]图1是本专利技术提供的一种服务端获取采集端数据的方法示意图。
[0030]图2是本专利技术提供的一种数据采集系统的结构示意图。
[0031]图3是本专利技术提供的数据传输与处理示意图。
[0032]图4是本专利技术提供的数据处理节点的流程示意图。
具体实施方式
[0033]为了使本
的人员更好地理解本专利技术实施例的方案，下面结合附图和实施方式对本专利技术实施例作进一步的详细说明。
[0034]针对当前数据采集传输效率低和不稳定的问题，本专利技术提供一种服务端获取采集端数据的方法，解决数据采集传输效率低和不稳定的问题，能稳定数据采集和传输，提高数据传输效率。
[0035]如图1所示，一种服务端获取采集端数据的方法，包括：
[0036]S1：搭建基于以太网的数据采集系统，通过以太网将采集设备将采集的数据发送到交换机，服务器通过以太网连接到交换机的网口。
[0037]S2：建立交换机和数据接收与解析模块的网络连接，在数据采集与解析模块中使用Netty框架作为服务端的监听端口，在数据传输时，Netty的接收线程组轮询数据通道并从缓冲区提取数据到数据接收与解析模块中。
[0038]S3：利用管道过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种服务端获取采集端数据的方法，其特征在于，包括：搭建基于以太网的数据采集系统，通过以太网将采集设备将采集的数据发送到交换机，服务器通过以太网连接到交换机的网口；建立交换机和数据接收与解析模块的网络连接，在数据采集与解析模块中使用Netty框架作为服务端的监听端口，在数据传输时，Netty的接收线程组轮询数据通道并从缓冲区提取数据到数据接收与解析模块中；利用管道过滤器的体系结构对数据进行协议解析并封装成统一数据模型后将数据推送至分布式消息队列Kafka的Topic中；使用数据处理节点，使其作为数据消费者从Kafka中拉取数据，完成数据处理和加载信息功能。2.根据权利要求1所述的服务端获取采集端数据的方法，其特征在于，所述搭建基于以太网的数据采集系统，包括：设置采集层和控制层，并通过以太网进行连接；所述采集层包括通讯模块和采集设备，通讯模块主要完成TCP/IP协议转换，每一个通讯模块都与一个采集设备连接；所述控制层包括PC机和数据库服务器，PC机、数据服务器和通讯模块均通过以太网进行连接，通讯模块将采集设备采集到的数据通过交换机将数据输送到数据服务器进行处理；并通过PC机对数据库服务器进行管理。3.根据权利要求2所述的服务端获取采集端数据的方法，其特征在于，所述通讯模块将采集的数据发送到交换机，多个采集设备通过所述通讯模块连接到交换机。4.根据权利要求3所述的服务端获取采集端数据的方法，其特征在于，所述数据接收与解析模块首先将采集到的规范化数据进行解析，数据将会被符合条件的Handler进行协议解析，之后以JSON串的格式封装成报文。5.根据权利要求4所述的服务端获取采集端数据的方法，其特征在于，所述报文的格式为：标识ID、Topic、数据参数，其中所述标识ID由网关生成，代表一个采集设备的唯一标识。6.根据权利要求5所述的服务端获取采集端数据的方法，其特征在于，所述在数据传输时，Netty的接收线程组轮询数据通道并从缓冲区提取数据到数据接收与解析模块中，包括：利用Netty框架中的BossGroup组件轮询对服务端的Acce...

【专利技术属性】
技术研发人员：李秀芳，赵春元，张晓峰，于红丽，杨意，米存军，范伟，许佩，赵文龙，李明伟，樊书敏，宋婷婷，
申请(专利权)人：河南中烟工业有限责任公司，
类型：发明
国别省市：