一种数据处理系统及方法技术方案

本发明专利技术公开了一种数据处理系统及方法。所述数据处理系统包括数据管理平台、传输服务端以及至少一个数据采集设备；所述数据采集设备，用于将第一主题的采集数据发布至传输服务端；所述传输服务端，用于若检测到数据管理平台对第一主题的订阅信息，则将采集数据推送至数据管理平台；所述数据管理平台，用于根据预先获取的采集数据的业务需求，对采集数据进行处理。本技术方案解决了数据传输过程中网络资源消耗大、数据处理效率低等问题，可以在降低网络资源消耗的同时，有效提高数据处理的响应速率。速率。速率。

【技术实现步骤摘要】
一种数据处理系统及方法


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理系统及方法。

技术介绍

[0002]智慧工厂是现代工厂信息化发展的新阶段。在数字化工厂的基础上，智慧工厂利用物联网的技术和设备监控技术加强了信息管理和信息服务。智慧工厂物联网是采集各种设备的数据，通过网络接入实现对物品和过程的智能化感知、识别和管理。
[0003]目前，现有技术方案主要是基于TCP协议传输数据，将数据发送至工厂管理信息系统进行存储和应用。常用的TCP协议(Transmission Control Protocol，传输控制协议)包含XMPP协议(Extensible Messaging and Presence Protocol，可扩展通讯和表示协议)、HTTP协议(Hyper Text Transfer Protocol，超文本传输协议)等。
[0004]但是，基于TCP协议传输数据需要稳定的网络及较大的带宽，网络资源消耗十分巨大，因此，对于智慧工厂中的大规模数据，现有技术的数据传输方式难以快速高效的数据处理。

技术实现思路

[0005]本专利技术提供了一种数据处理系统及方法，以解决数据传输过程中网络资源消耗大、数据处理效率低等问题，可以在降低网络资源消耗的同时，有效提高数据处理的响应速率。
[0006]根据本专利技术的一方面，所述数据处理系统包括数据管理平台、传输服务端以及至少一个数据采集设备；
[0007]所述数据采集设备，用于将第一主题的采集数据发布至传输服务端；
[0008]所述传输服务端，用于若检测到数据管理平台对第一主题的订阅信息，则将采集数据推送至数据管理平台；
[0009]所述数据管理平台，用于根据预先获取的采集数据的业务需求，对采集数据进行处理。
[0010]根据本专利技术的另一方面，提供了一种数据处理方法，所述方法由数据处理系统执行，所述数据处理系统包括数据管理平台、传输服务端以及至少一个数据采集设备；该方法包括：
[0011]通过数据采集设备将第一主题的采集数据发布至传输服务端；
[0012]若通过传输服务端检测到数据管理平台对第一主题的订阅信息，则将采集数据推送至数据管理平台；
[0013]通过数据管理平台根据预先获取的采集数据的业务需求，对采集数据进行处理。
[0014]本专利技术实施例的技术方案，通过数据采集设备将第一主题的采集数据发布至传输服务端；在传输服务端检测到数据管理平台对第一主题的订阅信息时，将采集数据推送至数据管理平台；数据管理平台根据预先获取的采集数据的业务需求，对采集数据进行处理。
该技术方案解决了数据传输过程中网络资源消耗大、数据处理效率低等问题，可以在降低网络资源消耗的同时，有效提高数据处理的响应速率。
[0015]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0016]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是根据本专利技术实施例一提供的一种数据处理系统的结构示意图；
[0018]图2是根据本专利技术实施例二提供的一种数据处理方法的流程图。
具体实施方式
[0019]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0020]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0021]实施例一
[0022]图1为本专利技术实施例一提供了一种数据处理系统的结构示意图，本实施例为一种数据处理系统，可适用于大规模数据处理场景。如图1所示，该数据处理系统包括传输服务端110、数据管理平台130以及至少一个数据采集设备120：
[0023]所述数据采集设备120，用于将第一主题的采集数据发布至传输服务端110；
[0024]所述传输服务端110，用于若检测到数据管理平台130对第一主题的订阅信息，则将采集数据推送至数据管理平台130；
[0025]所述数据管理平台130，用于根据预先获取的采集数据的业务需求，对采集数据进行处理。
[0026]在本方案中，数据处理系统可以用于处理智慧工厂中产生的各种数据，例如设备检测数据、产品检测数据等。数据处理系统可以包括一个或多个数据采集设备120，例如生产设备、检测设备等。不同的数据采集设备120可以用于采集智慧工厂运行过程中的不同方
面的数据，例如生产设备可以采集产品的生产数据，检测设备可以采集产品的质量检测数据。采集同一类型数据的数据采集设备120可以具有多个，例如采集生产数据的生产设备可以存在多个，分别采集不同生产线上产品的生产数据。
[0027]数据采集设备120可以不与数据管理平台130直接通过网络传输协议进行数据传输，而是连接至传输服务端110，将采集数据以预先设置的第一主题进行发布。其中，所述传输服务端110可以是消息列队传输协议服务端，例如MQTT Broker。数据采集设备120可以作为客户端向消息列队传输协议服务端发布采集数据。数据管理平台130可以与传输服务端110连接，在传输服务端110订阅所需要的采集数据。
[0028]如果根据数据管理平台130的订阅信息，确定数据管理平台130订阅了预设主题的采集数据，则传输服务端110可以将采集数据推送至数据管理平台130。如果根据数据管理平台130的订阅信息，确定数据管理平台130没有订阅预设主题的采集数据，则传输服务端110无需将采集数据推送至数据管理平台130。
[0029]数据管理平台130在接收到采集数据之后，可以根据采集数据的业务需求，对采集数据进行相应的处理。例如采集数据为设备检测日志，数据管理平台130可以对设备检测日志进行存储，也可以提取设备检测日志中的目标参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述数据处理系统包括数据管理平台、传输服务端以及至少一个数据采集设备；所述数据采集设备，用于将第一主题的采集数据发布至传输服务端；所述传输服务端，用于若检测到数据管理平台对第一主题的订阅信息，则将采集数据推送至数据管理平台；所述数据管理平台，用于根据预先获取的采集数据的业务需求，对采集数据进行处理。2.根据权利要求1所述的系统，其特征在于，所述数据管理平台，还用于利用Kafka Connect MQTT连接器将采集数据推送至Kafka集群；所述数据管理平台，还用于根据预先获取的采集数据的业务需求，基于kafka集群对采集数据进行流式处理。3.根据权利要求2所述的系统，其特征在于，所述数据管理平台包括至少一个数据消费方，用于对kafka输出流数据进行匹配的业务处理。4.根据权利要求1所述的系统，其特征在于，所述数据管理平台，还用于将第二主题的控制命令数据发布至传输服务端；所述传输服务端，还用于若检测到数据采集设备对第二主题的订阅信息，则将控制命令数据推送至数据采集设备，以对数据采集设备进行控制。5.根据权利要求1所述的系统，其特征在于，所述数据采集设备，还用于若检测到与传输服务端的网络连接，则向传输服务端发送请求连接报文；其中，所述请求连接报文包括自定义报头，所述自定义报头包括协议级别；所述传输服务端，还用于若检测到自定义报头中的协议级别不支持，则向数据采集设备发送请求响应报文，并断开与数据采集设备的连接。6.一种数据处理方法，其特征在于，所述方法由数据处理系统执行，所述数据处理系统包括数据管理...

【专利技术属性】
技术研发人员：陈鑫，于雷，赵严，
申请(专利权)人：苏州凌云光工业智能技术有限公司，
类型：发明
国别省市：