一种工业互联网平台的设备数据处理方法及系统技术方案

本发明专利技术涉及一种工业互联网平台的设备数据处理方法及系统，其中方法为：建立一个与接入机所在链路并行的、并可将原始数据转换成标准数据的数据处理服务，该数据处理服务获取接入机上传的原始数据并执行数据处理，使得接入机所在链路仅做数据传输。本发明专利技术通过建立数据处理服务，接入机不负责业务处理，只需要接收、上传数据，实现数据上传和数据处理的解耦；从而实现在不断开设备与平台的连接，不丢失数据的前提下，同时不用改变硬件的开发逻辑，不需要第三方应用端额外做数据处理，也能够将不同数据模型、表达的却是相同意义的设备数据，处理为标准化数据，供第三方应用端分析使用。供第三方应用端分析使用。供第三方应用端分析使用。

【技术实现步骤摘要】
一种工业互联网平台的设备数据处理方法及系统


[0001]本专利技术涉及工业互联网平台领域，具体的说，是涉及一种工业互联网平台的设备数据处理方法及系统。

技术介绍

[0002]近年来，随着信息通信技术的广泛、深度应用，制造业与互联网融合发展不断深化，为工业互联网进一步发展打下了良好基础，也涌现出了众多的工业互联网平台。
[0003]工业场景下的设备会基于MQTT协议，以设备为MQTT客户端，以工业互联网平台为MQTT服务端，实现设备的接入、数据上报等。而设备作为MQTT客户端时，需要通过嵌入式开发，把设备和平台的交互逻辑写死在硬件程序中，再将硬件焊接在设备上。因此，设备向工业互联网平台上传数据时，会以固定的数据模型去传递，包括字段名、字段类型、数据长度、单位等。
[0004]而企业使用的设备来自于不同的厂商，即使是同一厂商，设备型号、版本也会有不同，导致上报数据时使用的数据模型也会不同，然而，它们所表达的含义可能是相同的。比如设备的用电量，A设备上报数据为{“50001”:2000}，B设备上报数据为{“electric”:2.0}，他们表示的都是设备用电量为2kw/h，但字段名、数据类型、单位都不相同。故需要将表示同一含义的数据整合在一起，形成标准化的数据，才方便第三方应用端获取数据信息。
[0005]为了让数据标准化，要求不同企业采购同一厂商、同一型号、同一版本的设备，是不现实的；若去修改设备上的硬件程序以达到标准化，则需要耗费大量的人力、财力；若要求第三方应用端去解析数据，形成标准化，则会做很多重复性的工作，且解析方式不同，数据的一致性也不能保障，此方式容错率低，且工作量大。
[0006]有人提出在服务端完成数据接收、处理和上报，在服务端将数据统一处理好之后再上报，该方式会增加服务端的负荷，影响服务端稳定性，导致其与设备连接断开、丢失数据；更新数据处理功能时，也容易丢失数据。
[0007]以上问题，值得解决。

技术实现思路

[0008]为了应对数据采集时上报含义相同但数据模型不同导致的数据不统一的情况，同时避免增加服务端的负荷，影响系统稳定性，导致存在丢失数据的风险，本专利技术提供一种简单灵活的、扩展性强的，对用户和平台影响最小的工业互联网平台的设备数据处理方法及系统，实现数据的标准化处理。
[0009]本专利技术技术方案如下所述：
[0010]一种工业互联网平台的设备数据处理方法，建立一个与接入机所在链路并行的、并可将原始数据转换成标准数据的数据处理服务，该数据处理服务获取接入机上传的原始数据并执行数据处理，使得接入机所在链路仅做数据传输，包括如下步骤：
[0011]步骤1、接入机作为Kafka系统的生产端，将原始数据发送到Kafka系统的第一主题
中；
[0012]步骤2、建立一个数据处理服务作为Kafka系统的第一消费端，从Kafka系统的第一主题中消费原始数据；
[0013]步骤3、数据处理服务查询预先上传的数据转化脚本；
[0014]步骤4、数据处理服务执行与原始数据对应的数据转换脚本，将原始数据转换为标准数据，发送到Kafka系统的第二主题中待其他消费端消费。
[0015]根据上述方案的本专利技术，所述接入机为MQTT服务器，不同的设备通过MQTT协议将各自的原始数据发送到MQTT服务器。
[0016]根据上述方案的本专利技术，所述步骤3包括如下步骤：
[0017]S301、预先上传数据转换脚本；
[0018]S302、数据服务查询对应的数据转换脚本。
[0019]进一步的，所述预先上传数据转换脚本，具体为：
[0020]利用控制台将数据转换脚本以消息的形式发送至RabbitMQ系统的其中一个消息队列，数据处理服务订阅该消息队列，并获取脚本消息；
[0021]数据处理服务解析所述脚本消息，并以productKey与streamName的组合为键名，将所述脚本消息更新到本地缓存装置。
[0022]根据上述方案的本专利技术，所述控制台还包括用于删除RabbitMQ系统消息队列中的脚本消息。
[0023]进一步的，所述数据服务查询对应的数据转换脚本，具体为：
[0024]查询本地缓存装置中的脚本消息；
[0025]判断是否存在与原始数据对应的脚本消息，对应规则包括：原始数据与脚本消息携带的键名一致；
[0026]若存在，则进入步骤4，执行该脚本消息；
[0027]若不存在，则直接将原始数据发送到Kafka系统的第二主题。
[0028]根据上述方案的本专利技术，所述数据转换脚本为JS脚本，JS脚本的方法名为dataStream_productKey_streamName(byte)，其中dataStream表示脚本作用于数据流，productKey表示设备所属产品的唯一标识，streamName表示数据流模型的标识，byte表示设备原始数据的二进制流。
[0029]进一步的，所述数据转换脚本的方法内容包括修改原始数据的结构、修改数据类型、修改值，所述数据转换脚本的返回值为设备的标准数据。
[0030]根据上述方案的本专利技术，在步骤4之后还包括：步骤5、第三方应用端作为Kafka系统的第二消费端，从Kafka系统的第二主题中消费数据。
[0031]本专利技术还提供一种工业互联网平台的设备数据处理系统，用于运行上述方案的工业互联网平台的设备数据处理方法，包括Kafka系统和RabbitMQ系统，还包括：
[0032]若干设备，用于生成、传输原始数据；
[0033]接入机，用于接收设备的原始数据，并作为Kafka系统的生产端将原始数据生产至Kafka系统；
[0034]数据处理服务，作为Kafka系统的第一消费端，用于从Kafka系统的第一主题中消费数据，并发送数据到Kafka系统的第二主题；数据处理服务还作为RabbitMQ系统的消费
端，用于从RabbitMQ系统获取、解析消息；
[0035]本地缓存装置，用于存储数据处理服务解析后的脚本消息；
[0036]控制台，作为RabbitMQ系统的生产端，用于发送脚本消息；
[0037]第三方应用端，作为Kafka系统的第二消费端，用于从Kafka系统的第二主题中消费数据。
[0038]根据上述方案的本专利技术，其有益效果在于：
[0039]本专利技术不仅实现直接生成标准化数据，解决了不同设备带来的数据模型各不相同的困扰，例如减少了第三方应用端的工作量，避免因各应用端处理数据方式的差异化，造成的数据不一致；
[0040]而且通过建立一个与接入机所在链路并行的、并可将原始数据转换成标准数据的数据处理服务，数据处理服务消费数据做逻辑处理，而服务端即接入机不负责业务处理，只需要接收设备的数据再上传，最终实现数据上传和数据处理的解耦；因此，即使处理数据的逻辑发生改变、扩展了其他功能，也只会影响数据处理服务，不会影响接入机导致设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业互联网平台的设备数据处理方法，其特征在于，建立一个与接入机所在链路并行的、并可将原始数据转换成标准数据的数据处理服务，该数据处理服务获取接入机上传的原始数据并执行数据处理，使得接入机所在链路仅做数据传输，包括如下步骤：步骤1、接入机作为Kafka系统的生产端，将原始数据发送到Kafka系统的第一主题中；步骤2、建立一个数据处理服务作为Kafka系统的第一消费端，从Kafka系统的第一主题中消费原始数据；步骤3、数据处理服务查询预先上传的数据转化脚本；步骤4、数据处理服务执行与原始数据对应的数据转换脚本，将原始数据转换为标准数据，发送到Kafka系统的第二主题中待其他消费端消费。2.根据权利要求1所述的工业互联网平台的设备数据处理方法，其特征在于，所述接入机为MQTT服务器，不同的设备通过MQTT协议将各自的原始数据发送到MQTT服务器。3.根据权利要求1所述的工业互联网平台的设备数据处理方法，其特征在于，所述步骤3包括如下步骤：S301、预先上传数据转换脚本；S302、数据服务查询对应的数据转换脚本。4.根据权利要求3所述的工业互联网平台的设备数据处理方法，其特征在于，所述上传数据转换脚本，具体为：利用控制台将数据转换脚本以消息的形式发送至RabbitMQ系统的其中一个消息队列，数据处理服务订阅该消息队列，并获取脚本消息；数据处理服务解析所述脚本消息，并以productKey与streamName的组合为键名，将所述脚本消息更新到本地缓存装置。5.根据权利要求4所述的工业互联网平台的设备数据处理方法，其特征在于，所述控制台还包括用于删除RabbitMQ系统消息队列中的脚本消息。6.根据权利要求4所述的工业互联网平台的设备数据处理方法，其特征在于，所述数据服务查询对应的数据转换脚本，具体为：查询本地缓存装置中的脚本消息；判断是否存在与原始数据对应的脚本消息，对应规则包括...

【专利技术属性】
技术研发人员：李靖宇，何渝君，王翔，舒忠玲，
申请(专利权)人：瀚云科技有限公司，
类型：发明
国别省市：