一种采集网关多监测点数据聚合上报方法技术

本发明专利技术公开了一种采集网关多监测点数据聚合上报方法，涉及数据监测技术领域。本发明专利技术包括如下步骤：硬件开发者根据监测设备数据在平台对监测点设备模型进行定义，定义好数据编码和数据传输通道；在平台建立网关对子设备的代理关系；硬件开发者对采集网关进行批量数据聚合上报能力的集成开发；网关层采集监测点设备数据，并将数据利用批量数据通用模块进行编码聚合，上报批量聚合数据到平台。本发明专利技术通过对网关数据采集传输到平台中的数据模型进行了自有协议编码设计优化，对采集网关进行批量数据聚合上报能力的集成开发，编码聚合后上报批量聚合数据到平台，简化网关的开发和使用，减轻网关的网络负载能力，节约网络成本。节约网络成本。节约网络成本。

【技术实现步骤摘要】
一种采集网关多监测点数据聚合上报方法


[0001]本专利技术属于数据监测
，特别是涉及一种采集网关多监测点数据聚合上报方法。

技术介绍

[0002]随着农业物联网平台不断演进，各种不同类型的农业场景具有丰富的数据监测指标。各大物联网基础平台提供商开始制定设备接入平台标准，目前物联网设备与物联网平台连接的标准协议是MQTT协议，其中也存在COAP,HTTP等协议。边缘侧则通过LORA，WIFI,蓝牙等进行组网，实现网关代理多监测点数据采集。采集网关可以对监测点数据进行实时上报，保证数据的实时性。当网关层代理监测点数据通信量过大后，不得不将多个采集的数据进行批量聚合上报，通过聚合上报减少与服务端网络的交互，减轻网关网络负载，提升网关能力。
[0003]而现有平台批量数据点开发流程如图2所示，各大物联平台皆以MQTT作为标准的物联网通信协议，通过数据模型定义了监测点数据模型，批量聚合上报的能力则是通过结构体数据模型进行支持，将多个监测点数据定义到结构中，并没有对批量数据上报进行特殊支持。为了网关对多监测点数据批量上报的支持，通常硬件开发者需要定义特定的结构体模型，并需要争对不同的场景开发不同的数据组装方案，并且硬件开发者需要对每次模型的变更做出对应的硬件升级，这极大的增大了硬件开发的成本。并给SaaS层业务开发也带来很多问题，需要对特定结构体数据进行解析后再做数据分析。一定程度上使得硬件和SaaS层开发者具有耦合性。

技术实现思路

[0004]本专利技术的目的在于提供一种采集网关多监测点数据聚合上报方法，通过对网关数据采集传输到平台中的数据模型进行了自有协议编码设计优化，对采集网关进行批量数据聚合上报能力的集成开发，将数据利用批量数据通用模块进行编码聚合，上报批量聚合数据到平台，解决了现有的网关开发和使用效率低、网关的负载能力低的问题。
[0005]为解决上述技术问题，本专利技术是通过以下技术方案实现的：
[0006]本专利技术为一种采集网关多监测点数据聚合上报方法，包括如下步骤：
[0007]步骤S1：硬件开发者根据监测设备数据在平台对监测点设备模型进行定义，定义好数据编码和数据传输通道；
[0008]步骤S2：根据真实采集网关和真实代理设备关系在平台建立网关对子设备的代理关系，确保平台层能对代理关系进行验证；
[0009]步骤S3：硬件开发者对采集网关进行批量数据聚合上报能力的集成开发；
[0010]步骤S4：网关层采集监测点设备数据，并将数据利用批量数据通用模块进行编码聚合；
[0011]步骤S5：采集网关利用MQTT协议上报批量聚合数据到平台；
[0012]步骤S6：平台接受并处理数据；
[0013]步骤S7：SaaS平台开发者接收监测点数据。
[0014]作为一种优选的技术方案，所述步骤S3中，批量数据聚合需要对通用批量数据模型进行设计，数据模型包含了所需的最小数据；所述数据模型包括业务数据时间戳、自身数据、代理子设备数据、数据流通道名称、数据的编码类型和数据点。
[0015]作为一种优选的技术方案，所述步骤S4中，批量数据通用模块采用字节编码的方式对批量数据模型进行设计。
[0016]作为一种优选的技术方案，所述步骤S5中，批量聚合数据以报文的形式发送到平台；所述报文设置有三种数据：控制字节、数据描述字节和数据字节；所述控制字节，用于通过bit位描述模型特征；所述数据描述字节，用于描述数据长度；所述数据字节，用于将数据编码为对应的字节数组并按照数据模型的顺序进行字节数组组合得到优化后的编码传输数据。
[0017]作为一种优选的技术方案，所述报文包括总体头、自身数据流和代理设备数据流；所述总体头包括第一个字节表示版本号、第二个字节表示总体控制字节和8个字节的可选字节；所述自身数据流，第一个字节表示代理自身数据量N，其余表示N个单个数据流数据；所述代理设备数据流，第一个字节表示代理设备数据量M，其余表示M个代理设备数据。
[0018]作为一种优选的技术方案，所述总体头的第二个字节需要判断第一个bit位标识是否存在全局业务时间戳，当bit位值为1时，则需要读取业务时间戳数据；第二个bit位标识是否存在自身数据流数据；当bit位值为1时，则需要读取自身数据流数据；第三个bit位标识是否存在代理数据流数据，当bit位值为1时，则需要读取代理设备数据流数据，剩余后五位为保留位。
[0019]作为一种优选的技术方案，所述代理设备数据的第一个字节表示设备SN长度Y3,后续Y3个字节是设备SN数据，接着后续1
‑
2个字节表示单个数据流数据量X，后续是X个单个数据流数据。
[0020]作为一种优选的技术方案，所述单个数据流数据的第一个字节为控制字节，并判断第一个bit位标识是否存在局部业务时间戳；当bit位为1时，则后8为字节为局部数据流业务时间戳数据；后三个bit为保留位，最后四个bit位表示数据的编码类型；接着是8个字节局部数据流业务时间戳数据(可选)；接着一个字节表示数据流名称长度Y1，接着Y1个字节是数据流名称；接着是1
‑
3个字节的变长整形数据，表示真实数据的长度Y2,接着Y2个字节是真实的数据。
[0021]作为一种优选的技术方案，所述步骤S5中，对网关数据采集传输到平台中的数据模型进行自有协议编码设计时，需要对伪代码进行编码和解码；其中，伪代码的编码过程如下：
[0022]步骤T1：将版本号编码为一个字节B1；
[0023]步骤T2：根据是否存在全局BizTime(业务时间戳),是否存在自身数据和是否存在代理数据编码得到总体控制字节B2，如果存在BizTime，将时间戳数据编码为8个字节数组B3,总体头编码完成；
[0024]步骤T3：如果存在自身数据，则对自身数据进行编码，进入步骤T4，否则进入步骤T5；
[0025]步骤T4：首先对自身数据数组长度L1进行变长整形编码B4；然后对数据进行编码，首先根据当前数据是否存在BizTime和数据编码类型编码得到单个数据流的控制字节B5,如果存在BizTime，将时间戳数据编码为8个字数组B6；然后将数据流名称utf
‑
8编码得到字节数组B7，再对B7长度编码得到字节B8；然后对真实数据根据编码类型进行编码得到字节数据B9,再对B9长度进行变长整形编码得到字节数组B10；循环L1次将自身数据编码完成，然后进入步骤T5；
[0026]步骤T5：如果存在代理数据，则对代理数据进行编码，进入步骤T6；否则进入步骤T7；
[0027]步骤T6：首先对代理设备数据长度L2进行整形变长编码得到字节数组B11；然后对代理设备SN进行utf
‑
8编码得到字节数组B12,在对B12长度进行编码得到字节B13；然后对代理数据长度L3进行变长整数编码得到字节数组B14；然后对数据进行编码，首先根据当前数据是否存在BizTime和数据编码类型编码得到单个数据流的控本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采集网关多监测点数据聚合上报方法，其特征在于，包括如下步骤：步骤S1：硬件开发者根据监测设备数据在平台对监测点设备模型进行定义，定义好数据编码和数据传输通道；步骤S2：根据真实采集网关和真实代理设备关系在平台建立网关对子设备的代理关系，确保平台层能对代理关系进行验证；步骤S3：硬件开发者对采集网关进行批量数据聚合上报能力的集成开发；步骤S4：网关层采集监测点设备数据，并将数据利用批量数据通用模块进行编码聚合；步骤S5：采集网关利用MQTT协议上报批量聚合数据到平台；步骤S6：平台接受并处理数据；步骤S7：SaaS平台开发者接收监测点数据。2.根据权利要求1所述的一种采集网关多监测点数据聚合上报方法，其特征在于，所述步骤S3中，批量数据聚合需要对通用批量数据模型进行设计，数据模型包含了所需的最小数据；所述数据模型包括业务数据时间戳、自身数据、代理子设备数据、数据流通道名称、数据的编码类型和数据点。3.根据权利要求1所述的一种采集网关多监测点数据聚合上报方法，其特征在于，所述步骤S4中，批量数据通用模块采用字节编码的方式对批量数据模型进行设计。4.根据权利要求1所述的一种采集网关多监测点数据聚合上报方法，其特征在于，所述步骤S5中，批量聚合数据以报文的形式发送到平台；所述报文设置有三种数据：控制字节、数据描述字节和数据字节；所述控制字节，用于通过bit位描述模型特征；所述数据描述字节，用于描述数据长度；所述数据字节，用于将数据编码为对应的字节数组并按照数据模型的顺序进行字节数组组合得到优化后的编码传输数据。5.根据权利要求4所述的一种采集网关多监测点数据聚合上报方法，其特征在于，所述报文包括总体头、自身数据流和代理设备数据流；所述总体头包括第一个字节表示版本号、第二个字节表示总体控制字节和8个字节的可选字节；所述自身数据流，第一个字节表示代理自身数据量N，其余表示N个单个数据流数据；所述代理设备数据流，第一个字节表示代理设备数据量M，其余表示M个代理设备数据。6.根据权利要求5所述的一种采集网关多监测点数据聚合上报方法，其特征在于，所述总体头的第二个字节需要判断第一个bit位标识是否存在全局业务时间戳,当bit位值为1时，则需要读取业务时间数据；第二个bit位标识是否存在自身数据流数据；当bit位值为1时，则需要读取自身数据流数据；第三个bit位标识是否存在代理数据流数据，当bit位值为1时，则需要读取代理设备数据流数据，剩余后五位为保留位。7.根据权利要求5所述的一种采集网关多监测点数据聚合上报方法，其特征在于，所述代理设备数据的第一个字节表示设备SN长度Y3,后续Y3个字节是设备SN数据，接着后续1
‑
2个字节表示单个数据流数据量X，后续是X个单个数据流数据。8.根据权利要求5所述的一种采集网关多监测点数据聚合上报方法，其特征在于，所述单个数据流数据的第一个字节为控制字节，并判断第一个bit位标识是否存在局部业务时间戳；当bit位为1时，则后8为字节为局部数据流业务时间戳数据；后三个bit为保留位，最后四个bit位表示数据的编码类型，接着是8个字节局部数据流业务时间戳数据，接着一个字节表示数据流名称长度Y1，接着Y1个字节是数据流名称；接着是1
‑
3个字节的变长整形数
据，表示真实数据的长度Y2,接着Y2个字节是真实的数据。9.根据权利要求1所述的一种采集网关多监测点数据聚合上报方法，其特征在于，所述步骤S5中，对网关数据采集传输到平台中的数据模型进行自有协议编码设计时，需要对伪代码进行编码和解码；其中，伪代码的编码过程如下：步骤T1：将版本号编码为一个字节B1；步骤T2：根据是否存在全局BizTime,是否存在自身数据和是否存在代理数据编码得到总体控制字...

【专利技术属性】
技术研发人员：邬江涛，张晨，杨长新，李孟君，晏奇，马继伟，
申请(专利权)人：重庆冲程科技有限公司，
类型：发明
国别省市：