一种用于物联网终端设备的数据高效采集传输方法技术

本申请涉及一种用于物联网终端设备的数据高效采集传输方法，包括如下步骤：S1：选定数据采集模式，进行数据采集并存储至上位机；S2：对数据进行预处理，防止数据被其它占用；S3：将系统日期与原始数据文件的日期进行比较，若不一致则更正系统日期并重新执行S3；若一致则对最新的原始数据进行格式统一，并计算校验值；S4：对校验好的数据进行封装，并将封装好的数据通过无线通信设备传输至解析服务器进行健康检测和数据解析，判断工业现场是否存在故障。本发明专利技术可实现工业现场设备数据的实时采集、实时传输、实时反馈，具有可定制、实用性强、准确度高、稳定可靠、高效等优点。高效等优点。高效等优点。

【技术实现步骤摘要】
一种用于物联网终端设备的数据高效采集传输方法


[0001]本申请涉及工业物联网应用领域，具体涉及一种用于物联网终端设备的数据高效采集传输方法。

技术介绍

[0002]在工业物联网领域，大量工业现场设备通过良好的控制可以实现不同类别的功能，以生产出实际需要的优良产品。然而，在工业研发、生产、制造以及后续的全流程中会运行大量实时数据，由于工业现场设备的安全性不能够直接联网，这些运行数据也就无法被传输至服务器中，这就会造成大量数据价值不能充分挖掘，从而使资源浪费。
[0003]目前国内工业数据采集主要有以下两种方式：
[0004](1)有线数据采集。工业现场各种设备的运行数据采集，主要是由现场总线、工业以太网、工业光纤网络等工业通讯网络与上位机进行连接，以完成工厂设备的数据采集，可分为3类，主要包括传感器、变送器、采集器等特殊的采集装置；对常用的PLC，嵌入式系统，IPC等进行数据采集；完成机器人，数控机床，AGV等特殊智能仪器的数据采集。其主要根据其对机床、机器人等设备的现场数据进行采集，包括机床、机器人、原材料、在制品、成品、工艺、质量等过程数据、温度、湿度等环境数据、现场工人操作数据(如单次操作时间)等作业数据。该方式虽然高效采集数据，但大量数据仍存储在本地上位机中，不同厂房、工厂中的数据无法互联互通，不能统一被传输至服务器，无法为后期决策提供依据。
[0005](2)无线数据采集。涉及远距离传输的数据采集主要通过工业物联网(4G、5G、LTE专网、NB
‑
IoT、Zigbee等)来远程访问工厂中的数据采集设备，其智能采集设备通常采用DTU、数据采集网关等方式采集数据。主要收集智能产品或设备运行时的重要指标，如工作电流，电压，功率消耗，电池电量，内部资源消耗，通信状态，通信流量等。该方式虽然可以将大量数据统一传输至服务器中，但由于本地设备不同接口的不统一，数据的采集和传输过程是单一的，不兼容的，不安全的。
[0006]第一种方式采集的数据大都通过监督每个上位机的人员后期统计汇总，而第二种方式采集和传输的数据是网络直接访问数据采集设备，这两种传统方法存在相当大的弊端，人工统计科学依据不牢靠、统计结果不精确、极易出错，网络直接访问采集不安全、易泄露、易被攻击，后续也无法扩展为更加智能化的制造设备。

技术实现思路

[0007]本专利技术的目的在于，提供一种用于物联网终端设备的数据高效采集传输方法，能够解决传统工业现场设备数据联网不安全，不同本地设备运行数据采集过程中的不统一、规避数据传输错误，检测数据的健康状态，从而有效解决工业现场设备数据的高效采集和传输问题。
[0008]本专利技术采取的技术方案是：一种用于物联网终端设备的数据高效采集传输方法，包括如下步骤：
[0009]S1：根据采集数据的设备种类选定工业现场设备的采集模式，并进行工业现场原始数据的采集，采集到的原始数据采用表格文件的形式存至上位机；
[0010]S2：对原始数据采用Anti
‑
occupancy方法进行预处理，防止要读取的原始数据文件被其它设备占用，保证文件的实时可读；
[0011]S3：将系统日期与原始数据文件的日期进行比较，若不一致则更正系统日期并重新执行S3；若一致则对最新的原始数据进行检测，检测最新的原始数据是否已经传输，若已传输则定时后重新检测，定时的时间间隔为t；将检测好的原始数据进行格式统一，并采用CRC
‑
16/XMODEM方法对统一好格式的原始数据进行校验，得到对应的校验值；
[0012]S4：采用CTFIE协议对校验好的数据进行封装，所述CTFIE协议包括前缀prefix、包体长度packet_length、扩展位extension_bit、健康检测位healthyTest_bit、节点号node_id、消息数目message_num、消息类型message_type、传感器号sensor_id、数据统一后数据集data、校验位check_bit和后缀suffix；将封装好的数据通过无线通信设备传输至解析服务器中，进行健康检测和数据解析；对健康的数据包解除封装并存储至服务器中，对不健康的数据包判断工业现场出现的故障类型，并将健康检测的结果反馈给服务器。
[0013]进一步地，所述步骤S1中采集模式通过参数m指定，m为自定义的设备来源或已定义过现场设备。
[0014]进一步地，所述步骤S1中的表格文件格式为.xls、.xlsx或.csv。
[0015]进一步地，所述步骤S2中采用Anti
‑
occupancy方法进行数据预处理的具体方法为：在同一文件夹下生成另外一个与原始数据文件的格式和内容均相同的缓存数据文件，在步骤S3和S4需要读取原始数据时只缓存数据文件；当新的实时数据文件输入时，缓存文件也同样被新的数据文件覆盖。
[0016]进一步地，所述步骤S3中将原始数据进行格式统一方法包括Dunity统一法、Nunity统一法和Funity统一法，统一后的数据为4位十六进制数；
[0017]所述Dunity统一法，是对所有位数不超过2的小数乘以位数化整、对所有位数大于2的小数乘以100并向下取整，再将化整后的整数转化为4位十六进制数，转化后不足4位则在前面补0；
[0018]所述Nunity统一法，是对负数取绝对值，再将取绝对值后的整数转化为4位十六进制数，，转化后不足4位则在前面补0，然后将最高位的0变为1；
[0019]所述Funity统一法，是直接将正数转化为4位十六进制数，转化后不足4位则在前面补0。
[0020]进一步地，所述步骤S3中采用CRC
‑
16/XMODEM方法对统一好格式的原始数据进行校验值计算的多项式为X
16
+X
12
+X5+X0，其中X
16
代表Bit16为1、X
12
代表Bit12为1、X5代表Bit5为1、X0代表Bit1为1，X
16
+X
12
+X5+X0即代表多项式为0x11021。
[0021]进一步地，所述步骤S4中的健康检测结果包括四种状态，分别是healthy、RunError、PeopleError和EquipmentError；healthy表示接收到的数据包中数据为正常数据，RunError表示接收到的数据包中数据为异常数据，异常状态为系统运行故障，PeopleError表示接收到的数据包中数据为异常数据，异常状态为人为因素故障，EquipmentError表示接收到的数据包中数据为异常数据，异常状态为无线通信设备故障。
[0022]本专利技术的有益效果在于：
[0023](1)运用本专利技术所述的数据高效采集传输方法，工业现场设备可以实时将本地数据上传至任意配置的服务器，解决了国内目前由于安全和技术不兼容等因素，造成大量工业设备未能联网，大量工业设备运行数据未能高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于物联网终端设备的数据高效采集传输方法，其特征在于，包括如下步骤：S1：根据采集数据的设备种类选定工业现场设备的采集模式，并进行工业现场原始数据的采集，采集到的原始数据采用表格文件的形式存至上位机；S2：对原始数据采用Anti
‑
occupancy方法进行预处理，防止要读取的原始数据文件被其它设备占用，保证文件的实时可读；S3：将系统日期与原始数据文件的日期进行比较，若不一致则更正系统日期并重新执行S3；若一致则对最新的原始数据进行检测，检测最新的原始数据是否已经传输，若已传输则定时后重新检测，定时的时间间隔为t；将检测好的原始数据进行格式统一，并采用CRC
‑
16/XMODEM方法对统一好格式的原始数据进行校验，得到对应的校验值；S4：采用CTFIE协议对校验好的数据进行封装，所述CTFIE协议包括前缀prefix、包体长度packet_length、扩展位extension_bit、健康检测位healthyTest_bit、节点号node_id、消息数目message_num、消息类型message_type、传感器号sensor_id、数据统一后数据集data、校验位check_bit和后缀suffix；将封装好的数据通过无线通信设备传输至解析服务器进行数据解析，并将正确的数据存储至服务器中，同时对数据进行健康检测，判断工业现场是否存在故障，并将健康检测的实时数据反馈给服务器。2.根据权利要求1所述的一种用于物联网终端设备的数据高效采集传输方法，其特征在于，所述步骤S1中采集模式通过参数m指定，m为自定义的设备来源或已定义过现场设备。3.根据权利要求1所述的一种用于物联网终端设备的数据高效采集传输方法，其特征在于，所述步骤S1中的表格文件格式为.xls、.xlsx或.csv。4.根据权利要求1所述的一种用于物联网终端设备的数据高效采集传输方法，其特征在于，所述步骤S2中采用Anti
‑
occupancy方法进行数据预处理的具体方法为：在同一文件夹下生成另外一个与原始数据文件的格式和内容均相同的缓存数据文件...

【专利技术属性】
技术研发人员：蔡海多，陈利明，刘长虹，刘继辉，邵晨育，杨丰玉，杨志勇，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：