一种基于边缘计算技术的高速数采系统及方法技术方案

本发明专利技术公开了一种基于边缘计算技术的高速数采系统及方法，包括卷烟机共享文件、边缘侧上位机系统、物联网平台、数据库；卷烟机共享文件用于卷烟机烟支实时数据的录入；边缘侧上位机系统用于获取卷烟机共享文件中的烟支实时数据，通过数据推送，上传失败数据的自动处理，并对推送的数据进行清洗规范、审计跟踪、数据拆分与整合后，将数据通过自定义协议上传至物联网平台；物联网平台将烟支实时数据进行实例化，并将数据保存到数据库中。本发明专利技术能够采集到整批次中具体单支烟的工艺质量数据；利用边缘计算技术，实现数据上传的全自动化，提高数据传输效率，在数据处理方面具有实时性的优势，从而能够更好的支撑本地业务实时处理与执行。行。行。

【技术实现步骤摘要】
一种基于边缘计算技术的高速数采系统及方法


[0001]本专利技术属于工业物联网及边缘计算领域，特别涉及一种基于边缘计算技术的高速数采系统及方法。

技术介绍

[0002]随着互联网技术、信息数字技术、人工智能技术的迅速进步，物联网及智能制造已经获得大范围推广。我国发布《工业物联网白皮书》指出，通过工业资源的网络互联、数据互通和系统互操作，实现制造过程的按需执行、制造工艺的合理优化，达到资源的高效利用，从而构建服务驱动型的新工业生态体系。边缘计算是一种面向物联网的分布式计算基础设施，可将计算能力和数据分析应用扩展至网络“边缘”，它使客户能够在本地分析和管理数据，从而通过联接获得即时的见解。
[0003]现今生产车间卷烟机分为低中速卷烟机pt70/pt1-8，速度分别是7000/8500支/每分钟，与高速卷烟机pt2-2/m5/m8，速度分别是16000/15000/20000支/每分钟。高速卷烟机的数据采集单位时间内数据量十分庞大，传统的数据采集方法大多只对整批次烟支进行抽样检测或只采集烟支的平均值，无法精细到单支烟的数据采集，且采集速度与上传速度不能满足实时智能控制的需要。

技术实现思路

[0004]本专利技术的目的是提供一种利用边缘计算技术，实现数据上传的全自动化、无需人工检测系统数据上传失败问题、数据传输效率高、解决高速卷烟机智能控制过程中数据采集质量、数据的真实性与实时性问题，进而提高卷烟工艺质量的一种基于边缘计算技术的高速数采系统及方法。
[0005]为实现上述目的，本专利技术采用的技术方案如下：一种基于边缘计算技术的高速数采系统，包括卷烟机共享文件、边缘侧上位机系统、物联网平台、数据库；其特征在于：所述卷烟机共享文件，用于卷烟机烟支实时数据的录入；所述边缘侧上位机系统，用于获取所述卷烟机共享文件中的烟支实时数据，通过数据推送，上传失败数据的自动处理，并对推送的数据进行清洗规范、审计跟踪、数据拆分与整合后，将数据通过自定义协议上传至所述物联网平台；所述物联网平台将烟支实时数据进行实例化，并将数据保存到数据库中；所述数据库，用于提供数据存储服务；所述边缘侧上位机系统包括高速缓存模块、数据推送模块、边缘存储模块、失败数据处理模块、边缘数据处理模块、边缘数据整合模块、数据安全模块；所述高速缓存模块，与所述卷烟机共享文件连接，用于读取卷烟机共享文件中的数据；所述数据推送模块，与所述高速缓存模块连接，用于当高速缓存达到阈值时，数据推送模块会触发推送任务，向所述边缘数据处理模块推送烟支实时数据，若数据上传成功，则标定数据上传成功；若数据上传失败，则标定数据上传失败，进而触发数据本地保存任务，将数据上传至所述边缘存储模块；
所述边缘存储模块，与所述数据推送模块连接，用于分类记录所述数据推送模块上传的数据并储存在本地数据库中；所述失败数据处理模块，与所述边缘存储模块、所述数据推送模块连接，用于轮询检测所述边缘存储模块保存的推送失败的数据，并将推送失败数据再次上传至所述数据推送模块；所述边缘数据处理模块，通过边缘数据接口与所述数据推送模块连接，用于将所述数据推送模块推送的实时数据，根据既定的处理规则进行数据规范、数据解析、清洗与审计跟踪；所述边缘数据处理模块靠近设备端，能以毫秒级的速度处理数据；所述边缘数据整合模块，与所述边缘数据处理模块连接，用于对所述边缘数据处理模块处理后的数据按照设备状态、产品信息、工艺质量、工艺规范进行整合和拆分；所述数据安全模块，分别与所述高速缓存模块、所述数据推送模块、所述边缘存储模块、所述失败数据处理模块、所述边缘数据处理模块、所述边缘数据整合模块连接，用于提供数据的加密、解密、分层控制访问权限、身份认证、日志管理服务。
[0006]优选的，所述边缘存储模块，可以批量插入数据，并且分为：未上传数据、上传成功数据、上传失败数据三种状态保存；所述边缘存储模块，可以批量修改所述三种状态。
[0007]优选的，所述自定义协议，采用WebSocket通信协议。
[0008]一种基于边缘计算技术的高速数采方法，基于上述的一种基于边缘计算技术的高速数采系统，其特征在于，包括以下步骤：步骤1：边缘侧上位机系统中的高速缓存模块从卷烟机共享文件中读取卷烟机的16000支/分的单支烟毫秒级烟支实时数据；步骤2：当高速缓存达到阈值时，数据推送模块会触发推送任务，向边缘数据处理模块推送烟支实时数据，若数据上传成功，则标定数据上传成功；若数据上传失败，则标定数据上传失败，进而触发数据本地保存任务，将数据上传至边缘存储模块；边缘存储模块，可以批量插入数据，并且分为：未上传数据、上传成功数据、上传失败数据三种状态保存；边缘存储模块，可以批量修改所述三种状态；步骤3：失败数据处理模块通过轮询检测判断边缘存储模块标记的上传失败数据，查询定量的上传失败数据，并将推送失败数据再次上传至数据推送模块，经边缘数据接口传输至边缘数据处理模块，若数据上传成功，则删除已上传的数据；若数据上传失败，则将错误记录写入错误日志，等待设定时间，轮询查询数据并再次上传；步骤4：边缘数据处理模块通过边缘数据接口与数据推送模块连接，获取数据推送模块推送的实时数据，并根据既定的处理规则进行数据规范、数据解析、清洗与审计跟踪；对烟支于源数据中时间、数值、字符，字段格式约束定义，依据业务需求对多源异构数据进行分解，实现无效数据、缺失数据的替换，对异常数据进行标记，实时追踪；步骤5：边缘数据整合模块对边缘数据处理模块处理后的数据按照设备状态、产品信息、工艺质量、工艺规范进行整合和拆分，并将处理后的数据通过自定义协议传输至物联网平台；步骤6：物联网平台将烟支实时数据进行实例化，将卷烟机运行数据、烟支工艺质量数据、质量检测数据、设备校正数据等信息整合为一个整体，以卷烟机设备为中心围绕着工艺参数进行数字建模，按照工艺流程、业务逻辑关系对数据信息进行整理，数据与边缘数据整
合模块对应，并将数据保存到数据库中。
[0009]优选的，步骤1所述边缘侧上位机系统中的高速缓存模块从卷烟机共享文件中读取卷烟机的16000支/分的单支烟毫秒级烟支实时数据，包括：高速缓存模块建立对卷烟机共享文件的监听，通过打开最新的数据文件并开始读取数据，将文件中新数据加入待上传队列，自上次上传后数据累计时间超过一秒后，将整批次数据上传并清空待上传队列；当未从文件中读取到新数据时，首先检查并上传待上传队列之前累积的数据；上传过程中实时监测文件中新数据的生成，若无新数据生成，等待100毫秒再去读取数据并继续作后续循环判断。
[0010]优选的，步骤1所述边缘侧上位机系统中包括数据安全模块，所述数据安全模块，分别与所述高速缓存模块、所述数据推送模块、所述边缘存储模块、所述失败数据处理模块、所述边缘数据处理模块、所述边缘数据整合模块连接，用于提供数据的加密、解密、分层控制访问权限、身份认证、日志管理服务。
[0011]优选的，所述数据安全模块，包括：边缘数据安全：使用TEE可信执行环境，提供底层数据库SHA安全管理令牌与SSL传输加密，在软件、硬件上相结合，使得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘计算技术的高速数采系统，包括卷烟机共享文件、边缘侧上位机系统、物联网平台、数据库；其特征在于：所述卷烟机共享文件，用于卷烟机烟支实时数据的录入；所述边缘侧上位机系统，用于获取所述卷烟机共享文件中的烟支实时数据，通过数据推送，上传失败数据的自动处理，并对推送的数据进行清洗规范、审计跟踪、数据拆分与整合后，将数据通过自定义协议上传至所述物联网平台；所述物联网平台将烟支实时数据进行实例化，并将数据保存到数据库中；所述数据库，用于提供数据存储服务；所述边缘侧上位机系统包括高速缓存模块、数据推送模块、边缘存储模块、失败数据处理模块、边缘数据处理模块、边缘数据整合模块、数据安全模块；所述高速缓存模块，与所述卷烟机共享文件连接，用于读取卷烟机共享文件中的数据；所述数据推送模块，与所述高速缓存模块连接，用于当高速缓存达到阈值时，数据推送模块会触发推送任务，向所述边缘数据处理模块推送烟支实时数据，若数据上传成功，则标定数据上传成功；若数据上传失败，则标定数据上传失败，进而触发数据本地保存任务，将数据上传至所述边缘存储模块；所述边缘存储模块，与所述数据推送模块连接，用于分类记录所述数据推送模块上传的数据并储存在本地数据库中；所述失败数据处理模块，与所述边缘存储模块、所述数据推送模块连接，用于轮询检测所述边缘存储模块保存的推送失败的数据，并将推送失败数据再次上传至所述数据推送模块；所述边缘数据处理模块，通过边缘数据接口与所述数据推送模块连接，用于将所述数据推送模块推送的实时数据，根据既定的处理规则进行数据规范、数据解析、清洗与审计跟踪；所述边缘数据处理模块靠近设备端，能以毫秒级的速度处理数据；所述边缘数据整合模块，与所述边缘数据处理模块连接，用于对所述边缘数据处理模块处理后的数据按照设备状态、产品信息、工艺质量、工艺规范进行整合和拆分；所述数据安全模块，分别与所述高速缓存模块、所述数据推送模块、所述边缘存储模块、所述失败数据处理模块、所述边缘数据处理模块、所述边缘数据整合模块连接，用于提供数据的加密、解密、分层控制访问权限、身份认证、日志管理服务。2.根据权利要求1所述的一种基于边缘计算技术的高速数采系统，其特征在于：所述边缘存储模块，可以批量插入数据，并且分为：未上传数据、上传成功数据、上传失败数据三种状态保存；所述边缘存储模块，可以批量修改所述三种状态。3.根据权利要求1所述的一种基于边缘计算技术的高速数采系统，其特征在于：所述自定义协议，采用WebSocket通信协议。4.一种基于边缘计算技术的高速数采方法，基于根据权利要求1-3任一所述的一种基于边缘计算技术的高速数采系统，其特征在于，包括以下步骤：步骤1：边缘侧上位机系统中的高速缓存模块从卷烟机共享文件中读取卷烟机的16000支/分的单支烟毫秒级烟支实时数据；步骤2：当高速缓存达到阈值时，数据推送模块会触发推送任务，向边缘数据处理模块推送烟支实时数据，若数据上传成功，则标定数据上传成功；若数据上传失败，则标定数据上传失败，进而触发数据本地保存任务，将数据上传至边缘存储模块；边缘存储模块，可以批量插入数据，并且分为：未上传数据、上传成功数据、...

【专利技术属性】
技术研发人员：刘涛，菅威，杨宁，周亚楠，刘海龙，
申请(专利权)人：青岛海大新星软件咨询有限公司，
类型：发明
国别省市：