【技术实现步骤摘要】
工业智造物联网的大数据传输和持久化方法及系统
本专利技术涉及通信领域，具体地，涉及一种工业智造物联网的大数据传输和持久化方法及系统。
技术介绍
传统的基于mqtt协议的文件传输方法，传输安全性都依赖于mqtt代理校验，本专利提供了一种通过数据中心注册下发有时效证书，传输过程对连接加密的方式保证传输安全性；此外现有的数据传输方式不支持传输数据的高速存储持久化和传输链路资源容量动态弹扩，本专利采用的路由分发策略在保障吞吐和延迟的前提下支持传输节点的动态扩容，并以高容错的方式对传输数据进行持久化，传输数据的即时消费，延迟消费，后续的统计分析得以实现。专利文献为201910934743.9的专利技术专利公开了一种基于MQTT协议的文件传输方法，利用MQTT协议，提高了文件传输的可靠性及效率，采用队列先进先出和单线程处理相结合的方式，保证了多个文件同时传输时，接收端接收多个文件时不会出现文件片段穿插的问题，保证了多个文件传输的完整性和独立性。专利文献为201910885870.4的专利技术专利公开了一种MQTT...
【技术保护点】
1.一种工业智造物联网的大数据传输和持久化方法，其特征在于，包括如下步骤：/n设备数据上传安全校验步骤：注册用户并加密上传数据；/n数据传输路由分发步骤：发布所述上传数据并路由分发；/n数据解析和持久化步骤：解析上传数据并进行数据持久化操作。/n
【技术特征摘要】 【专利技术属性】
1.一种工业智造物联网的大数据传输和持久化方法，其特征在于，包括如下步骤：
设备数据上传安全校验步骤：注册用户并加密上传数据；
数据传输路由分发步骤：发布所述上传数据并路由分发；
数据解析和持久化步骤：解析上传数据并进行数据持久化操作。
2.根据权利要求1所述的工业智造物联网的大数据传输和持久化方法，其特征在于，所述设备数据上传安全校验步骤包括：
数据传输许可证书获取步骤：使用上传数据的设备，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
加密上传步骤：根据所述数据传输许可证书对设备上报数据进行加密上传。
3.根据权利要求1所述的工业智造物联网的大数据传输和持久化方法，其特征在于，数据传输路由分发步骤包括：
数据上传发布步骤：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发步骤：根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
分布式状态管理模块动态维护后接收数据节点的IPlist；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
4.根据权利要求3所述的工业智造物联网的大数据传输和持久化方法，其特征在于，所述数据解析和持久化步骤，包括：
数据解析步骤:系统持久化层接收的字节流数据反序列化为实体类；
判断请求动态配置中心是否有解析配置，若判断无解析配置，则数据全部属性转换为json样式的字符串；若判断有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化步骤：判断实时持久化服务是否可达，若判断结果为实时持久化服务可达，则调用实时持久化服务；若判断结果为实时持久化服务不可达，则调用离线持久化服务。
5.根据权利要求4所述的工业智造物联网的大数据传输和持久化方法，其特征在于，
所述实时持久化服务包括：
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，并判断数据是否发送成功，若判断结果为数据发送成功，则发送下一条数据；若判断结果为数据发送失败，则根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
离线持久化服务包括：
对发送数据进行异步flush到磁盘，根据持久化服务接收消息时间构建flush落盘路径；
异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容。
技术研发人员：张昭，邱全志，粟常伟，
申请(专利权)人：上海微亿智造科技有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。