【技术实现步骤摘要】
物联网环境下分布式高并发数据采集与处理方法及系统
本专利技术涉及大数据下的工业物联网数据采集
，特别是涉及一种物联网环境下分布式高并发数据采集与处理方法及系统。
技术介绍
对于大部分制造业企业，测量仪器、作业设备的自动数据采集一直是个令人烦恼的事情，不但工作繁重，同时也无法保证数据的准确性，数据经常滞后；而对于现场的不良产品信息及相关的生产数据，如何实现高效率、简洁、实时的数据采集更是一大难题。大数据的数据采集是在确定用户目标的基础上，针对该范围内所有的结构化、半结构化和非结构化的数据的采集，采集后对这些数据进行处理，从中分析和挖掘出有价值的信息。在大数据的采集过程中，其面临的挑战主要有两点，其一是异构物联网设备的通信协议以及数据协议呈现多样性；另外随着海量设备接入，数据采集的高并发数会产生性能瓶颈，导致数据积压、连接超时等问题。
技术实现思路
本专利技术的目的是提供一种物联网环境下分布式高并发数据采集与处理方法及系统，采用Netty框架，支持大批量数据采集，具有高吞吐量、高并发、低延迟、可...
【技术保护点】
1.一种物联网环境下分布式高并发数据采集与处理方法，其特征在于，包括以下步骤：/nS1，采集终端设备的数据并发送至物联网网关；/nS2，物联网网关将数据发送给数据采集模块，数据采集模块对数据进行处理，具体包括：/nS201，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置采集模块启动相关的初始化参数；/nS202，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置；/nS203，构造一个继承自ChannelInboundH...
【技术特征摘要】
1.一种物联网环境下分布式高并发数据采集与处理方法，其特征在于，包括以下步骤：
S1，采集终端设备的数据并发送至物联网网关；
S2，物联网网关将数据发送给数据采集模块，数据采集模块对数据进行处理，具体包括：
S201，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置采集模块启动相关的初始化参数；
S202，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置；
S203，构造一个继承自ChannelInboundHandlerAdapter的处理类，根据通信协议格式的不同动态，添加针对不同协议的处理器Handler，并将其挂接到数据转发器进程的主通道内；
S204，构造主拦截器，用于进行数据处理，拦截器接收到上一Handler所解析的协议数据段信息，再根据用户自定义的业务逻辑对数据进行解析，将其挂接到数据转发器进程的主通道内，协议处理拦截器之后；
S205，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列单元；
S3，消息队列接收原始数据和经数据处理模块处理后的数据，并分别存入不同数据库中。
2.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S201中，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置采集模块启动相关的初始化参数，具体包括：
ServerBootstrap作为采集模块的启动辅助类，设置启动相关参数，包括：
a)将主线程组、工作线程组与进程引导器相关联；
b)设置线程组的通道类型为非阻塞IO通道。
3.根据算例要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S202中，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置，具体包括：
主线程组bossGr...
【专利技术属性】
技术研发人员：李毅仁，李玉涛，明勇杰，赵海滨，孔祥岭，孙雷，李宏鹏，翟佳豪，邢伟晗，
申请(专利权)人：河钢数字技术股份有限公司，
类型：发明
国别省市：河北;13
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。