一种基于DataX的物联网边缘数据采集网关及其实现方法技术

本发明专利技术公开一种基于DataX的物联网边缘数据采集网关及其实现方法，涉及物联网应用技术领域，其实现内容包括：其基于开源数据同步工具DataX的Framework+plugin架构，编写适配各类物联网设备接入协议的DataX Reader插件，编写适配不同协议数据源的DataX Writer插件；将两个插件在DataX中打包发布；将DataX部署在物联网设备边缘侧；将适配某类物联网设备接入协议的DataX Reader插件和适配某类协议数据源的DataX Writer插件组合为一个DataX Job；在DataX Job中定义蕴含边缘侧数据清洗逻辑的DataX Transformer，实现对接入数据的处理；启动DataXJob，通过Task及TaskGoup并行机制进行数据传输，以通过DataX Reader插件将一类物联网设备协议的数据接入，通过DataX Writer插件将接入数据转发至目标数据源。本发明专利技术可以满足物联网数据融入业务应用的数据接入需求。物联网数据融入业务应用的数据接入需求。物联网数据融入业务应用的数据接入需求。

【技术实现步骤摘要】
一种基于DataX的物联网边缘数据采集网关及其实现方法


[0001]本专利技术涉及物联网应用
，具体的说是一种基于DataX的物联网边缘数据采集网关及其实现方法。

技术介绍

[0002]物联网在工业、农业、交通、能源、智慧城市等各个领域被广泛应用，并由此产生了大量的物联网数据。
[0003]如何能够便捷的采集各类不同协议的物联网设备数据，以及将物联网数据接入不同数据应用，同时与组织内其他数据深度融合，以挖掘数据潜在价值，成为“万物互联”时代首要解决的问题。

技术实现思路

[0004]本专利技术针对目前技术发展的需求和不足之处，提供一种基于DataX的物联网边缘数据采集网关及其实现方法。
[0005]首先，本专利技术的一种基于DataX的物联网边缘数据采集网关，解决上述技术问题采用的技术方案如下：
[0006]一种基于DataX的物联网边缘数据采集网关，其基于开源数据同步工具DataX的Framework+plugin架构，包括：
[0007]扩展模块，用于对DataX Reader插件进行扩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DataX的物联网边缘数据采集网关，其特征在于,其基于开源数据同步工具DataX的Framework+plugin架构，包括：扩展模块，用于对DataX Reader插件进行扩展编写，以适配各类物联网设备的接入协议，还用于对DataX Writer插件进行扩展编写，以适配不同协议的数据源；打包发布模块，用于将编写完成的DataX Reader插件和DataX Writer插件在DataX中打包发布；部署模块，用于将DataX部署在物联网设备边缘侧；协议组合模块，用于将适配某类物联网设备接入协议的DataX Reader插件和适配某类协议数据源的DataX Writer插件组合为一个DataX Job；定义模块，用于在DataX Job中定义蕴含边缘侧数据清洗逻辑的DataX Transformer，实现对边缘侧接入数据的处理；启动模块，用于启动DataX Job，DataX Job通过Task及TaskGoup并行机制，进行数据传输，以通过DataX Reader插件将一类物联网设备协议的数据接入，通过DataX Writer插件将接入数据转发至目标数据源。2.根据权利要求1所述的一种基于DataX的物联网边缘数据采集网关，其特征在于，所述扩展模块扩展编写DataX Reader插件和DataX Writer插件的过程中，同时实现Job和Task两个内部抽象类，在Task类的startRead方法中实现将物联网设备接入数据写入DataX Reader插件和DataX Writer插件之间的Framework。3.根据权利要求1所述的一种基于DataX的物联网边缘数据采集网关，其特征在于，所述打包发布模块在plugin.json文件中定义DataX Reader插件和DataX Writer插件，使用assembly将定义后的DataX Reader插件和DataX Writer插件在DataX中打包发布。4.根据权利要求1所述的一种基于DataX的物联网边缘数据采集网关，其特征在于，对边缘侧接入数据的处理包括清洗、过滤、加密、质量稽核、简单计算。5.一种基于Da...

【专利技术属性】
技术研发人员：张延群，单震，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：