本发明专利技术公开一种基于DataX的物联网边缘数据采集网关及其实现方法，涉及物联网应用技术领域，其实现内容包括：其基于开源数据同步工具DataX的Framework+plugin架构，编写适配各类物联网设备接入协议的DataX Reader插件，编写适配不同协议数据源的DataX Writer插件；将两个插件在DataX中打包发布；将DataX部署在物联网设备边缘侧；将适配某类物联网设备接入协议的DataX Reader插件和适配某类协议数据源的DataX Writer插件组合为一个DataX Job；在DataX Job中定义蕴含边缘侧数据清洗逻辑的DataX Transformer，实现对接入数据的处理；启动DataXJob，通过Task及TaskGoup并行机制进行数据传输，以通过DataX Reader插件将一类物联网设备协议的数据接入，通过DataX Writer插件将接入数据转发至目标数据源。本发明专利技术可以满足物联网数据融入业务应用的数据接入需求。物联网数据融入业务应用的数据接入需求。物联网数据融入业务应用的数据接入需求。
【技术实现步骤摘要】
一种基于DataX的物联网边缘数据采集网关及其实现方法
[0001]本专利技术涉及物联网应用
，具体的说是一种基于DataX的物联网边缘数据采集网关及其实现方法。
技术介绍
[0002]物联网在工业、农业、交通、能源、智慧城市等各个领域被广泛应用，并由此产生了大量的物联网数据。
[0003]如何能够便捷的采集各类不同协议的物联网设备数据，以及将物联网数据接入不同数据应用，同时与组织内其他数据深度融合，以挖掘数据潜在价值，成为“万物互联”时代首要解决的问题。
技术实现思路
[0004]本专利技术针对目前技术发展的需求和不足之处，提供一种基于DataX的物联网边缘数据采集网关及其实现方法。
[0005]首先，本专利技术的一种基于DataX的物联网边缘数据采集网关，解决上述技术问题采用的技术方案如下：
[0006]一种基于DataX的物联网边缘数据采集网关，其基于开源数据同步工具DataX的Framework+plugin架构，包括：
[0007]扩展模块，用于对DataX Reader插件进行扩展编写，以适配各类物联网设备的接入协议，还用于对DataX Writer插件进行扩展编写，以适配不同协议的数据源；
[0008]打包发布模块，用于将编写完成的DataX Reader插件和DataX Writer插件在DataX中打包发布；
[0009]部署模块，用于将DataX部署在物联网设备边缘侧；
[0010]协议组合模块，用于将适配某类物联网设备接入协议的DataX Reader插件和适配某类协议数据源的DataX Writer插件组合为一个DataX Job；
[0011]定义模块，用于在DataX Job中定义蕴含边缘侧数据清洗逻辑的DataX Transformer，实现对边缘侧接入数据的处理；
[0012]启动模块，用于启动DataX Job，DataX Job通过Task及TaskGoup并行机制，进行数据传输，以通过DataX Reader插件将一类物联网设备协议的数据接入，通过DataX Writer插件将接入数据转发至目标数据源。
[0013]可选的，所涉及扩展模块扩展编写DataX Reader插件和DataX Writer插件的过程中，同时实现Job和Task两个内部抽象类，在Task类的startRead方法中实现将物联网设备接入数据写入DataX Reader插件和DataX Writer插件之间的Framework。
[0014]可选的，所涉及打包发布模块在plugin.json文件中定义DataX Reader插件和DataX Writer插件，使用assembly将定义后的DataX Reader插件和DataX Writer插件在DataX中打包发布。
[0015]可选的，对边缘侧接入数据的处理包括清洗、过滤、加密、质量稽核、简单计算。
[0016]其次，本专利技术的一种基于DataX的物联网边缘数据采集网关实现方法，解决上述技术问题采用的技术方案如下：
[0017]一种基于DataX的物联网边缘数据采集网关实现方法，包括如下步骤：
[0018]S1、基于开源数据同步工具DataX的Framework+plugin架构，编写适配各类物联网设备接入协议的DataX Reader插件，编写适配不同协议数据源的DataX Writer插件；
[0019]S2、将编写完成的DataX Reader插件和DataX Writer插件在DataX中打包发布；
[0020]S3、将DataX部署在物联网设备边缘侧，适配某类物联网设备接入协议的DataX Reader插件和适配某类协议数据源的DataX Writer插件组合为一个DataX Job，启动该DataX Job，即可实现一类物联网设备协议的数据接入以及将接入数据转发至目标数据源；
[0021]S4、在DataX Job中定义蕴含边缘侧数据清洗逻辑的DataX Transformer，实现对边缘侧接入数据的处理；
[0022]S5、启动DataX Job，通过DataX的Task及TaskGoup并行机制，实现数据传输；
[0023]S6、通过DataX Writer插件，将接入的物联网设备数据写入对应的数据源。
[0024]可选的，执行步骤S1编写DataX Reader插件和DataX Writer插件的过程中，同时实现Job和Task两个内部抽象类，在Task类的startRead方法中实现将物联网设备接入数据写入DataX Reader插件和DataX Writer插件之间的Framework。
[0025]可选的，执行步骤S2的具体操作为：
[0026]在plugin.json文件中定义DataX Reader插件和DataX Writer插件，使用assembly将定义后的DataX Reader插件和DataX Writer插件在DataX中打包发布。
[0027]可选的，执行步骤S4，对边缘侧接入数据的处理包括：
[0028]清洗、过滤、加密、质量稽核、简单计算。
[0029]本专利技术的一种基于DataX的物联网边缘数据采集网关及其实现方法，与现有技术相比具有的有益效果是：
[0030]本专利技术通过扩展Reader插件，实现不同物联网接入协议，通过扩展Writer插件，将接入的物联网数据传输到不同协议数据源，通过将实现了物联网接入协议的DataX组件部署在设备边缘侧，利用DataX的数据转换能力提供设备边缘侧的数据处理，利用DataX的高并发传输机制以及容错机制实现接入数据的低延迟、高可靠传输，并将接入数据传输至多种数据源，以满足物联网数据融入业务应用的数据接入需求。
附图说明
[0031]附图1是本专利技术实施例一的结构框图；
[0032]附图2是本专利技术对DataX插件扩展的示意图；
[0033]附图3是本专利技术将DataX Reader插件在DataX中打包发布的目录示意图；
[0034]附图4是本专利技术启动DataX Job进行现数据传输的示意图。
[0035]附图中各标号信息表示：
[0036]1、扩展模块，2、DataX Reader插件，3、DataX Writer插件，4、部署模块，
[0037]5、协议组合模块，6、定义模块，7、启动模块，8、打包发布模块。
具体实施方式
[0038]为使本专利技术的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本专利技术的技术方案进行清楚、完整的描述。
[0039]实施例一：
[0040]结合附图1
‑
4，本实施例提出一种基于DataX的物联网边缘数据采集网关，其基于开源数据同步工具DataX的Framework+plugin架构，包括：扩展模块1、打包发布模块8、部署模块4、本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于DataX的物联网边缘数据采集网关，其特征在于,其基于开源数据同步工具DataX的Framework+plugin架构，包括：扩展模块，用于对DataX Reader插件进行扩展编写，以适配各类物联网设备的接入协议，还用于对DataX Writer插件进行扩展编写，以适配不同协议的数据源；打包发布模块，用于将编写完成的DataX Reader插件和DataX Writer插件在DataX中打包发布；部署模块，用于将DataX部署在物联网设备边缘侧；协议组合模块，用于将适配某类物联网设备接入协议的DataX Reader插件和适配某类协议数据源的DataX Writer插件组合为一个DataX Job；定义模块，用于在DataX Job中定义蕴含边缘侧数据清洗逻辑的DataX Transformer，实现对边缘侧接入数据的处理；启动模块，用于启动DataX Job，DataX Job通过Task及TaskGoup并行机制，进行数据传输，以通过DataX Reader插件将一类物联网设备协议的数据接入，通过DataX Writer插件将接入数据转发至目标数据源。2.根据权利要求1所述的一种基于DataX的物联网边缘数据采集网关，其特征在于，所述扩展模块扩展编写DataX Reader插件和DataX Writer插件的过程中，同时实现Job和Task两个内部抽象类，在Task类的startRead方法中实现将物联网设备接入数据写入DataX Reader插件和DataX Writer插件之间的Framework。3.根据权利要求1所述的一种基于DataX的物联网边缘数据采集网关，其特征在于，所述打包发布模块在plugin.json文件中定义DataX Reader插件和DataX Writer插件，使用assembly将定义后的DataX Reader插件和DataX Writer插件在DataX中打包发布。4.根据权利要求1所述的一种基于DataX的物联网边缘数据采集网关，其特征在于，对边缘侧接入数据的处理包括清洗、过滤、加密、质量稽核、简单计算。5.一种基于Da...
【专利技术属性】
技术研发人员：张延群，单震，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。