一种基于大数据的统一数据接入网关及实现方法技术

本发明专利技术公开了一种基于大数据的统一数据接入网关，包括：调度引擎、数据源单元、执行器、执行器参数库、作业模板配置单元、作业调度单元、触发器和监控单元，在需要采用多种接入方式或接入多种数据源时，通过配置化的方式，实现数据接入，无需重复开发接入程序。本发明专利技术还公开了一种基于大数据的统一数据接入网关的实现方法。

A Unified Data Access Gateway Based on Big Data and Its Implementation

【技术实现步骤摘要】
一种基于大数据的统一数据接入网关及实现方法
本专利技术涉及轨道交通
，尤其涉及一种基于大数据的统一数据接入网关及实现方法。
技术介绍
现有技术中，轨道交通根据不同专业数据，数据接入的方式也不同。实时数据可以通过modbus、MQ消息队列、hadoop生态圈的kafka组件进行接入。离线数据通常采用FTP(FileTransferProtocol，文件传输协议)传输文件的形式接入。由于不同的数据接入方式采用不同的协议和数据源，导致每遇到一个新的数据接入方式，开发人员都需要写一套接入程序，来实现不同数据接入方式的互通，该接入程序只用来匹配一种数据源，例属接入实时类数据采用modbus协议，开发人员就需要单独针对modbus协议，编写接入代码。而最近几年实时数据接入开始普遍使用kafka、flume、storm等hadoop相关组件进行实现，开发人员又需要单独针对kafka等编写相应程序。
技术实现思路
为了解决
技术介绍
中存在的技术问题，本专利技术提出了一种基于大数据的统一数据接入网关及实现方法，在需要采用多种接入方式或接入多种数据源时，通过配置化的方式，实现数据接入，无需重复开发接入程序。本专利技术提出的一种基于大数据的统一数据接入网关，包括：调度引擎，是数据接入网关的基础组件，用于管理和运行数据接入的作业，将作业调度单元和触发器关联起来，按照触发器的配置，定时执行作业调度单元指定的作业；数据源单元，用于存储不同数据接入类型对应的参数；执行器，与调度引擎和数据源单元连接，根据调度引擎的指令配置对应的执行器；执行器参数库，与执行器连接，存储执行器参数；作业模板配置单元，与数据源单元和执行器连接，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板；作业调度单元，与作业模板配置单元和触发器连接，用于每一个作业都与一个作业模板相关联；触发器，用于配置作业的执行时间、周期、频率；监控单元，与作业调度单元连接，用于监控作业执行情况。优选地，所述数据接入类型包括：关系型数据库，内存数据库，文件系统，Modbus数据传输。优选地，对应的参数包括IP、端口、节点、账号、密码。优选地，所述触发器包括Simple和Cronfig两种类型。Simple类型触发器配置具体执行开始结束时间、周期、频率；Cronfig类行触发器配置调度表达式。优选地，所述监控单元还用于查看历史作业执行日志、清除应用日志、定时发送邮件短信或生成报表。本专利技术还提供了一种基于大数据的统一数据接入网关的实现方法，包括以下步骤：需配置数据源，对不同数据接入类型配置对应的参数；配置执行器，选择匹配的执行器类型及对应数据源；配置作业模板，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板；配置作业分组和名称，并关联到对应的作业模板，通过配置触发器，为作业指定执行时间和频率。优选地，还包括：监控作业执行情况，查看历史作业执行日志、清除应用日志、定时发送邮件短信或生成报表。优选地，所述触发器具体为：触发器配置具体执行开始结束时间、周期、频率；或触发器配置调度表达式。优选地，所述数据接入类型包括：关系型数据库，内存数据库，文件系统，Modbus数据传输。优选地，对应的参数包括IP、端口、节点、账号、密码。本专利技术中，通过预先配置不同的数据接入方式、并且适配不同数据源，实现不同接入方式或不同数据源之间的数据传输、处理，满足不同场景下的数据接入，即具有良好的可扩展性，又降低了数据接入的成本。附图说明图1为本专利技术实施例提出的一种基于大数据的统一数据接入网关结构图；图2为本专利技术实施例提出的一种基于大数据的统一数据接入网关实现方法流程图。具体实施方式本专利技术实施例提出了一种基于大数据的统一数据接入网关，如图1所示，包括：调度引擎10、数据源单元20、执行器30、执行器参数库40、作业模板配置单元50、作业调度单元60、触发器70和监控单元80。调度引擎10，是数据接入网关的基础组件，相当于是一个容器，用于管理和运行数据接入的作业，将作业调度单元60和触发器70关联起来，按照触发器70的配置，定时执行作业调度单元60指定的作业。例如一个分组为ACC、名称为station的作业，和一个分组为ACC、名称为stationTime的触发器，两个单元都存在于调度引擎里，通过配置将作业分组名称和触发器分组名称关联起来，这样调度引擎在运行作业时，就会读取此作业关联的触发器参数来执行作业。数据源单元20，用于存储不同数据接入类型对应的参数(包括IP、端口、节点、账号、密码等信息)，以支持客户端对数据源内数据的操作，包括支持客户端建立连接的访问参数，支持客户端关闭连接的关闭参数。其中，数据接入类型包括：关系型数据库(mysql，oracle，teradata等)，内存数据库(redis，mongodb等)，文件系统(本地文件系统，远程文件系统，HDFS等)，Modbus数据传输等。而且，该数据源类型及对应的参数可以扩展。执行器30，与调度引擎10和数据源单元20连接，根据调度引擎10的指令配置对应的执行器，即设定执行器参数(如参数个数、执行器类型、匹配数据源和数据源类型等，以确定执行具体的脚本程序)和对应的数据源，例如配置为SQL文件执行器，需事先配置SQL文件存放路径，以及执行的数据源。不同的数据源，不同的对数据的操作，有不同的执行器对应，如kafka执行器、SQL脚本执行器、SQL文件执行器等。执行器中预先设置所需要的。执行器对不同类型数据设置了对应的数据处理逻辑，形成组件，给不同场景调用，如kafka执行器封装了实时读取kafka消息队列数据的处理逻辑。依照现有软件设计架构，可无限适配各种数据操作，将其封装为执行器组件。执行器参数库40，与执行器30连接，存储执行器参数，不同的执行器拥有不同的参数个数和格式，执行器参数为其填充具体的值，将执行器具体化。如SQL文件执行器，需要配置SQL文件参数，该参数是文件的路径，所以是路径的格式。作业模板配置单元50，与数据源单元20和执行器30连接，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板，供作业调度单元调用。例如，配置一个将数据从mysql数据库接入到hadoop的kafka消息队列中。事先配置该作业模板，包括输入数据源为MySQL，输出数据源为kafka，执行器为读取MySQL数据和写入kafka消息队列。然后将作业模板配置到调度引擎中的作业单元里，再为作业单元匹配触发器单元。作业模板定义执行内容，触发器定义执行时间。如此，调度引擎就会根据作业配置的触发器和作业模板，运行作业。作业模板是把输入和输入相关参数事先配置，配置完成的作业模板可直接供作业组件调用运行。作业模板包括输入输出数据源，执行器以及参数。多个作业组件可同时依赖于一个作业模板。作业调度单元60，与作业模板配置单元50和触发器70连接，用于数据接入的程序单元。每一个作业都与一个作业模板相关联。作业有所属分组，本文档来自技高网...

【技术保护点】
1.一种基于大数据的统一数据接入网关，其特征在于，包括：调度引擎，是数据接入网关的基础组件，用于管理和运行数据接入的作业，将作业调度单元和触发器关联起来，按照触发器的配置，定时执行作业调度单元指定的作业；数据源单元，用于存储不同数据接入类型对应的参数；执行器，与调度引擎和数据源单元连接，根据调度引擎的指令配置对应的执行器；执行器参数库，与执行器连接，存储执行器参数；作业模板配置单元，与数据源单元和执行器连接，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板；作业调度单元，与作业模板配置单元和触发器连接，用于每一个作业都与一个作业模板相关联；触发器，用于配置作业的执行时间、周期、频率；监控单元，与作业调度单元连接，用于监控作业执行情况。

【技术特征摘要】
1.一种基于大数据的统一数据接入网关，其特征在于，包括：调度引擎，是数据接入网关的基础组件，用于管理和运行数据接入的作业，将作业调度单元和触发器关联起来，按照触发器的配置，定时执行作业调度单元指定的作业；数据源单元，用于存储不同数据接入类型对应的参数；执行器，与调度引擎和数据源单元连接，根据调度引擎的指令配置对应的执行器；执行器参数库，与执行器连接，存储执行器参数；作业模板配置单元，与数据源单元和执行器连接，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板；作业调度单元，与作业模板配置单元和触发器连接，用于每一个作业都与一个作业模板相关联；触发器，用于配置作业的执行时间、周期、频率；监控单元，与作业调度单元连接，用于监控作业执行情况。2.根据权利要求1所述的基于大数据的统一数据接入网关，其特征在于，所述数据接入类型包括：关系型数据库，内存数据库，文件系统，Modbus数据传输。3.根据权利要求1所述的基于大数据的统一数据接入网关，其特征在于，对应的参数包括IP、端口、节点、账号、密码。4.根据权利要求1所述的基于大数据的统一数据接入网关，其特征在于，所述触发器包括Simple和Cronfig两种类型；Simple类型触...

【专利技术属性】
技术研发人员：魏国飞，宋伟，王育斌，冯旭鹏，
申请(专利权)人：北京京投亿雅捷交通科技有限公司，
类型：发明
国别省市：北京,11