一种主动式异构数据采集器制造技术

本发明专利技术涉及数据处理技术领域，尤其是指一种主动式异构数据采集器，将需要采集数据的数据库接入至本主动式异构数据采集器，数据采集模块和数据写入模块均采用脚本配置，通过脚本配置可适配不同的数据库，本发明专利技术的数据采集模块包括多个plugin模块，多个plugin模块可适配不同的数据库实现不同数据库之间的无缝连接，本发明专利技术的元数据处理器用于连接数据采集模块和数据写入模块，本发明专利技术可实现对不同的数据库进行采集，无需人为的进行数据关联即可对不同的数据库进行数据采集，数据写入模块可立即将转换之后的数据进行读取并写入储存单元内，不会占用元数据处理器的内存，使得元数据处理器可快速的处理数据。

An Active Heterogeneous Data Acquisition Device

The invention relates to the technical field of data processing, in particular to an active heterogeneous data acquisition device, in which the database of collected data is connected to the active heterogeneous data acquisition device. The data acquisition module and the data writing module are all configured by scripts, which can be adapted to different databases. The data acquisition module of the invention includes multiple plugin modules and multiple plugins. The in module can adapt different databases to realize seamless connection between different databases. The metadata processor of the present invention is used to connect the data acquisition module and the data writing module. The invention can collect different databases without human data association. The data writing module can collect different databases immediately after conversion. Data is read and written into the storage unit, which does not occupy the memory of the metadata processor, making it possible for the metadata processor to process data quickly.

【技术实现步骤摘要】
一种主动式异构数据采集器
本专利技术涉及数据采集
，尤其是指一种主动式异构数据采集器。
技术介绍
随着企业信息化建设的过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其他经济、人为等因素的影响，导致企业在发展的过程中积累了大量采用不同储存方式的数据，并且各个数据库读取数据采用不同的方式，导致智能设备无法正常准确的采集数据，因此亟需一种能够实现在不同数据库采集数据的采集器。
技术实现思路
本专利技术针对现有技术的问题提供一种可在不同数据采集数据的主动式异构数据采集器。为了解决上述技术问题，本专利技术采用如下技术方案：本专利技术提供的一种主动式异构数据采集器，包括数据采集模块、元数据处理器、数据写入模块和储存单元，所述数据采集模块与所述元数据处理器连接，所述数据写入模块与所述元数据处理器连接，所述数据写入模块与所述储存单元连接，所述数据采集模块用于采集数据库的数据，所述元数据处理器用于将所述数据采集模块采集的数据进行转换处理，所述数据写入模块用于将所述元数据处理器转换的数据进行读取，并将读取的数据写入储存单元，所述数据采集模块和所述数据写入模块均采用脚本配置。作为优选，所述数据采集模块设置有字段解析模块、第一语法解析模块和数据过滤模块，所述字段解析模块、第一语法解析模块均与所述数据过滤模块连接。作为优选，所述数据写入模块设置有数据封装模块、第二语法解析模块和数据脱敏保全过滤模块。所述数据封装模块、第二语法解析模块均与所述数据脱敏保全过滤模块连接。作为优选，所述元数据处理器包括执行元件、流控控制元件、并发控制元件和数据转换元件，所述执行元件、所述流控控制元件、所述并发控制元件和所述数据转换元件依次连接，所述并发控制元件包括多个task单元和多个TaskGroup单元，所述TaskGroup单元用于启动task单元，所述task单元用于数据同步。作为优选，所述流控控制元件包括Scheduler模块，所述Scheduler模块用于调度所述TaskGroup单元。作为优选，所述并发控制元件包括通道并发、记录流、字节流三种流控模式。作为优选，所述储存单元访问需要账号和密码，且所述储存单元可指定连接用户读写指定所述储存单元内储存的数据库表权限，所述数据写入模块还包括加密模块，所述加密模块用于将写入所述储存单元内部的数据进行加密储存。作为优选，所述数据采集模块采集数据库时只需配置SOL或接入数据库的表名、列表。作为优选，所述主动式异构数据采集器还包括监视模块，所述监视模块用于检测采集器的数据流量、数据速度和执行进度。作为优选，所述主动式异构数据采集器还设置有自动转换模块，用户可根据自动转换模块内部的groovy函数可自定义自动转换模块内部的转换公式。本专利技术的有益效果：本专利技术提供的一种主动式异构数据采集器，包括数据采集模块、元数据处理器、数据写入模块和储存单元，本专利技术的工作过程为将需要采集数据的数据库接入至本主动式异构数据采集器，所述数据采集模块用于采集数据库的数据，所述元数据处理器用于将所述数据采集模块采集的数据进行转换处理，所述数据写入模块用于将所述元数据处理器转换的数据进行读取，并将读取的数据写入储存单元，本专利技术的数据采集模块和所述数据写入模块均采用脚本配置，通过脚本配置可适配不同的数据库，本专利技术的数据采集模块包括多个plugin模块，多个plugin模块可适配不同的数据库实现不同数据库之间的无缝连接，还有本专利技术的元数据处理器用于连接数据采集模块和数据写入模块，并将采集的数据进行数据转换，本专利技术的主动式异构数据采集器可实现对不同的数据库进行采集，无需人为的进行数据关联即可对不同的数据库进行数据采集，还有本专利技术的数据写入模块可立即将转换之后的数据进行读取并写入储存单元内，不会占用元数据处理器的内存，使得元数据处理器可更快速的处理数据。附图说明图1为本专利技术的数据采集原理图。图2为本专利技术可进行采集的数据库。附图标记分别为：数据库--1，数据采集模块--2，元数据处理器--3，数据写入模块--4，储存单元--5。具体实施方式为了便于本领域技术人员的理解，下面结合实施例与附图对本专利技术作进一步的说明，实施方式提及的内容并非对本专利技术的限定。以下结合附图对本专利技术进行详细的描述。如图1-2所示，本专利技术提供的一种主动式异构数据采集器，包括数据采集模块2、元数据处理器3、数据写入模块4和储存单元5，本专利技术的工作过程为将需要采集数据的数据库1接入至本主动式异构数据采集器，所述数据采集模块2用于采集需要采集数据库1的数据，所述元数据处理器3用于将所述数据采集模块2采集的数据进行转换处理，所述数据写入模块4用于将所述元数据处理器3转换的数据进行读取，并将读取的数据写入储存单元5，本专利技术的数据采集模块2和所述数据写入模块4均采用脚本配置，通过脚本配置可适配不同的数据库1，本专利技术的数据采集模块2包括多个plugin模块，多个plugin模块可适配不同的数据库1实现不同数据库1之间的无缝连接，还有本专利技术的元数据处理器3用于连接数据采集模块2和数据写入模块4，并将采集的数据进行数据转换，本专利技术的主动式异构数据采集器可实现对不同的数据库1进行采集，无需人为的进行数据关联即可对不同的数据库1进行数据采集，还有本专利技术的数据写入模块4可立即将转换之后的数据进行读取并写入储存单元5内，不会占用元数据处理器3的内存，使得元数据处理器3可更快速的处理数据。本实施例中，所述数据采集模块2设置有字段解析模块、第一语法解析模块和数据过滤模块，所述字段解析模块、第一语法解析模块均与所述数据过滤模块连接，字段解析模块、第一语法解析模块分别对采集之后数据的字段和语法进行解析，并将解析之后的数据传送至数据过滤模块，数据过滤模块将无用或者多余的数据进行过滤之后将数据转送至元数据处理器3。本实施例中，所述元数据处理器3包括执行元件、流控控制元件、并发控制元件和数据转换元件，所述执行元件、所述流控控制元件、所述并发控制元件和所述数据转换元件依次连接，所述并发控制元件包括通道并发、记录流、字节流三种流控模式，当数据采集模块2将采集的数据传送至执行元件时，执行元件发送指令至流控控制元件，流控控制元件选择合适的并发控制元件的流控模式将数据传送至数据转换元件，数据转换元件将转送至的数据进行转换之后传送至数据写入模块4。本实施例中，所述数据写入模块4设置有数据封装模块、第二语法解析模块和数据脱敏保全过滤模块。所述数据封装模块、第二语法解析模块均与所述数据脱敏保全过滤模块连接，数据封装模块用于将元数据处理器3转换的数据进行封装，第二语法解析模块和数据脱敏保全过滤模块分别用于将封装之后的数据进行语法解析和数据脱敏保全，然后在将数据传送至数据写入模块4。本实施例中，所述并发控制元件包括多个task单元和多个TaskGroup单元，所述TaskGroup单元用于启动task单元，所述task单元用于数据同步，所述流控控制元件包括Scheduler模块，所述Scheduler模块用于调度所述TaskGroup单元，具体的，Scheduler模块根据执行元件传送数据的大小来确定需要几个TaskGroup单元来执行任务，TaskGroup单元决定启用几个task单元来实现数据的同步，举例说明本文档来自技高网...

【技术保护点】
1.一种主动式异构数据采集器，其特征在于：包括数据采集模块、元数据处理器、数据写入模块和储存单元，所述数据采集模块与所述元数据处理器连接，所述数据写入模块与所述元数据处理器连接，所述数据写入模块与所述储存单元连接，所述数据采集模块用于采集数据库的数据，所述元数据处理器用于将所述数据采集模块采集的数据进行转换处理，所述数据写入模块用于将所述元数据处理器转换后的数据进行读取，并将读取的数据写入储存单元，所述数据采集模块和所述数据写入模块均采用脚本配置，所述数据采集模块包括多个plugin模块。

【技术特征摘要】
1.一种主动式异构数据采集器，其特征在于：包括数据采集模块、元数据处理器、数据写入模块和储存单元，所述数据采集模块与所述元数据处理器连接，所述数据写入模块与所述元数据处理器连接，所述数据写入模块与所述储存单元连接，所述数据采集模块用于采集数据库的数据，所述元数据处理器用于将所述数据采集模块采集的数据进行转换处理，所述数据写入模块用于将所述元数据处理器转换后的数据进行读取，并将读取的数据写入储存单元，所述数据采集模块和所述数据写入模块均采用脚本配置，所述数据采集模块包括多个plugin模块。2.根据权利要求1所述的一种主动式异构数据采集器，其特征在于：所述数据采集模块设置有字段解析模块、第一语法解析模块和数据过滤模块，所述字段解析模块、第一语法解析模块均与所述数据过滤模块连接。3.根据权利要求1所述的一种主动式异构数据采集器，其特征在于：所述数据写入模块设置有数据封装模块、第二语法解析模块和数据脱敏保全过滤模块，所述数据封装模块、第二语法解析模块均与所述数据脱敏保全过滤模块连接。4.根据权利要求1所述的一种主动式异构数据采集器，其特征在于：所述元数据处理器包括执行元件、流控控制元件、并发控制元件和数据转换元件，所述执行元件、所述流控控制元件、所述并发控制元件和所述数据转换元件依次连接，所述并发控制元件包括多个task单元和多...

【专利技术属性】
技术研发人员：刘建华，郭征宝，张军平，
申请(专利权)人：东莞众家联供应链服务有限公司，东莞众家联网络科技有限公司，
类型：发明
国别省市：广东,44