适配器调度系统、方法、电子设备和存储介质技术方案

本发明专利技术涉及数据处理技术领域，提供适配器调度系统、方法、电子设备和存储介质，适配器调度系统，包括全数据源适配模块、通用适配器模块和适配器调度模块：全数据源适配模块包括多个数据源，用于向通用适配器模块提供数据源；通用适配器模块，用于管理适配器；适配器调度模块，用于接收采集任务，基于采集任务，调度适配器从全数据源适配模块中采集所述采集任务所需的任务数据。本发明专利技术通过适配多种数据源，每种数据源设置有用于数据采集的适配器，如此，无需为每一个系统单独开发一个数据处理软件，从而降低数据处理的成本。从而降低数据处理的成本。从而降低数据处理的成本。

【技术实现步骤摘要】
适配器调度系统、方法、电子设备和存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种适配器调度系统、方法、电子设备和存储介质。

技术介绍

[0002]信息深入化发展使得企业的信息系统越来越多，新的业务模式、多云环境开始出现。大多数企业数据分散、缺失，数据质量和数据利用率不高，企业信息化程度提升却无法使得经营效率提升。
[0003]数据中台在数据采集的过程中，采集到的数据是来自于许多不同系统的，数据量大且数据类型多种多样，为每一个系统单独开发一个数据处理软件耗费的人力物力成本较高，浪费资源，从而导致数据处理的成本高。

技术实现思路

[0004]本专利技术提供一种适配器调度系统、方法、电子设备和存储介质，用以解决数据处理成本高的问题，通过适配多种数据源，每种数据源设置有用于数据采集的适配器，如此，无需为每一个系统单独开发一个数据处理软件，从而降低数据处理的成本。
[0005]本专利技术提供一种适配器调度系统，包括：
[0006]全数据源适配模块、通用适配器模块和适配器调度模块：
[0007]所述全数据源适配模块包括多个数据源，用于向所述通用适配器模块提供所述数据源，所述数据源包括结构化数据源、非结构化数据源和半结构化数据源中的至少一种；
[0008]所述通用适配器模块，用于管理适配器，所述适配器包括结构化数据适配器、非结构化数据适配器和半结构化数据适配器中的至少一种；
[0009]所述适配器调度模块，用于接收采集任务，基于所述采集任务确定调度任务，以基于所述调度任务调度所述适配器从所述全数据源适配模块中采集所述采集任务所需的任务数据。
[0010]在一个实施例中，所述通用适配器模块包括适配器目录树子模块、结构化数据适配器子模块、非结构化数据适配器子模块和半结构化数据适配器子模块：
[0011]所述适配器目录树，用于以树状结构展示所述适配器；
[0012]所述结构化数据适配器子模块，用于增加、查询、修改以及导出所述结构化数据适配器的信息；
[0013]所述非结构化数据适配器子模块，用于增加、查询、修改以及导出所述非结构化数据适配器的信息；
[0014]所述半结构化数据适配器子模块，用于增加、查询、修改以及导出所述半结构化数据适配器的信息。
[0015]在一个实施例中，所述适配器调度模块包括任务子模块和适配器子模块；
[0016]所述任务子模块，用于查询所述采集任务的任务信息；
[0017]所述适配器子模块，用于设置每个所述采集任务对应的所述适配器。
[0018]在一个实施例中，还包括定时调度模块，所述定时调度模块用于管理定时执行的采集任务信息和/或适配器信息。
[0019]在一个实施例中，所述全数据源适配模块，还用于增加所述数据源、修改或删除数据源的信息、查询所述数据源信息以及导出所述数据源信息。
[0020]在一个实施例中，还包括展示模块：
[0021]所述展示模块，用于展示所述适配器的运行信息，所述运行信息包括运行详情信息、实例详情信息、运行趋势信息以及运行告警统计信息。
[0022]在一个实施例中，还包括告警监控模块，所述告警监控模块用于对异常的采集任务进行告警。
[0023]在一个实施例中，还包括日志管理模块，所述日志管理模块包括调度日志子模块、登录日志子模块和操作日志子模块；
[0024]所述调度日志子模块，用于采集所述采集任务和/或所述适配器在设定时间内的执行数据，并存储所述执行数据；
[0025]所述登录日志子模块，用于存储登录日志信息，以供用户查询、清空、查看、导出所述登录日志信息；
[0026]所述操作日志子模块，用于存储操作日志信息，以供用户查询、清空、查看、导出所述操作日志信息。
[0027]本专利技术还提供了一种适配器调度方法，应用于上述任一种适配器调度系统，包括：
[0028]接收采集任务；
[0029]基于所述采集任务，确定调度任务，以基于所述调度任务调度适配器从数据源中采集所述采集任务所需的任务数据；
[0030]所述数据源包括结构化数据源、非结构化数据源和半结构化数据源中的至少一种；所述适配器包括结构化数据适配器、非结构化数据适配器和半结构化数据适配器中的至少一种。
[0031]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述适配器调度方法。
[0032]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述适配器调度方法。
[0033]本专利技术提供的适配器调度系统、方法、电子设备和存储介质，设置了全数据源适配模块、通用适配器模块和适配器调度模块：所述全数据源适配模块包括多个数据源，用于向所述通用适配器模块提供所述数据源，所述数据源包括结构化数据源、非结构化数据源和半结构化数据源中的至少一种；所述通用适配器模块，用于管理适配器，所述适配器包括结构化数据适配器、非结构化数据适配器和半结构化数据适配器中的至少一种；所述适配器调度模块，用于接收采集任务，基于所述采集任务，调度所述适配器从所述全数据源适配模块中采集所述采集任务所需的任务数据。本专利技术通过适配多种数据源，每种数据源设置有用于数据采集的适配器，如此，无需为每一个系统单独开发一个数据处理软件，从而降低数据处理的成本。
附图说明
[0034]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本专利技术提供的配器调度系统的结构示意图；
[0036]图2是本专利技术提供的适配器调度系统的模块关系图；
[0037]图3是本专利技术提供的适配器调度方法的流程示意图；
[0038]图4是本专利技术提供的基于适配器调度方法进行数据采集的流程示意图；
[0039]图5是本专利技术提供的适配器调度系统的数据备份与数据恢复模块的结构示意图；
[0040]图6是本专利技术提供的数据备份的流程图；
[0041]图7是本专利技术提供的电子设备的实体结构示意图。
具体实施方式
[0042]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0043]下面结合图1
‑
图7描述本专利技术的适配器调度系统、方法、电子设备和存储介质。
[0044]具体地，本专利技术提供了一种适配器调度系统，参照图1，图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适配器调度系统，其特征在于，包括全数据源适配模块、通用适配器模块和适配器调度模块：所述全数据源适配模块包括多个数据源，用于向所述通用适配器模块提供所述数据源，所述数据源包括结构化数据源、非结构化数据源和半结构化数据源中的至少一种；所述通用适配器模块，用于管理适配器，所述适配器包括结构化数据适配器、非结构化数据适配器和半结构化数据适配器中的至少一种；所述适配器调度模块，用于接收采集任务，基于所述采集任务确定调度任务，以基于所述调度任务调度所述适配器从所述全数据源适配模块中采集所述采集任务所需的任务数据。2.根据权利要求1所述的适配器调度系统，其特征在于，所述通用适配器模块包括适配器目录树子模块、结构化数据适配器子模块、非结构化数据适配器子模块和半结构化数据适配器子模块：所述适配器目录树，用于以树状结构展示所述适配器；所述结构化数据适配器子模块，用于增加、查询、修改以及导出所述结构化数据适配器的信息；所述非结构化数据适配器子模块，用于增加、查询、修改以及导出所述非结构化数据适配器的信息；所述半结构化数据适配器子模块，用于增加、查询、修改以及导出所述半结构化数据适配器的信息。3.根据权利要求1所述的适配器调度系统，其特征在于，所述适配器调度模块包括任务子模块和适配器子模块；所述任务子模块，用于查询所述采集任务的任务信息；所述适配器子模块，用于设置每个所述采集任务对应的所述适配器。4.根据权利要求1所述的适配器调度系统，其特征在于，还包括定时调度模块，所述定时调度模块用于管理定时执行的采集任务信息和/或适配器信息。5.根据权利要求1所述的适配器调度系统，其特征在于，所述全数据源适配模块，还用于增加所述数据源、修改或删除数据源的信息、查...

【专利技术属性】
技术研发人员：陈兴渝，易红，朱雅莘，
申请(专利权)人：北京天元创新科技有限公司，
类型：发明
国别省市：