一种灵活可配接口的数据采集系统及方法技术方案

本发明专利技术公开了一种灵活可配接口的数据采集系统及方法，该方法包括如下步骤：获取数据源信息；根据数据源信息确定数据采集的任务名称；根据任务名称配置接口基础信息和接口参数；执行任务，根据接口基础信息和接口参数请求接口进行数据采集；将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。入库。入库。

【技术实现步骤摘要】
一种灵活可配接口的数据采集系统及方法


[0001]本专利技术涉及数据采集
，尤其涉及一种灵活可配接口的数据采集系统及方法。

技术介绍

[0002]随着社会的不断进步，为了进一步提升人们的生活质量和便捷性，需要对各个来源的数据进行整合分析，接口作为数据采集的重要途径之一愈发显得重要。
[0003]然而使用接口进行数据采集也面临着巨大挑战，如现存接口大多根据业务需求，第三方技术选型，接口风格，数据格式等条件进行定制开发，耦合性强。一旦第三方接口进行升级，如入参类型，个数的改变、返回结果重要字段的追加。势必会影响到数据采集任务，导致数据采集任务跟着升级改造。接口的升级必然伴随着采集方法修改，联调测试，线上部署等一系列工作量的提升，人力的投入，财力消耗，同时也影响到数据的实时性。如果现在有很多接口需要进行接口数据采集并入库，并需要定时的去执行，就成为了一项繁杂的工作。

技术实现思路

[0004]为了解决现有技术的不足，本专利技术设计了一种灵活可配接口的数据采集系统及方法，兼容多种接口，灵活可配置，不因第三方接口而产生定制数据采集的重复工作量，不仅能解决因业务不同而导致的接口数据采集定制开发量，同时也减少了后期因第三方接口升级而导致的人力，财力投入。
[0005]本专利技术为了实现上述目的，本专利技术的技术方案如下：
[0006]第一方面，公开了一种灵活可配接口的数据采集方法，包括如下步骤：
[0007]获取数据源信息，所述数据源包括数据源链接信息、数据库名称、数据表名称、数据表字段；
[0008]根据数据源信息确定数据采集的任务名称；
[0009]根据任务名称配置接口基础信息和接口参数；
[0010]执行任务，根据接口基础信息和接口参数请求接口进行数据采集；
[0011]将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。
[0012]进一步的技术方案，所述接口基础信息包括接口风格、接口地址、请求类型、返回数据类型以及数据源。
[0013]进一步的技术方案，所述接口风格包括restful和webservice两种类型，所述restful和webservice两种类型对应的接口请求不同。
[0014]进一步的技术方案，所述请求类型包括是否分页采集，确定分页参数，所述分页参数包括参数名、参数类型、参数位置、参数值以及参数描述。
[0015]进一步的技术方案，所述映射关系包括全量模式和增量模式，其中，在全量模式
下，接口请求到的数据进行一次性拉取；增量模式下，根据增量字段记录的值多次拉取，下次拉取从当前值继续拉取。
[0016]进一步的技术方案，所述根据任务名称配置还包括任务同步周期配置。
[0017]进一步的技术方案，所述任务同步周期配置，包括一次性任务或周期性任务，配置任务模式为插入或覆盖、配置起止时间以及调度频率。
[0018]第二方面，公开了一种灵活可配接口的数据采集系统，包括：
[0019]数据源获取模块，其被配置为：获取数据源信息，所述数据源包括数据源链接信息、数据库名称、数据表名称、数据表字段；
[0020]任务名称配置模块，其被配置为：根据数据源信息确定数据采集的任务名称；
[0021]接口参数配置模块，其被配置为：根据任务名称配置接口基础信息和接口参数；
[0022]数据采集模块，其被配置为：执行任务，根据接口基础信息和接口参数请求接口进行数据采集；
[0023]数据存储模块，其被配置为：将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。
[0024]第三方面，公开一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述任一所述的一种灵活可配接口的数据采集方法的步骤。
[0025]第四方面，公开一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述任一所述的一种灵活可配接口的数据采集方法的步骤。
[0026]与现有技术相比，本专利技术的有益效果是：
[0027]本专利技术的接口可灵活配置，通过配置接口请求参数、接口返回参数、接口类型、数据源，系统便会初步生成返回参数和指定存储表的映射关系，同时可以配置周期任务，按期执行接口数据采集任务。
附图说明
[0028]构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
[0029]图1为本专利技术的接口数据采集整体流程示意图。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0032]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式
也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0033]需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
[0034]在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合，下面结合附图与实施例对本专利技术作进一步说明。
[0035]如图1所示，一种灵活可配接口的数据采集方法，包括如下步骤：
[0036]S101:获取数据源信息，所述数据源信息包括数据源链接信息，数据库名称、数据表名称、数据表字段等。
[0037]S102:根据数据源信息确定数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种灵活可配接口的数据采集方法，其特征在于，包括如下步骤：获取数据源信息；根据数据源信息确定数据采集的任务名称；根据任务名称配置接口基础信息和接口参数；执行任务，根据接口基础信息和接口参数请求接口进行数据采集；将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。2.如权利要求1所述的一种灵活可配接口的数据采集方法，其特征在于，所述接口基础信息包括接口风格、接口地址、请求类型、返回数据类型以及数据源。3.如权利要求2所述的一种灵活可配接口的数据采集方法，其特征在于，所述接口风格包括restful和webservice两种类型，所述restful和webservice两种类型对应的接口请求不同。4.如权利要求2所述的一种灵活可配接口的数据采集方法，其特征在于，所述请求类型包括是否分页采集，确定分页参数，所述分页参数包括参数名、参数类型、参数位置、参数值以及参数描述。5.如权利要求1所述的一种灵活可配接口的数据采集方法，其特征在于，所述映射关系包括全量模式和增量模式，其中，在全量模式下，接口请求到的数据进行一次性拉取；增量模式下，根据增量字段记录的值多次拉取，下次拉取从当前值继续拉取。6.如权利要求1所述的一种灵活可配接口的...

【专利技术属性】
技术研发人员：吴士伟，孙静蕾，辛国茂，李欣欣，李昂，
申请(专利权)人：山东亿云信息技术有限公司，
类型：发明
国别省市：