一种多类型数据源采集入库方法、装置、设备及介质制造方法及图纸

本申请提供一种多类型数据源采集入库方法、装置、设备及介质，涉及数据处理技术领域，用于解决不能同时处理“批”和“流”的问题。该方法包括：根据预设计的流批一体多类型数据源采集入库框架中的Java Restful API接口，对目标数据源进行采集，获得所述目标数据源；其中，所述目标数据源包括多种类型，且所述目标数据源为流或批数据源；根据所述预设计的流批一体多类型数据源采集入库框架中的Flink Stream模型，对所述目标数据源进行处理，获得处理后的数据源；将所述处理后的数据源存储至目标数据库中。

【技术实现步骤摘要】

本申请涉及数据处理，提供一种多类型数据源采集入库方法、装置、设备及介质。

技术介绍

1、目前，在进行数据源采集入库时，常采用datax框架或canal框架来进行采集与入库。然而，datax框架只能处理离线数据（批数据源），canal框架只能处理实时数据（流数据源），即无论是datax框架，还是canal框架均不能同时对“批”数据源和“流”数据源进行处理。此外，由于datax框架和canal框架均是针对数据库中的数据源进行处理，而不能api、kafka等这些平台中的数据源进行处理。因此，若想同时处理“批”数据源和“流”数据源，则需要重新开发框架，从而，导致增加了组件的集成难度和开发成本等。

2、因此，如何同时处理“批”和“流”是目前亟待解决的问题。

技术实现思路

1、本申请实施例提供一种多类型数据源采集入库方法、装置、设备及介质，用于解决不能同时处理“批”和“流”的问题。

2、一方面，提供一种多类型数据源采集入库方法，所述方法包括：

3、根据预设计的流批一体多类型数据源采集入本文档来自技高网...

【技术保护点】

1.一种多类型数据源采集入库方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述根据预设计的流批一体多类型数据源采集入库框架中的Java Restful API接口，对目标数据源进行采集，获得所述目标数据源的步骤，包括：

3.如权利要求1所述的方法，其特征在于，所述根据所述预设计的流批一体多类型数据源采集入库框架中的Flink Stream模型，对所述目标数据源进行处理，获得处理后的数据源的步骤，包括：

4.如权利要求1所述的方法，其特征在于，在根据预设计的流批一体多类型数据源采集入库框架中的Java Restful API接...

【技术特征摘要】

1.一种多类型数据源采集入库方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述根据预设计的流批一体多类型数据源采集入库框架中的java restful api接口，对目标数据源进行采集，获得所述目标数据源的步骤，包括：

3.如权利要求1所述的方法，其特征在于，所述根据所述预设计的流批一体多类型数据源采集入库框架中的flink stream模型，对所述目标数据源进行处理，获得处理后的数据源的步骤，包括：

4.如权利要求1所述的方法，其特征在于，在根据预设计的流批一体多类型数据源采集入库框架中的java restful api接口，对目标数据源进行采集，获得所述目标数据源之前，所述方法还包括：

5.如权利要求1所述的方法，其特征在于，在根据预设计的流批一体多类型数据源采集入库框架中的java restful api接口，对目标数据源进行采集，获得所述目标数据源之前，所述方法还包括：

6.如权利要求1所述的方法，其特征在于，在根据预设计的流批一体多类型数据源采集入库框架中的java restful api接口，对目标数据源进行采集，获得所述目标数据源之前，所述方法还包括：

7....

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：成都数之联科技股份有限公司，
类型：发明
国别省市：