基于maxcomputer数据库的自动ETL配置方法及装置、控制系统制造方法及图纸

本发明专利技术适用于计算机技术领域，提供了一种基于maxcomputer数据库的自动ETL配置方法及装置、控制系统，所述方法包括：获取用户的配置信息；基于所述配置信息自动对源数据库及目标数据库进行校验配置；基于所述配置信息及校验配置结果进行数据同步。本发明专利技术中，自动基于用户的配置信息对源数据库及目标数据库进行校验配置，无需进行多次配置，简化数据抽取的过程，提高效率。

Automatic ETL configuration method, device and control system based on maxcomputer database

【技术实现步骤摘要】
基于maxcomputer数据库的自动ETL配置方法及装置、控制系统
本专利技术属于计算机
，尤其涉及一种基于maxcomputer数据库的自动ETL配置方法及装置、控制系统。
技术介绍
BI(商务智能)是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取(Extraction)、转换(Transformation)和装载(Load)，即ETL(数据仓库技术)过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理，最后将知识呈现给管理者，为管理者的决策过程提供数据支持。现有技术中，抽取数据的主要特点是数据量大，处理时间长。而处理的时间段大都是集中在数据库压力较小的凌晨，但存在如下问题：部分抽数任务由于依赖任务多或者报错等原因，运行时间排到了白天上班时间；而在上班时间对数据库进行大数据量长时间的抽取，对数据库IO(数据库文件的读写，即检索数据和插入数据)和性能造成了很大影响；另外，数据的抽取过程需要每个单独配置脚本来完成同步，而有些开源工具不支持一些数据库，例如：kettle免费开源工具不支持maxcomputer数据库，因此抽取效率较低，且过程比较复杂。
技术实现思路
本专利技术实施例提供了一种基于maxcomputer数据库的自动ETL配置方法及装置、控制系统，旨在解决现有技术中由于数据抽取过程中需要进行多次配置导致过程较复杂的问题。一种基于maxcomputer数据库的自动ETL配置方法，包括：获取用户的配置信息；基于所述配置信息自动对源数据库及目标数据库进行校验配置；基于所述配置信息及校验配置结果进行数据同步。优选地，基于所述配置信息自动对源数据库及目标数据库进行校验配置包括：基于所述配置信息自动对源数据库及目标数据库进行检测；基于所述检测结果对对应的数据库进行校验配置。优选地，基于所述配置信息自动对源数据库及目标数据库进行检测包括：基于所述配置信息自动检测所述源数据库是否正常，所述源数据库包括源数据表；基于所述配置信息自动检测对应的目标数据库是否正常，所述目标数据库包括目标数据表；基于所述配置信息检测所述源数据表与目标数据表是否一致。优选地，基于所述配置信息自动检测所述源数据库是否正常之后包括：当检测所述源数据库出现异常时，发出异常提示。优选地，基于所述配置信息自动对源数据库及目标数据库进行校验配置包括还包括：基于所述配置信息检测是否有字段更新。优选地，基于所述检测结果对对应的数据库进行校验配置包括：当检测所述源数据库无法访问时，自动更新对应的ETL同步开关；和/或当检测有字段更新时，自动添加；和/或当检测所述目标数据库无法访问时，自动更新对应的ETL同步开关。优选地，基于所述配置信息及校验配置结果进行数据同步包括：基于所述配置信息生成目标数据库的目标数据表；自动为所述目标数据表生成对应的字段数据；基于所生成的字段数据对所述源数据库的数据同步到对应目标数据库。本专利技术还提供一种基于maxcomputer数据库的自动ETL配置装置，包括：获取单元，用于获取用户的配置信息；校验配置单元，用于基于所述配置信息自动对源数据库及目标数据库进行校验配置；同步单元，用于基于所述配置信息及校验配置结果进行数据同步。本专利技术还提供一种控制系统，包括一种基于maxcomputer数据库的自动ETL配置装置，所述装置包括：获取单元，用于获取用户的配置信息；校验配置单元，用于基于所述配置信息自动对源数据库及目标数据库进行校验配置；同步单元，用于基于所述配置信息及校验配置结果进行数据同步。本专利技术还提供一种存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行如下步骤：获取用户的配置信息；基于所述配置信息自动对源数据库及目标数据库进行校验配置；基于所述配置信息及校验配置结果进行数据同步。本专利技术还提供一种控制终端，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取用户的配置信息；基于所述配置信息自动对源数据库及目标数据库进行校验配置；基于所述配置信息及校验配置结果进行数据同步。本专利技术实施例中，自动基于用户的配置信息对源数据库及目标数据库进行校验配置，无需进行多次配置，简化数据抽取的过程，提高效率。附图说明图1为本专利技术第一实施例提供的一种基于maxcomputer数据库的自动ETL配置方法的流程图；图2为本专利技术第一实施例提供的一种基于maxcomputer数据库的自动ETL配置方法的步骤S2的具体流程图；图3为本专利技术第一实施例提供的一种基于maxcomputer数据库的自动ETL配置方法的步骤S21的具体流程图；图4为本专利技术第二实施例提供的一种基于maxcomputer数据库的自动ETL配置装置的结构图；图5为本专利技术第三实施例提供的一种控制终端的结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例中，一种基于maxcomputer数据库的自动ETL配置方法，包括：获取用户的配置信息；基于所述配置信息自动对源数据库及目标数据库进行校验配置；基于所述配置信息及校验配置结果进行数据同步。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。实施例一：图1示出了本专利技术第一实施例提供的一种基于maxcomputer数据库的自动ETL配置方法的流程图，该方法包括：步骤S1，获取用户的配置信息；具体地，用户需要配置需要同步的源数据库及目标数据库时，可手动或者其他方式输入配置信息，例如批量CSV文件导入。该配置信息包括源数据库及目标数据库的相关信息，该相关信息可包括：源数据库的地址、源数据库当前的状态信息等，所述目标数据库的地址、当前的状态信息等。该配置信息还可包括新增字段、增量表等。进一步地，该配置信息还包括：配置同步开关，可预先配置好但暂时不生效，例如使用字段xtype控制是否配置。进一步地，该配置信息还包括：配置全量或增量同步，例如全量同步采用字段isinc来控制，增量同步采用字段inc_column控制，当设置isinc＝1时，次序设置inc_column的内容。进一步地，配置信息还可包括：支持可视化。步骤S2，基于配置信息自动对源数据库及目标数据库进行校验配置；具体地，根据配置信息自动对源数本文档来自技高网...

【技术保护点】
1.一种基于maxcomputer数据库的自动ETL配置方法，其特征在于，包括：/n获取用户的配置信息；/n基于所述配置信息自动对源数据库及目标数据库进行校验配置；/n基于所述配置信息及校验配置结果进行数据同步。/n

【技术特征摘要】
1.一种基于maxcomputer数据库的自动ETL配置方法，其特征在于，包括：
获取用户的配置信息；
基于所述配置信息自动对源数据库及目标数据库进行校验配置；
基于所述配置信息及校验配置结果进行数据同步。


2.根据权利要求1所述的自动ETL配置方法，其特征在于，基于所述配置信息自动对源数据库及目标数据库进行校验配置包括：
基于所述配置信息自动对源数据库及目标数据库进行检测；
基于所述检测结果对对应的数据库进行校验配置。


3.根据权利要求2所述的自动ETL配置方法，其特征在于，基于所述配置信息自动对源数据库及目标数据库进行检测包括：
基于所述配置信息自动检测所述源数据库是否正常，所述源数据库包括源数据表；
基于所述配置信息自动检测对应的目标数据库是否正常，所述目标数据库包括目标数据表；
基于所述配置信息检测所述源数据表与目标数据表是否一致。


4.根据权利要求3所述的自动ETL配置方法，其特征在于，基于所述配置信息自动检测所述源数据库是否正常之后包括：
当检测所述源数据库出现异常时，发出异常提示。


5.根据权利要求4所述的自动ETL配置方法，其特征在于，基于所述配置信息自动对源数据库及目标数据库进行校验配置包括还包括：
基于所述配置信息检测是否有字段更新。


6.根据权利要求5所述的自动ETL配置方法，其特征在于，基于所述检测结果对对应的数据库进行校验配置包括：
当检测所述源数据库无法访问时，自...

【专利技术属性】
技术研发人员：吴超，程伟刚，
申请(专利权)人：千寻位置网络有限公司，
类型：发明
国别省市：上海;31