多数据源的数据转存方法、系统、终端设备及存储介质技术方案

本发明专利技术公开了一种多数据源的数据转存方法、系统、终端设备及存储介质，属于数据存储技术领域。多数据源的数据转存方法包括：从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。本发明专利技术通过客户端发送数据转存配置信息到服务器，服务器执行数据转存任务，实现对不同类型的数据库的数据提供多种方式的转存，降低了转存操作的门槛，提高了复杂转存的执行效率和可靠性，为项目的实践者和管理者提供了高效、可靠、方便的数据转存整体解决方案。的数据转存整体解决方案。的数据转存整体解决方案。

【技术实现步骤摘要】
多数据源的数据转存方法、系统、终端设备及存储介质


[0001]本专利技术涉及数据存储
，尤其涉及多数据源的数据转存方法、系统、终端设备及存储介质。

技术介绍

[0002]随着互联网的发展，软件系统的规模愈加庞大，系统之间的交互，软硬件之间的数据对接变得愈发频繁。微服务化是解决系统规模庞大的主要方法之一，在这个过程中各服务间会存在大量的数据转存。
[0003]现有的做法之一是通过数据库管理工具提供数据导入导出功能，方便将不同数据库的数据以各种形式进行转存拷贝，此种办法仅能解决较为简单的转存场景问题，但需要数据开发人员手动操作，导致了时间长、易出错、效率低、缺少容错机制的问题。为解决人工转存的问题，提出另一种做法，通过自主开发转存服务进行转存，克服了人工转存的困难并解决现有不同类型数据库中的数据迁移频发、数据规格变更频繁、转存过程冗长的问题，但是需要一定的开发成本和资源成本。
[0004]因此，如何将不同类型数据库的数据，高效、可靠、方便地转存也成为了软件项目开发过程中亟待解决的一个问题。

技术实现思路

[0005]本申请的主要目的在于提供一种多数据源的数据转存方法、系统、终端设备及存储介质，旨在解决将不同类型数据库，高效、可靠、方便的转存的问题。
[0006]本申请实施例一种多数据源的数据转存方法，所述多数据源的数据转存方法包括：
[0007]从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；
[0008]根据所述数据转存配置信息，生成数据转存任务；
[0009]根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。
[0010]可选的，所述根据所述数据转存配置信息，生成数据转存任务的步骤包括：
[0011]通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据；
[0012]通过任务生成器建立任务资源池；
[0013]通过任务生成器将所述任务元数据添加到所述任务资源池；
[0014]通过任务生成器向任务执行器下发数据转存任务；
[0015]通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务。
[0016]可选的，所述根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转
存到所述目标数据库的步骤包括：
[0017]根据所述数据转存任务，从所述任务元数据获取预先设定的数据配置详情；
[0018]根据所述数据配置详情，通过拆解拷贝、合并拷贝、直接拷贝中一种或多种方式从所述源数据库中获取源数据；
[0019]若所述目标数据库与源数据库类型不同，将获取的源数据处理为符合转存目标数据库类型的目标数据；
[0020]将所述目标数据存储到预先设定的目标数据库中。
[0021]可选的，所述通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务之后的步骤包括：
[0022]监控所述数据转存任务的执行状态；
[0023]若执行状态为异常，则保存告警日志，输出告警信息给相关人员；
[0024]若执行状态为结束，则删除所述数据转存任务，保存执行日志和执行结果，并将所述执行结果发送给相关人员。
[0025]可选的，所述通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据之前的步骤包括：
[0026]判断所述数据转存配置信息中源数据库和目标数据库的相关信息是否具备有效性；
[0027]若所述源数据库和目标数据库相关信息不具备有效性，则执行结束，发送所述数据转存配置信息的有效性验证信息给相关人员。
[0028]本申请还提供一种多数据源的数据转存方法，所述方法应用于客户端，所述多数据源的数据转存方法包括：
[0029]接收用户的数据转存信息的配置指令；
[0030]根据所述配置指令，发送数据转存配置信息到服务器，以供所述数据服务器根据所述转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。
[0031]可选的，所述根据所述配置指令，发送数据转存配置信息到服务器之后的步骤还包括：
[0032]接收服务器发送的所述数据转存配置信息的有效性验证信息、所述数据转存任务的生成结果及执行结果。
[0033]本申请实施例一种多数据源的数据转存系统，所述多数据源的数据转存系统包括客户端和服务器：
[0034]所述客户端，用于接收用户配置指令，发送数据转存配置信息到服务器；接收用户历史转存信息查阅指令并发送指令到服务器；
[0035]所述服务器包括：调度器模块，用于从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；接收客户端发送的用户历史转存信息查阅指令并执行；
[0036]任务生成器模块，用于判断所述数据转存配置信息包括源数据库和目标数据库相关信息的有效性；根据所述数据转存配置信息，配置数据转存任务，获取任务元数据；建立转存任务配置资源池，添加任务元数据；下发数据转存任务到任务执行器模块；监控所述数
据转存任务执行情况，并更新任务状态，通知用户；
[0037]任务执行器模块，用于根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库；所述数据转存任务执行结束后,发送执行结果到任务生成器模块。
[0038]本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多数据源的数据转存程序，所述多数据源的数据转存程序被所述处理器执行时实现多数据源的数据转存方法的步骤。
[0039]本申请实施例还提出一种存储介质，所述存储介质上存储有多数据源的数据转存程序，所述多数据源的数据转存被处理器执行时实现所述的多数据源的数据转存方法的步骤。
[0040]本申请实施例提出的一种多数据源的数据转存方法、系统、终端设备以及存储介质，通过从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。基于本申请方案，通过在客户端填写转存需求的配置信息，并根据所述配置信息，对不同类型的数据库的数据提供多种方式的转存，解决现有不同类型数据库中的数据迁移频发、数据规格变更频繁、转存过程冗长的问题，并且极大地降低了转存操作的门槛，提高了复杂转存的执行效率和可靠性，为项目的实践者和管理者提供了高效、可靠、方便的数据转存整体解决方案。
附图说明
[0041]图1为本申请多数据源的数据转存方法所属终端设备的功能模块示意图；
[0042]图2为本申请多数据源的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多数据源的数据转存方法，其特征在于，所述多数据源的数据转存方法包括以下步骤：从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。2.如权利要求1所述多数据源的数据转存方法，其特征在于，所述根据所述数据转存配置信息，生成数据转存任务的步骤包括：通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据；通过任务生成器建立任务资源池；通过任务生成器将所述任务元数据添加到所述任务资源池；通过任务生成器向任务执行器下发数据转存任务；通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务。3.如权利要求1所述多数据源的数据转存方法，其特征在于，所述根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到目标数据库的步骤包括：根据所述数据转存任务，从所述任务元数据获取预先设定的数据配置详情；根据所述数据配置详情，通过拆解拷贝、合并拷贝、直接拷贝中一种或多种方式从所述源数据库中获取源数据；若所述目标数据库与源数据库类型不同，将获取的源数据处理为符合转存目标数据库类型的目标数据；将所述目标数据存储到预先设定的目标数据库中。4.如权利要求2所述多数据源的数据转存方法，其特征在于，所述通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务之后的步骤包括：监控所述数据转存任务的执行状态；若执行状态为异常，则保存告警日志，输出告警信息给相关人员；若执行状态为结束，则删除所述数据转存任务，保存执行日志和执行结果，并将所述执行结果发送给相关人员。5.如权利要求2所述多数据源的数据转存方法，其特征在于，所述通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据之前的步骤包括：判断所述数据转存配置信息中源数据库和目标数据库的相关信息是否具备有效性；若所述源数据库和目标数据库相关信息不具备有效性，则执行结束，发送所述数据转存配置信息的有效性验证信息给相关人员。6.一种多数据源的数据转存方法，其特征在于，所述方法应用于客户端，所述多数据源的数据转存方法的步骤包括：接收用户的数...

【专利技术属性】
技术研发人员：胡振国，文俊杰，曹延超，夏薇薇，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：