数据写入方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据写入方法、装置、电子设备及计算机可读存储介质，涉及数据库技术领域，该方法包括：获取源数据库中待写入目的数据库的目标数据的认证信息；其中，认证信息用于获取在目的数据库中写入目标数据的权限；源数据库和目的数据库各自所属的集群之间网络不通；将源数据库中存储的目标数据写入预设对象存储节点；根据认证信息，将预设对象存储节点中存储的目标数据写入目的数据库。基于上述处理，能够提高数据写入的效率，且降低对集群性能的影响。低对集群性能的影响。低对集群性能的影响。

【技术实现步骤摘要】
数据写入方法、装置、电子设备及计算机可读存储介质


[0001]本专利技术涉及数据库
，特别是涉及一种数据写入方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着网络技术的快速发展，可以在多个数据库之间进行数据交互。例如，可以将一个数据库(可以称为源数据库)中的数据写入另一个数据库(可以称为目的数据库)。
[0003]相关技术中，若该源数据库所属的集群与目的数据库所属的集群之间网络不通，则采用JDBC(Java数据库连接，Java Data Base Connectivity)的方式，将源数据库中的数据写入目的数据库。
[0004]然而，若需要写入目的数据库的数据量较大，基于JDBC方式进行数据写入，则会出现写入阻塞的情况，进而，会降低数据写入的效率，也会影响集群的性能。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种数据写入方法、装置、电子设备及计算机可读存储介质，能够提高数据写入的效率，且降低对集群性能的影响。具体技术方案如下：
[0006]在本专利技术实施的第一方面，首先提供了一种数据写入方法，所述方法包括：
[0007]获取源数据库中待写入目的数据库的目标数据的认证信息；其中，所述认证信息用于获取在所述目的数据库中写入所述目标数据的权限；所述源数据库和所述目的数据库各自所属的集群之间网络不通；
[0008]将所述源数据库中存储的所述目标数据写入预设对象存储节点；
[0009]根据所述认证信息，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库。
[0010]可选的，所述根据所述认证信息，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库，包括：
[0011]根据所述认证信息向所述目的数据库对应的第一认证服务发送认证请求，以获取第一认证票据；
[0012]在所述目的数据库验证所述第一认证票据合法的情况下，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库。
[0013]可选的，所述将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库，包括：
[0014]按照Bulkload批量导入的方式，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库。
[0015]可选的，所述认证信息还用于获取从所述源数据库中读取所述目标数据的权限；
[0016]在所述将所述源数据库中存储的所述目标数据写入预设对象存储节点之前，所述方法还包括：
[0017]在接收到所述目标数据对应的数据写入任务时，根据所述认证信息向所述源数据库对应的第二认证服务发送认证请求，以获取第二认证票据；
[0018]所述将所述源数据库中存储的所述目标数据写入预设对象存储节点，包括：
[0019]在所述源数据库验证所述第二认证票据合法的情况下，从所述源数据库中获取所述目标数据，并写入预设对象存储节点。
[0020]可选的，所述认证信息包括：配置信息、密钥和实体名称；
[0021]在所述获取源数据库中待写入目的数据库的目标数据的认证信息之后，所述方法还包括：
[0022]将所述配置信息和密钥，以文件格式存储至分布式文件系统的指定目录；
[0023]在根据所述认证信息向所述源数据库对应的第二认证服务发送认证请求，以获取第二认证票据之前，所述方法还包括：
[0024]当需要从所述源数据库获取所述目标数据时，从所述指定目录获取所述配置信息和密钥。
[0025]可选的，在从所述源数据库中获取所述目标数据，并写入预设对象存储节点之后，所述方法还包括：
[0026]释放执行所述数据写入任务所占的资源，以及删除所述指定目录下记录的所述配置信息和密钥。
[0027]在本专利技术实施的第二方面，提供了一种数据写入方法，所述方法应用于计算节点，包括：
[0028]接收数据写入任务；其中，所述数据写入任务表示将源数据库中的目标数据写入目的数据库；所述源数据库和所述目的数据库各自所属的集群之间网络不通；
[0029]从所述源数据库中获取所述目标数据；
[0030]将所述目标数据写入预设对象存储节点，以使驱动节点根据所述目标数据的认证信息，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库；所述认证信息用于获取在所述目的数据库中写入所述目标数据的权限。
[0031]可选的，所述认证信息还用于获取从所述源数据库中读取所述目标数据的权限；所述认证信息包括：配置信息、密钥和实体名称；
[0032]在从所述源数据库中获取所述目标数据之前，所述方法还包括：
[0033]根据从分布式文件系统的指定目录获取的所述配置信息和密钥，以及所述驱动节点发送的所述实体名称，向所述源数据库对应的第二认证服务发送认证请求，以获取第二认证票据；其中，所述配置信息和密钥为所述驱动节点以文件格式存储至所述指定目录的；
[0034]从所述源数据库中获取所述目标数据，包括：
[0035]在所述源数据库验证所述第二认证票据合法的情况下，从所述源数据库中获取所述目标数据
[0036]在本专利技术实施的第三方面，提供了一种数据写入装置，所述装置包括：
[0037]认证信息获取模块，用于获取源数据库中待写入目的数据库的目标数据的认证信息；其中，所述认证信息用于获取在所述目的数据库中写入所述目标数据的权限；所述源数据库和所述目的数据库各自所属的集群之间网络不通；
[0038]第一写入模块，用于将所述源数据库中存储的所述目标数据写入预设对象存储节
点；
[0039]第二写入模块，用于根据所述认证信息，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库。
[0040]可选的，所述第二写入模块，具体用于根据所述认证信息向所述目的数据库对应的第一认证服务发送认证请求，以获取第一认证票据；
[0041]在所述目的数据库验证所述第一认证票据合法的情况下，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库。
[0042]可选的，所述第二写入模块，具体用于按照Bulkload批量导入的方式，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库。
[0043]可选的，所述认证信息还用于获取从所述源数据库中读取所述目标数据的权限；
[0044]所述第一写入模块，具体用于在接收到所述目标数据对应的数据写入任务时，根据所述认证信息向所述源数据库对应的第二认证服务发送认证请求，以获取第二认证票据；
[0045]在所述源数据库验证所述第二认证票据合法的情况下，从所述源数据库中获取所述目标数据，并写入预设对象存储节点。
[0046]可选的，所述认证信息包括：配置信息、密钥和实体名称；
[0047]所述装置还包括：
[0048]认证信息存储模块，用于在所述获取源数据库中待写入目的数据库的目标数据的认证信息之后，将所述配置信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据写入方法，其特征在于，包括：获取源数据库中待写入目的数据库的目标数据的认证信息；其中，所述认证信息用于获取在所述目的数据库中写入所述目标数据的权限；所述源数据库和所述目的数据库各自所属的集群之间网络不通；将所述源数据库中存储的所述目标数据写入预设对象存储节点；根据所述认证信息，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库。2.根据权利要求1所述的方法，其特征在于，所述根据所述认证信息，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库，包括：根据所述认证信息向所述目的数据库对应的第一认证服务发送认证请求，以获取第一认证票据；在所述目的数据库验证所述第一认证票据合法的情况下，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库。3.根据权利要求1或2所述的方法，其特征在于，所述将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库，包括：按照Bulkload批量导入的方式，将所述预设对象存储节点中存储的所述目标数据写入所述目的数据库。4.根据权利要求1所述的方法，其特征在于，所述认证信息还用于获取从所述源数据库中读取所述目标数据的权限；将所述源数据库中存储的所述目标数据写入预设对象存储节点，包括：在接收到所述目标数据对应的数据写入任务时，根据所述认证信息向所述源数据库对应的第二认证服务发送认证请求，以获取第二认证票据；在所述源数据库验证所述第二认证票据合法的情况下，从所述源数据库中获取所述目标数据，并写入预设对象存储节点。5.根据权利要求4所述的方法，其特征在于，所述认证信息包括：配置信息、密钥和实体名称；在所述获取源数据库中待写入目的数据库的目标数据的认证信息之后，所述方法还包括：将所述配置信息和密钥，以文件格式存储至分布式文件系统的指定目录；在根据所述认证信息向所述源数据库对应的第二认证服务发送认证请求，以获取第二认证票据之前，所述方法还包括：当需要从所述源数据库获取所述目标数据时，从所述指定目录获取所述配置信息和密钥。6.根据权利要求5所述的方法，其特征在于，在从所述源数据库中获取所述目标数据，并写入预设对象存储节点之后，所述方法还包括：释放执行所述数据写入任务所占的资源，以及删除所述指定目录下记录的所述配置信息和密钥。7.一种数据写入方法，其特征在于，所述方法应用于计算节点，包括：接收数据写入任务；其中，所述数据写入任务表示将源数据库中的目标数据写入目的
数据库；所述源数据库和所述目的数据库各自所属的集群之间网络不通；从所述源数据库中获取所述目标数据；...

【专利技术属性】
技术研发人员：姜新，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：