数据调动方法和装置、存储介质及电子装置制造方法及图纸

本申请公开了一种数据调动方法和装置、存储介质及电子装置，涉及大数据技术领域，该数据调动方法包括：在获取到客户端发送的查询信息的情况下，识别查询信息对应的字段信息，根据字段信息确定响应查询信息的目标数据库的数据库类型，并获取数据库类型对应的元数据集合；启动建表模式，将元数据集合中的数据信息映射到目标数据库对应预设格式的第一数据库表中，得到第一表，以及将元数据集合中的数据信息映射到数据仓库系统中的第二数据库表中，得到第二表；在建立第一表与第二表之间对于同一数据信息的关联关系的情况下，将第二表发送至客户端，以对响应查询信息的数据调动进行指示。示。示。

【技术实现步骤摘要】
数据调动方法和装置、存储介质及电子装置


[0001]本申请涉及大数据
，具体而言，涉及一种数据调动方法和装置、存储介质及电子装置。

技术介绍

[0002]对于大数据计算引擎读取MPP(massively parallel processing，大规模并行处理，简称MPP)数据库的问题，在相关技术中，如图1所示，主要是通过大数据领域的计算引擎如Spark、Presto等，通过jdbc(Java DataBaseConnectivity java，数据库连接，简称jdbc)协议来连接MPP数据库，然后读取数据，但上述方式读取MPP数据库性能差，在读取数据阶段的性能受限于协调节点单线程吐数据的性能瓶颈，特别是当数据量非常大的时候，读取耗时会非常久。此外，上述方式还无法有效发挥Spark、Presto等计算引擎的并发处理特点，受限于jdbc单线程拉取数据的机制，使得数据计算任务只能分配到某个工作节点上，导致其他计算节点资源闲置，不能充分发挥分布式计算的能力。
[0003]针对相关技术中，无法实现对数据库在整个数据读取环节的多并发处理，且数据处理效率低下等问题，目前尚未提出有效的解决方案。
[0004]因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。

技术实现思路

[0005]本申请实施例提供了一种数据调动方法和装置、存储介质及电子装置，以至少解决无法实现对数据库在整个数据读取环节的多并发处理，且数据处理效率低下等问题。
[0006]根据本申请实施例的一方面，提供一种数据调动方法，包括：在获取到客户端发送的查询信息的情况下，识别所述查询信息对应的字段信息，其中，所述字段信息用于指示在目标数据库中匹配目标文件；根据所述字段信息确定响应所述查询信息的目标数据库的数据库类型，并获取所述数据库类型对应的元数据集合；启动建表模式，将所述元数据集合中的数据信息映射到所述目标数据库对应预设格式的第一数据库表中，得到第一表，以及将所述元数据集合中的数据信息映射到数据仓库系统中的第二数据库表中，得到第二表；在建立所述第一表与所述第二表之间对于同一数据信息的关联关系的情况下，将所述第二表发送至所述客户端，以对响应所述查询信息的数据调动进行指示。
[0007]在一个示例性的实施例中，根据所述字段信息确定响应所述查询信息的目标数据库的数据库类型之前，上述方法还包括：解析所述字段信息，得到所述目标数据库对应的库名以及表名；根据所述库名以及表名从数据库集合中确定出所述目标数据库；将所述目标数据库的数据节点存储的数据并行导出到所述客户端对应的缓存空间。
[0008]在一个示例性的实施例中，将所述目标数据库的数据节点存储的数据并行导出到所述客户端对应的缓存空间之前，上述方法还包括：确定所述客户端对应的缓存组件的挂载记录；在所述挂载记录指示所述客户端具有缓存组件的情况下，确定所述缓存组件在所述客户端中设置的缓存空间对应的目录信息，并生成与所述目录信息对应的数据文件地
址；在所述挂载记录指示所述客户端不具有缓存组件的情况下，确定所述目标数据库的数据导出出现异常，并生成对应的操作信息。
[0009]在一个示例性的实施例中，确定所述缓存组件在所述客户端中设置的缓存空间对应的目录信息，并生成与所述目录信息对应的数据文件地址之后，上述方法还包括：确定所述数据文件地址对于所述目标数据库导出数据的存储数量；在所述存储数量大于预设数量的情况下，指示所述缓存组件在所述客户端中设置新的缓存空间；在所述存储数量小于或等于预设数量的情况下，确定所述目标数据库是否完成导出数据的操作。
[0010]在一个示例性的实施例中，确定所述目标数据库是否完成导出数据的操作，包括：在确定所述目标数据库完成导出数据的操作的情况下，允许所述客户端根据所述缓存空间中的数据对所述查询信息进行响应；在确定所述目标数据库未完成导出数据的操作的情况下，禁止所述客户端根据所述缓存空间中的数据对所述查询信息进行响应。
[0011]在一个示例性的实施例中，在建立所述第一表与所述第二表之间对于同一数据信息的关联关系的情况下，将所述第二表发送至所述客户端之后，上述方法还包括：确定所述第二表与所述客户端中存在的数据文件地址的关联关系；根据所述关联关系生成所述目标数据库对应的分布式查询规则。
[0012]在一个示例性的实施例中，将所述第二表发送至所述客户端，以对响应所述查询信息的数据调动进行指示之后，上述方法还包括：获取所述第二表对所述查询信息的响应结果；在所述响应结果指示已成功指示所述查询信息的数据调动的情况下，获取所述第二表再次响应查询信息的时间，并确定所述第二表响应两次查询信息的时间差值，在所述时间差值大于预设差值的情况下，向所述客户端发送删除所述第二表的操作指令；在所述响应结果指示未成功指示所述查询信息的数据调动的情况下，对生成所述第二表的元数据集合进行更新。
[0013]根据本申请实施例的另一方面，还提供了一种数据调动装置，包括：获取模块，用于在获取到客户端发送的查询信息的情况下，识别所述查询信息对应的字段信息，其中，所述字段信息用于指示在目标数据库中匹配目标文件；确定模块，用于根据所述字段信息确定响应所述查询信息的目标数据库的数据库类型，并获取所述数据库类型对应的元数据集合；映射模块，用于启动建表模式，将所述元数据集合中的数据信息映射到所述目标数据库对应预设格式的第一数据库表中，得到第一表，以及将所述元数据集合中的数据信息映射到数据仓库系统中的第二数据库表中，得到第二表；发送模块，用于在建立所述第一表与所述第二表之间对于同一数据信息的关联关系的情况下，将所述第二表发送至所述客户端，以对响应所述查询信息的数据调动进行指示。
[0014]根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述数据调动方法。
[0015]根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述数据调动方法。
[0016]通过本申请，在获取到客户端发送的查询信息的情况下，识别所述查询信息对应的字段信息，其中，所述字段信息用于指示在目标数据库中匹配目标文件；根据所述字段信
息确定响应所述查询信息的目标数据库的数据库类型，并获取所述数据库类型对应的元数据集合；启动建表模式，将所述元数据集合中的数据信息映射到所述目标数据库对应预设格式的第一数据库表中，得到第一表，以及将所述元数据集合中的数据信息映射到数据仓库系统中的第二数据库表中，得到第二表；在建立所述第一表与所述第二表之间对于同一数据信息的关联关系的情况下，将所述第二表发送至所述客户端，以对响应所述查询信息的数据调动进行指示，从而解决无法实现对数据库在整个数据读取环节的多并发处理，且数据处理效率低下等等问题，通过第一表与第二表之间的查询转换，将查询信息的具体查询过程转化为基于第二表(Hive本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据调动方法，其特征在于，应用在大数据计算引擎中，包括：在获取到客户端发送的查询信息的情况下，识别所述查询信息对应的字段信息，其中，所述字段信息用于指示在目标数据库中匹配目标文件；根据所述字段信息确定响应所述查询信息的目标数据库的数据库类型，并获取所述数据库类型对应的元数据集合；启动建表模式，将所述元数据集合中的数据信息映射到所述目标数据库对应预设格式的第一数据库表中，得到第一表，以及将所述元数据集合中的数据信息映射到数据仓库系统中的第二数据库表中，得到第二表；在建立所述第一表与所述第二表之间对于同一数据信息的关联关系的情况下，将所述第二表发送至所述客户端，以对响应所述查询信息的数据调动进行指示。2.根据权利要求1所述的数据调动方法，其特征在于，根据所述字段信息确定响应所述查询信息的目标数据库的数据库类型之前，所述方法还包括：解析所述字段信息，得到所述目标数据库对应的库名以及表名；根据所述库名以及表名从数据库集合中确定出所述目标数据库；将所述目标数据库的数据节点存储的数据并行导出到所述客户端对应的缓存空间。3.根据权利要求2所的数据调动方法，其特征在于，将所述目标数据库的数据节点存储的数据并行导出到所述客户端对应的缓存空间之前，所述方法还包括：确定所述客户端对应的缓存组件的挂载记录；在所述挂载记录指示所述客户端具有缓存组件的情况下，确定所述缓存组件在所述客户端中设置的缓存空间对应的目录信息，并生成与所述目录信息对应的数据文件地址；在所述挂载记录指示所述客户端不具有缓存组件的情况下，确定所述目标数据库的数据导出出现异常，并生成对应的操作信息。4.根据权利要求3所述的数据调动方法，其特征在于，确定所述缓存组件在所述客户端中设置的缓存空间对应的目录信息，并生成与所述目录信息对应的数据文件地址之后，所述方法还包括：确定所述数据文件地址对于所述目标数据库导出数据的存储数量；在所述存储数量大于预设数量的情况下，指示所述缓存组件在所述客户端中设置新的缓存空间；在所述存储数量小于或等于预设数量的情况下，确定所述目标数据库是否完成导出数据的操作。5.根据权利要求4所述的数据调动方法，其特征在于，确定所述目标数据库是否完成导出数据的操作，包括：在确定所述目标数据库完成导出数据的操作的情况下，允许所述客户端根...

【专利技术属性】
技术研发人员：程一舰，黄登玺，王瑜，刘淼，王磊，刘鉴，张剑鸣，
申请(专利权)人：中国光大银行股份有限公司，
类型：发明
国别省市：