数据加载方法及其装置制造方法及图纸

本公开提出了一种数据加载方法及其装置，涉及大数据数据访问技术领域。该方法包括：响应于监听到待加载的目标数据文件，获取目标数据文件的配置信息；根据配置信息确定待加载的M个候选数据库和任一候选数据库对应的数据表结构信息，并确定目标数据文件的加载顺序，M为正整数；根据数据表结构信息将目标数据文件按加载顺序加载至M个候选数据库。本公开可以根据配置信息对各类数据文件类型进行加载，提高数据加载的效率，兼容各个类型的数据库，提升数据加载的灵活性，避免重复开发带来的冗余代码，避免浪费资源，在上游数据文件结构变更时仍能实现自动加载，兼容性以及可靠性较高。兼容性以及可靠性较高。兼容性以及可靠性较高。

【技术实现步骤摘要】
数据加载方法及其装置


[0001]本公开涉及大数据数据访问
，尤其涉及一种数据加载方法及其装置。

技术介绍

[0002]随着计算机技术的飞速发展，数据库的应用也越来越广泛，数据的加载效率是数据库的总体性能的一个非常重要的指标。
[0003]相关技术中，系统间通过数据文件的方式分享或者同步数据是一种常见的方式，一般有数据文件加载需求时会根据对方的数据文件格式自定义加载，各个系统都普遍存在数据文件加载需求，但是不同系统间的文件类型、文件格式和文件到达时间上存在各种差异，可能存在重复的无意义的开发，效率较低，因此，如何提高数据加载的效率，提升数据加载的灵活性，避免重复开发带来的冗余代码，已经成为重要的研究方向之一。

技术实现思路

[0004]本公开旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本公开的一个目的在于提出一种数据加载方法。
[0005]本公开的第二个目的在于提出一种数据加载装置。
[0006]本公开的第三个目的在于提出一种电子设备。
[0007]本公开的第四个目的在于提出一种非瞬时计算机可读存储介质。
[0008]本公开的第五个目的在于提出一种计算机程序产品。
[0009]为达上述目的，本公开第一方面实施例提出了一种数据加载方法，包括：
[0010]响应于监听到待加载的目标数据文件，获取目标数据文件的配置信息；
[0011]根据配置信息确定待加载的M个候选数据库和任一候选数据库对应的数据表结构信息，并确定目标数据文件的加载顺序，M为正整数；
[0012]根据数据表结构信息将目标数据文件按加载顺序加载至M个候选数据库。
[0013]在一些实现中，目标数据文件为多个，确定目标数据文件的加载顺序，还包括：
[0014]根据配置信息确定N个数据加载进程，并获取目标数据文件的等待时间和数据加载进程的并发量，N为正整数；
[0015]根据等待时间和数据加载进程的并发量，确定目标数据文件的加载顺序。
[0016]在一些实现中，根据数据表结构信息将目标数据文件按加载顺序加载至M个候选数据库，包括：
[0017]根据数据表结构信息获取加载目标数据文件的目标表结构和目标数据文件的格式；
[0018]调用N个数据加载进程，根据目标数据文件的格式和目标表结构将目标数据文件按加载顺序加载至M个候选数据库。
[0019]在一些实现中，根据目标数据文件的格式和目标表结构将目标数据文件按加载顺序加载至M个候选数据库，包括：
[0020]响应于目标数据文件的格式为数据流格式，直接按照目标表结构将目标数据文件按加载顺序加载至M个候选数据库；或
[0021]响应于目标数据文件的格式为压缩格式，对目标数据文件进行解压，获取解压数据文件，根据目标表结构将解压数据文件按加载顺序加载至M个候选数据库。
[0022]在一些实现中，数据表结构信息中包括一个或多个数据库标识，根据数据表结构信息将目标数据文件按加载顺序加载至M个候选数据库，包括：
[0023]根据一个或多个数据库标识，从M个候选数据库中确定目标数据文件对应的目标数据库；
[0024]根据数据表结构信息将目标数据文件按加载顺序加载至目标数据文件对应的目标数据库。
[0025]在一些实现中，方法还包括：
[0026]在数据加载进程中获取目标数据文件的出错信息；
[0027]根据目标数据文件的出错信息确定目标数据文件的加载结果；
[0028]响应于目标数据文件的加载结果为加载失败，对目标数据文件进行清理。
[0029]在一些实现中，还包括：
[0030]根据目标数据文件的文件标识以及加载结果获取作业日志。
[0031]在一些实现中，还包括：
[0032]响应于目标数据文件加载完成，获取作业日志中加载失败的目标数据文件的第一数量与加载成功的目标数据文件的第二数量；
[0033]根据第一数量与第二数量的和值确定目标数据文件的总数量；
[0034]响应于第一数量与总数量的比值大于预设比值阈值，确定为加载失败，并发出报警提示。
[0035]本公开可以根据配置信息对各类数据文件类型进行加载，提高数据加载的效率，兼容各个类型的数据库，提升数据加载的灵活性，避免重复开发带来的冗余代码，避免浪费资源，在上游数据文件结构变更时仍能实现自动加载，兼容性以及可靠性较高。
[0036]为达上述目的，本公开第二方面实施例提出了一种数据加载装置，包括：
[0037]获取模块，被配置为响应于监听到待加载的目标数据文件，获取目标数据文件的配置信息；
[0038]确定模块，被配置为根据配置信息确定待加载的M个候选数据库和任一候选数据库对应的数据表结构信息，并确定目标数据文件的加载顺序，M为正整数；
[0039]加载模块，被配置为根据数据表结构信息将目标数据文件按加载顺序加载至M个候选数据库。
[0040]在一些实现中，目标数据文件为多个，加载模块，还被配置为：
[0041]根据配置信息确定N个数据加载进程，并获取目标数据文件的等待时间和任一数据加载进程的并发量，N为正整数；
[0042]根据等待时间和数据加载进程的并发量，确定目标数据文件的加载顺序。
[0043]在一些实现中，加载模块，还被配置为：
[0044]根据数据表结构信息获取加载目标数据文件的目标表结构和目标数据文件的格式；
[0045]调用N个数据加载进程，根据目标数据文件的格式和目标表结构将目标数据文件按加载顺序加载至M个候选数据库。
[0046]在一些实现中，加载模块，还被配置为：
[0047]响应于目标数据文件的格式为数据流格式，直接按照目标表结构将目标数据文件按加载顺序加载至M个候选数据库；或
[0048]响应于目标数据文件的格式为压缩格式，对目标数据文件进行解压，获取解压数据文件，根据目标表结构将解压数据文件按加载顺序加载至M个候选数据库。
[0049]在一些实现中，数据表结构信息中包括一个或多个数据库标识，加载模块，还被配置为：
[0050]根据一个或多个数据库标识，从M个候选数据库中确定目标数据文件对应的目标数据库；
[0051]根据数据表结构信息将目标数据文件按加载顺序加载至目标数据文件对应的目标数据库。
[0052]在一些实现中，装置还包括清理模块，被配置为：
[0053]在数据加载进程中获取目标数据文件的出错信息；
[0054]根据目标数据文件的出错信息确定目标数据文件的加载结果；
[0055]响应于目标数据文件的加载结果为加载失败，对目标数据文件进行清理。
[0056]在一些实现中，装置还包括日志获取模块，被配置为：
[0057]根据目标数据文件的文件标识以及加载结果获取作业日志。
[0058]在一些实现中，装置还包括报警本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据加载方法，其特征在于，包括：响应于监听到待加载的目标数据文件，获取所述目标数据文件的配置信息；根据所述配置信息确定待加载的M个候选数据库和任一候选数据库对应的数据表结构信息，并确定所述目标数据文件的加载顺序，所述M为正整数；根据所述数据表结构信息将所述目标数据文件按所述加载顺序加载至所述M个候选数据库。2.根据权利要求1所述的方法，其特征在于，所述目标数据文件为多个，所述确定所述目标数据文件的加载顺序，包括：根据所述配置信息确定N个数据加载进程，并获取所述目标数据文件的等待时间和所述数据加载进程的并发量，所述N为正整数；根据所述等待时间和所述数据加载进程的并发量，确定所述目标数据文件的加载顺序。3.根据权利要求2所述的方法，其特征在于，所述根据所述数据表结构信息将所述目标数据文件按所述加载顺序加载至所述M个候选数据库，包括：根据所述数据表结构信息获取加载所述目标数据文件的目标表结构和所述目标数据文件的格式；调用所述N个数据加载进程，根据所述目标数据文件的格式和所述目标表结构将所述目标数据文件按所述加载顺序加载至所述M个候选数据库。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标数据文件的格式和所述目标表结构将所述目标数据文件按所述加载顺序加载至所述M个候选数据库，包括：响应于所述目标数据文件的格式为数据流格式，直接按照所述目标表结构将所述目标数据文件按所述加载顺序加载至所述M个候选数据库；或响应于所述目标数据文件的格式为压缩格式，对所述目标数据文件进行解压，获取解压数据文件，根据所述目标表结构将所述解压数据文件按所述加载顺序加载至所述M个候选数据库。5.根据权利要求2所述的方法，其特征在于，所述数据表结构信息中包括一个或多个数据库标识，所述根据所述数据表结构信息将所述目标数据文件按所述加载顺序加载至所述M个候选数据库，包括：根据所述一个或多个数据库标识，从所述M个候选数据库中确定所述目标数据文件对应的目标数据库；根据所述数据表结构信息将所述目标数据文件按所述加载顺序加载至所述目标数据文件对应的所述目标数据库。6.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述数据加载进程中获取所述目标数据文件的出错信息；根据所述目标数据文件的出错信息确定所述目标数据文件的加载结果；响应于所述目标数据文件的加载结果为加载失败，对所述目标数据文件进行清理。7.根据权利要求6所述的方法，其特征在于，还包括：根据所述目标数据文件的文件标识以及所述加载结果获取作业日志。8.根据权利要求7所述的方法，其特征在于，还包括：
响应于所述目标数据文件加载完成，获取所述作业日志中加载失败的所述目标数据文件的第一数量与加载成功的所述目标数据文件的第二数量；根据所述第一数量与所述第二数量的和值确定所述目标数据文件的总数量；响应于所述第一数量与所述总数量的比值大于预设比值阈值，确定为加载失败，并发出报警提示。9.一种数据加载装置，其特征在于，适用于客户端，包括：获取模块，被配置为响应于监听到待加载的目标数据文件，获取所述目标数据文件的配置信息；确定模块，被配置为根据所述配置信息确定待加载的M个候选数据库和任一候选数据库对应的数据表结构信息，并确定...

【专利技术属性】
技术研发人员：杨莉，黎洪达，吴秦明，任国力，李孜逸，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：