本发明专利技术公开了一种用于数据库的数据加载方法、装置、设备及介质，所述方法包括以下步骤：获取数据库数据加载需求，根据数据库数据加载需求获取待加载数据文件；设置文件预处理算法，基于待加载数据文件和文件预处理算法进行文件列化分组处理，得到分组数据列；设置文件同步加载算法，基于文件同步加载算法将分组数据列加载至第一数据库中；本发明专利技术能够针对于国产数据库，设计了区别于非国产数据库的数据预处理方案，在数据导入国产数据库前，进行预先列化处理和分组处理，保证了数据分组的有序性和一致性，通过同步加载将处理后的数据加载至国产数据库，减少了国产数据库的数据导入步骤，增加了数据导入时效性，降低了国产数据库的资源消耗。的资源消耗。的资源消耗。
【技术实现步骤摘要】
一种用于数据库的数据加载方法、装置、设备及介质
[0001]本专利技术涉及数据库
，具体的，本专利技术应用于国产数据库中的数据加载领域，特别是涉及一种用于数据库的数据加载方法、装置、设备及介质。
技术介绍
[0002]通常在数据导入数据库前，需要采用非国产数据库自带的工具对数据进行分组预处理，该分组预处理属于不可或缺的步骤；而由于非国产数据库的数据处理工具的非开源化，导致目前现有技术中并不存在能够应用于国产数据库的数据预处理加载方案，故目前的国产数据库在导入数据时，并不具备有对于导入数据进行预处理的功能，当国产数据库在应用时，需要将先将数据加载至数据库中，后续在数据加载完成后，再对国产数据库中的数据进行更新处理，进而实现数据分组，这种方式会导致国产数据库在导入数据时的处理步骤增多，且后续的数据更新处理会提高国产数据库的资源消耗，降低了国产数据库数据导入的时效性。
技术实现思路
[0003]本专利技术的目的在于，针对现有技术中的上述问题，提供一种用于数据库的数据加载方法、装置、设备及介质，进而解决现有技术中并不存在能够应用于国产数据库的数据预处理加载方案，这导致国产数据库在导入数据时，并不具备有对于导入数据进行预处理的功能，最终导致国产数据库在导入数据时的处理步骤增多，提高了国产数据库的资源消耗，降低了国产数据库数据导入的时效性的问题。
[0004]为解决上述技术问题，本专利技术的具体技术方案如下：
[0005]一方面，本专利技术提供一种用于数据库的数据加载方法，包括：
[0006]数据文件获取：
[0007]获取数据库数据加载需求，根据所述数据库数据加载需求获取待加载数据文件；
[0008]数据文件预处理：
[0009]设置文件预处理算法，基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列；
[0010]数据加载：
[0011]设置文件同步加载算法，基于所述文件同步加载算法将所述分组数据列加载至第一数据库中。
[0012]作为一种改进的方案，所述数据库数据加载需求包括：第一加载需求和第一非加载需求；所述第一加载需求为所述第一数据库需要加载数据文件；所述第一非加载需求为所述第一数据库无需加载数据文件；
[0013]所述根据所述数据库数据加载需求获取待加载数据文件，包括：
[0014]识别所述数据库数据加载需求；
[0015]若所述数据库数据加载需求为所述第一加载需求，则获取与所述第一加载需求相
匹配的第一数据文件；打包所述第一数据文件作为所述待加载数据文件。
[0016]作为一种改进的方案，所述文件预处理算法包括：文件预分类算法和文件预分组算法；
[0017]所述基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列，包括：
[0018]调用所述文件预分类算法将所述待加载数据文件划分为若干第一文件列；
[0019]调用所述文件预分组算法对若干所述第一文件列进行文件分组处理，得到与若干所述第一文件列分别对应的若干所述分组数据列。
[0020]作为一种改进的方案，所述文件预分类算法，包括：
[0021]识别所述待加载数据文件中所包含的若干数据特性；
[0022]创建与若干所述数据特性分别对应的若干空数据列；
[0023]按照若干所述数据特性将所述待加载数据文件分别排列至若干所述空数据列中，得到若干所述第一文件列。
[0024]作为一种改进的方案，所述文件预分组算法，包括：
[0025]获取分组字段需求；
[0026]识别若干所述第一文件列所分别对应的若干所述数据特性；
[0027]基于所述分组字段需求和若干所述数据特性设定与若干所述第一文件列分别对应的若干第一分组字段；
[0028]按照若干所述第一分组字段分别对若干所述第一文件列中的数据文件进行分组处理；
[0029]设定经过所述分组处理后的第一文件列为所述分组数据列。
[0030]作为一种改进的方案，所述基于所述文件同步加载算法将所述分组数据列加载至第一数据库中，包括：
[0031]调用所述文件同步加载算法将若干所述分组数据列分别加载至所述第一数据库中。
[0032]作为一种改进的方案，所述文件同步加载算法，包括：
[0033]统计若干所述分组数据列的列值；
[0034]基于所述列值设定若干处理线程；
[0035]通过若干所述处理线程分别将若干所述分组数据列加载至所述第一数据库中。
[0036]另一方面，本专利技术还提供一种用于数据库的数据加载装置，包括：
[0037]数据文件获取模块、数据文件预处理模块和数据加载模块；
[0038]所述数据文件获取模块，用于获取数据库数据加载需求，并根据所述数据库数据加载需求获取待加载数据文件；
[0039]所述数据文件预处理模块，用于设置文件预处理算法，并基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列；
[0040]所述数据加载模块，用于设置文件同步加载算法，并基于所述文件同步加载算法将所述分组数据列加载至第一数据库中。
[0041]另一方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述用于数据库的数据加载方法
的步骤。
[0042]另一方面，本专利技术还提供一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；其中：
[0043]所述存储器，用于存放计算机程序；
[0044]所述处理器，用于通过运行所述存储器上所存放的程序来执行所述用于数据库的数据加载方法的步骤。
[0045]本专利技术技术方案的有益效果是：
[0046]1、本专利技术所述的用于数据库的数据加载方法，可以实现针对于国产数据库，设计了区别于非国产数据库的数据预处理方案，通过新算法，在数据导入国产数据库前，进行预先的列化处理和分组处理，且保证了数据分组的有序性和一致性，通过同步加载的方式将处理后的数据加载至国产数据库，不仅减少了国产数据库中的数据导入步骤，增加了国产数据库的数据导入时效性，降低了国产数据库的资源消耗，弥补了现有技术的空缺，具有极高的应用价值。
[0047]2、本专利技术所述的用于数据库的数据加载装置，可以通过数据文件获取模块、数据文件预处理模块和数据加载模块的相互配合，进而实现针对于国产数据库，设计了区别于非国产数据库的数据预处理方案，通过新算法，在数据导入国产数据库前，进行预先的列化处理和分组处理，且保证了数据分组的有序性和一致性，通过同步加载的方式将处理后的数据加载至国产数据库，不仅减少了国产数据库中的数据导入步骤，增加了国产数据库的数据导入时效性，降低了国产数据库的资源消耗，弥补了现有技术的空本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于数据库的数据加载方法，其特征在于，包括以下步骤：数据文件获取：获取数据库数据加载需求，根据所述数据库数据加载需求获取待加载数据文件；数据文件预处理：设置文件预处理算法，基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列；数据加载：设置文件同步加载算法，基于所述文件同步加载算法将所述分组数据列加载至第一数据库中。2.根据权利要求1所述的一种用于数据库的数据加载方法，其特征在于：所述数据库数据加载需求包括：第一加载需求和第一非加载需求；所述第一加载需求为所述第一数据库需要加载数据文件；所述第一非加载需求为所述第一数据库无需加载数据文件；所述根据所述数据库数据加载需求获取待加载数据文件，包括：识别所述数据库数据加载需求；若所述数据库数据加载需求为所述第一加载需求，则获取与所述第一加载需求相匹配的第一数据文件；打包所述第一数据文件作为所述待加载数据文件。3.根据权利要求1所述的一种用于数据库的数据加载方法，其特征在于：所述文件预处理算法包括：文件预分类算法和文件预分组算法；所述基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列，包括：调用所述文件预分类算法将所述待加载数据文件划分为若干第一文件列；调用所述文件预分组算法对若干所述第一文件列进行文件分组处理，得到与若干所述第一文件列分别对应的若干所述分组数据列。4.根据权利要求3所述的一种用于数据库的数据加载方法，其特征在于：所述文件预分类算法，包括：识别所述待加载数据文件中所包含的若干数据特性；创建与若干所述数据特性分别对应的若干空数据列；按照若干所述数据特性将所述待加载数据文件分别排列至若干所述空数据列中，得到若干所述第一文件列。5.根据权利要求4所述的一种用于数据库的数据加载方法，其特征在于：所述文件预分组算法，包括：获取分组字段需求；识别若干所述第一文件列所分别对应的若干所述数...
【专利技术属性】
技术研发人员：王瑜，王在印，胡焱，常绍盈，袭祥亮，
申请(专利权)人：浪潮金融信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。