一种用于数据库的数据加载方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种用于数据库的数据加载方法、装置、设备及介质，所述方法包括以下步骤：获取数据库数据加载需求，根据数据库数据加载需求获取待加载数据文件；设置文件预处理算法，基于待加载数据文件和文件预处理算法进行文件列化分组处理，得到分组数据列；设置文件同步加载算法，基于文件同步加载算法将分组数据列加载至第一数据库中；本发明专利技术能够针对于国产数据库，设计了区别于非国产数据库的数据预处理方案，在数据导入国产数据库前，进行预先列化处理和分组处理，保证了数据分组的有序性和一致性，通过同步加载将处理后的数据加载至国产数据库，减少了国产数据库的数据导入步骤，增加了数据导入时效性，降低了国产数据库的资源消耗。的资源消耗。的资源消耗。

【技术实现步骤摘要】
一种用于数据库的数据加载方法、装置、设备及介质


[0001]本专利技术涉及数据库
，具体的，本专利技术应用于国产数据库中的数据加载领域，特别是涉及一种用于数据库的数据加载方法、装置、设备及介质。

技术介绍

[0002]通常在数据导入数据库前，需要采用非国产数据库自带的工具对数据进行分组预处理，该分组预处理属于不可或缺的步骤；而由于非国产数据库的数据处理工具的非开源化，导致目前现有技术中并不存在能够应用于国产数据库的数据预处理加载方案，故目前的国产数据库在导入数据时，并不具备有对于导入数据进行预处理的功能，当国产数据库在应用时，需要将先将数据加载至数据库中，后续在数据加载完成后，再对国产数据库中的数据进行更新处理，进而实现数据分组，这种方式会导致国产数据库在导入数据时的处理步骤增多，且后续的数据更新处理会提高国产数据库的资源消耗，降低了国产数据库数据导入的时效性。

技术实现思路

[0003]本专利技术的目的在于，针对现有技术中的上述问题，提供一种用于数据库的数据加载方法、装置、设备及介质，进而解决现有技术中并不存在能够应用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于数据库的数据加载方法，其特征在于，包括以下步骤：数据文件获取：获取数据库数据加载需求，根据所述数据库数据加载需求获取待加载数据文件；数据文件预处理：设置文件预处理算法，基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列；数据加载：设置文件同步加载算法，基于所述文件同步加载算法将所述分组数据列加载至第一数据库中。2.根据权利要求1所述的一种用于数据库的数据加载方法，其特征在于：所述数据库数据加载需求包括：第一加载需求和第一非加载需求；所述第一加载需求为所述第一数据库需要加载数据文件；所述第一非加载需求为所述第一数据库无需加载数据文件；所述根据所述数据库数据加载需求获取待加载数据文件，包括：识别所述数据库数据加载需求；若所述数据库数据加载需求为所述第一加载需求，则获取与所述第一加载需求相匹配的第一数据文件；打包所述第一数据文件作为所述待加载数据文件。3.根据权利要求1所述的一种用于数据库的数据加载方法，其特征在于：所述文件预处理算法包括：文件预分类算法和文件预分组算法；所述基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列，包括：调用所述文件预分类算法将所述待加载数据文件划分为若干第一文件列；调用所述文件预分组算法对若干所述第一文件列进行文件分组处理，得到与若干所述第一文件列分别对应的若干所述分组数据列。4.根据权利要求3所述的一种用于数据库的数据加载方法，其特征在于：所述文件预分类算法，包括：识别所述待加载数据文件中所包含的若干数据特性；创建与若干所述数据特性分别对应的若干空数据列；按照若干所述数据特性将所述待加载数据文件分别排列至若干所述空数据列中，得到若干所述第一文件列。5.根据权利要求4所述的一种用于数据库的数据加载方法，其特征在于：所述文件预分组算法，包括：获取分组字段需求；识别若干所述第一文件列所分别对应的若干所述数...

【专利技术属性】
技术研发人员：王瑜，王在印，胡焱，常绍盈，袭祥亮，
申请(专利权)人：浪潮金融信息技术有限公司，
类型：发明
国别省市：