一种用于数据库的数据导入方法、系统、设备及介质技术方案

本发明专利技术公开了一种用于数据库的数据导入方法、系统、设备及介质，所述方法包括以下步骤：检测数据库数据导入需求，基于数据库数据导入需求获取数仓元数据；配置数据分区算法和分区确认算法，基于数仓元数据、数据分区算法和分区确认算法计算数据分区值；基于数据分区值执行数据分区导入操作；本发明专利技术能够在业务元数据导入数据库前，就对数据进行独特的分区处理，且分区是根据业务元数据本身的数据参数进行决定的，独特的分区处理还具有一定的秩序性和有效性，能够使数据进行有效分区，有效降低大批量数据导入数据库时产生的数据压力，提高了数据导入的效率，同时稳定了数据库在数据导入时的性能参数，具有极高的应用价值。具有极高的应用价值。具有极高的应用价值。

【技术实现步骤摘要】
一种用于数据库的数据导入方法、系统、设备及介质


[0001]本专利技术涉及数据处理
，具体的，本专利技术应用于业务元数据处理领域，特别是涉及一种用于数据库的数据导入方法、系统、设备及介质。

技术介绍

[0002]目前业务元数据的数据导入数据库的方式为，由txt文件直接导入数据库中，在进行导入时，会直接导入全部的业务元数据，而这种不进行业务元数据的分区就全部将数据导入至数据库中的方法，会导致数据在落地数据库时，极大的占用数据库的计算资源和存储资源，数据库的性能压力较大，进而影响了数据库的性能，造成资源占用过巨的问题。

技术实现思路

[0003]本专利技术的目的在于，针对现有技术中的上述问题，提供一种用于数据库的数据导入方法、系统、设备及介质，进而解决现有技术中不进行业务元数据的分区就全部将数据导入至数据库中的方法，会导致数据在落地数据库时，极大的占用数据库的计算资源和存储资源，数据库的性能压力较大，进而影响了数据库的性能，造成资源占用过巨的问题。
[0004]为解决上述技术问题，本专利技术的具体技术方案如下：
...

【技术保护点】

【技术特征摘要】
1.一种用于数据库的数据导入方法，其特征在于，包括以下步骤：元数据获取：检测数据库数据导入需求，基于所述数据库数据导入需求获取数仓元数据；数据分区计算：配置数据分区算法和分区确认算法，基于所述数仓元数据、所述数据分区算法和所述分区确认算法计算数据分区值；数据分区导入：基于所述数据分区值执行数据分区导入操作。2.根据权利要求1所述的一种用于数据库的数据导入方法，其特征在于：所述基于所述数据库数据导入需求获取数仓元数据，包括：所述数据库数据导入需求为需要导入数据时，获取与所述数据库数据导入需求相匹配的第一数据，设定所述第一数据为所述数仓元数据；所述数据库数据导入需求为无需导入数据时，回到所述元数据获取步骤。3.根据权利要求1所述的一种用于数据库的数据导入方法，其特征在于：所述基于所述数仓元数据、所述数据分区算法和所述分区确认算法计算数据分区值，包括：基于所述数仓元数据调用所述数据分区算法，得到第一分区参数；基于所述第一分区参数调用所述分区确认算法，得到所述数据分区值。4.根据权利要求3所述的一种用于数据库的数据导入方法，其特征在于：所述数据分区算法，包括：识别所述数仓元数据所对应的若干分区字段；对若干所述分区字段分别进行哈希计算，得到若干第一哈希值；整理若干所述分区字段和若干所述第一哈希值作为所述第一分区参数。5.根据权利要求4所述的一种用于数据库的数据导入方法，其特征在于：所述分区确认算法，包括：设定分区基准数；读取所述第一分区参数；将若干所述第一哈希值分别对所述分区基准数进行取余计算，得到与若干所述分区字段分别匹配的若干余数值；基于若干所述余数值和若干所述分区字段设定所述数据分区值。6.根据权利要求5所述的一种用于数据库的数据导入方法，其特征在于：所述基于若干所述余数值和若干所述分区字段...

【专利技术属性】
技术研发人员：高强，武目帅，常绍盈，贾广旭，胡焱，
申请(专利权)人：浪潮金融信息技术有限公司，
类型：发明
国别省市：