一种数据库的数据处理方法、装置、计算机及存储介质制造方法及图纸

本发明专利技术实施例涉及一种数据库的数据处理方法、装置、计算机及存储介质，包括获取所述数据库中的节点的总数量；根据所述总数量将数据集合划分成多个子数据集合，每个所述子数据集合对应一个节点，所述节点包括主节点和对应的从节点；将每个所述子数据集合导入到对应的节点；在确定每个所述子数据集合均导入到对应的节点后，控制每个所述从节点将子数据集合发送至对应的所述主节点，以使所述主节点对全部所述子数据集合进行合并处理，得到所述数据集合，以用于存储。由此，可以实现将数据拆分后导入节点，提高了数据库的数据导入速度，有效解决目前数据库执行大数据量导入时效率低以及从机回放慢的问题。从机回放慢的问题。从机回放慢的问题。

【技术实现步骤摘要】
一种数据库的数据处理方法、装置、计算机及存储介质


[0001]本专利技术实施例涉及数据库
，尤其涉及一种数据库的数据处理方法、装置、计算机及存储介质。

技术介绍

[0002]数据导入是数据库的基本功能，数据导入的性能是衡量数据库性能的一个重要指标。当前主从模式数据库执行数据导入时，会首先在主机执行导入，导入完成后，从机同步主机日志，并根据主机日志执行同步回放，实现在每个从机中进行数据备份。
[0003]在现有的数据导入模式下，单个主机的导入性能上限就是整个主机和从机系统的导入上限，且主机和从机在导入时需要依次进行，在数据量较大时，从机回放压力也会增大，容易造成从机落后主机很多，影响主从切换。因此现有的数据库的数据导入速度较慢。

技术实现思路

[0004]鉴于此，为解决上述数据库的数据导入速度慢的技术问题，本专利技术实施例提供一种数据库的数据处理方法、装置、计算机及存储介质。
[0005]第一方面，本专利技术实施例提供一种数据库的数据处理方法，包括：
[0006]获取所述数据库中的节点的总数量；
[0007]根据所述总数量将数据集合划分成多个子数据集合，每个所述子数据集合对应一个节点，所述节点包括主节点和对应的从节点；
[0008]将每个所述子数据集合导入到对应的节点；
[0009]在确定每个所述子数据集合均导入到对应的节点后，控制每个所述从节点将子数据集合发送至对应的所述主节点，以使所述主节点对全部所述子数据集合进行合并处理，得到所述数据集合，以用于存储。
[0010]在一个可能的实施方式中，所述数据库包括：分布式数据库；
[0011]所述获取所述数据库中的节点的总数量，包括：
[0012]获取所述数据集合中的数据量；
[0013]当所述数据量大于设定阈值时，从所述数据库中确定至少一个目标主节点，以及确定至少一个所述目标主节点对应的从节点；
[0014]获取至少一个所述目标主节点以及对应的从节点的总数量。
[0015]在一个可能的实施方式中，当从所述数据库中确定多个所述目标主节点时，所述控制每个所述从节点将子数据集合发送至对应的所述主节点，包括：
[0016]控制每个所述从节点将所述子数据集合发送至对应的目标主节点中；
[0017]在确定每个所述子数据集合均发送至对应的目标主节点后，从多个所述目标主节点中选择任一目标主节点；
[0018]控制全部所述目标主节点将所述子数据集合发送至所述任一目标主节点中。
[0019]在一个可能的实施方式中，当从所述数据库中确定多个所述目标主节点时，所述
根据所述总数量将数据集合划分成多个子数据集合，包括：
[0020]获取所述数据集合中每个数据的类别信息；
[0021]按照所述类别信息对所述数据集合中的数据进行分类；
[0022]针对每类数据设置对应的一组节点集，每组节点集中包括一个目标主节点和对应的多个从节点；
[0023]确定每组节点集的节点数量；
[0024]针对所述数据集合中的每类数据，将所述每类数据划分成多个子数据集合，所述多个子数据集合的数量与所述节点数量相同。
[0025]在一个可能的实施方式中，所述获取所述数据库中的节点的总数量，包括：
[0026]获取每个所述节点当前的剩余存储空间和工作状态；
[0027]确定所述工作状态符合预设条件，且所述剩余存储空间大于设定阈值的节点的数量为所述总数量。
[0028]在一个可能的实施方式中，所述方法还包括：
[0029]在确定所述主节点对全部所述子数据集合进行合并处理后，控制所述主节点将所述数据集合发送至对应的从节点中，以用于存储。
[0030]在一个可能的实施方式中，所述方法还包括：
[0031]获取所述数据集合中的数据量；
[0032]当所述数据量大于设定阈值时，所述根据所述总数量将数据集合划分成多个子数据集合，包括：
[0033]从数据集合中提取目标数据量的数据生成新数据集合；
[0034]根据所述总数量将所述新数据集合划分成多个所述子数据集合。
[0035]第二方面，本专利技术实施例提供一种数据库的数据处理装置，包括：
[0036]获取模块，用于获取所述数据库中的节点的总数量；
[0037]处理模块，用于根据所述总数量将数据集合划分成多个子数据集合，每个所述子数据集合对应一个节点，所述节点包括主节点和对应的从节点；
[0038]导入模块，用于将每个所述子数据集合导入到对应的节点；
[0039]控制模块，用于在确定每个所述子数据集合均导入到对应的节点后，控制每个所述从节点将子数据集合发送至对应的所述主节点，以使所述主节点对全部所述子数据集合进行合并处理，得到所述数据集合，以用于存储。
[0040]第三方面，本专利技术实施例提供一种计算机，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的数据库的数据处理程序，以实现上述第一方面中任一项所述的数据库的数据处理方法。
[0041]第四方面，本专利技术实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中任一项所述的数据库的数据处理方法。
[0042]本专利技术实施例提供的数据库的数据处理方案，通过获取所述数据库中的节点的总数量；根据所述总数量将数据集合划分成多个子数据集合，每个所述子数据集合对应一个节点，所述节点包括主节点和对应的从节点；将每个所述子数据集合导入到对应的节点；在确定每个所述子数据集合均导入到对应的节点后，控制每个所述从节点将子数据集合发送
至对应的所述主节点，以使所述主节点对全部所述子数据集合进行合并处理，得到所述数据集合，以用于存储。由此，可以实现将数据拆分后导入节点，提高了数据库的数据导入速度，有效解决目前数据库执行大数据量导入时效率低以及从机回放慢的问题。
附图说明
[0043]图1为本专利技术实施例提供的一种数据库的数据处理方法的应用场景示意图；
[0044]图2为本专利技术实施例提供的一种数据库的数据处理方法的流程示意图；
[0045]图3为本专利技术实施例提供的另一种数据库的数据处理方法的流程示意图；
[0046]图4为本专利技术实施例提供的再一种数据库的数据处理方法的流程示意图；
[0047]图5为本专利技术实施例提供的一种数据库的数据处理装置的结构示意图；
[0048]图6为本专利技术实施例提供的一种计算机的结构示意图。
具体实施方式
[0049]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库的数据处理方法，其特征在于，包括：获取所述数据库中的节点的总数量；根据所述总数量将数据集合划分成多个子数据集合，每个所述子数据集合对应一个节点，所述节点包括主节点和对应的从节点；将每个所述子数据集合导入到对应的节点；在确定每个所述子数据集合均导入到对应的节点后，控制每个所述从节点将子数据集合发送至对应的所述主节点，以使所述主节点对全部所述子数据集合进行合并处理，得到所述数据集合，以用于存储。2.根据权利要求1所述的方法，其特征在于，所述数据库包括：分布式数据库；所述获取所述数据库中的节点的总数量，包括：获取所述数据集合中的数据量；当所述数据量大于设定阈值时，从所述数据库中确定至少一个目标主节点，以及确定至少一个所述目标主节点对应的从节点；获取至少一个所述目标主节点以及对应的从节点的总数量。3.根据权利要求2所述的方法，其特征在于，当从所述数据库中确定多个所述目标主节点时，所述控制每个所述从节点将子数据集合发送至对应的所述主节点，包括：控制每个所述从节点将所述子数据集合发送至对应的目标主节点中；在确定每个所述子数据集合均发送至对应的目标主节点后，从多个所述目标主节点中选择任一目标主节点；控制全部所述目标主节点将所述子数据集合发送至所述任一目标主节点中。4.根据权利要求2所述的方法，其特征在于，当从所述数据库中确定多个所述目标主节点时，所述根据所述总数量将数据集合划分成多个子数据集合，包括：获取所述数据集合中每个数据的类别信息；按照所述类别信息对所述数据集合中的数据进行分类；针对每类数据设置对应的一组节点集，每组节点集中包括一个目标主节点和对应的多个从节点；确定每组节点集的节点数量；针对所述数据集合中的每类数据，将所述每类数据划分成多个子数据集合，所述多个子数据集合的数量与...

【专利技术属性】
技术研发人员：吴亮，
申请(专利权)人：金篆信科有限责任公司，
类型：发明
国别省市：