加载数据的方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种加载数据的方法、系统、计算机设备和存储介质。所述方法包括：获取可执行文件的运行指令；根据所述可执行文件的运行指令，获取集群中数据节点的信息，所述数据节点的信息包括数据节点的数量；根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点。上述加载数据的方法、装置、计算机设备和存储介质，能够实现了提升数据同步效率、缩短数据同步时间的技术效果，规避了主节点服务器的性能瓶颈。

Method, device, computer equipment and storage medium for loading data

The application relates to a method, a system, a computer device and a storage medium for loading data. The method includes: obtaining the running instruction of the executable file, obtaining the information of the data node in the cluster according to the running instruction of the executable file, the information of the data node including the number of data nodes, and loading the allocated data to the corresponding data node according to the number of data nodes in the cluster. The method, device, computer equipment and storage medium of the loading data can achieve the technical effect of improving the efficiency of data synchronization and shortening the time of data synchronization, and evade the performance bottleneck of the main node server.

【技术实现步骤摘要】
加载数据的方法、装置、计算机设备和存储介质
本申请涉及互联网
，特别是涉及一种加载数据的方法、装置、计算机设备和存储介质。
技术介绍
随着互联网行业的发展，累计了海量的信息和数据。为了满足处理海量数据的需求，出现了采用分布式数据库系统的大数据解决方案。通过借助于分布式计算思想，大数据集群采用大规模并行处理架构在软件上实现了基于数据库的分布式数据存储和并行计算。分布式大数据集群主要由数据主节点(masterhost)、数据节点(segmenthost)、高速网络(interconnect)三大部分组成。在传统技术中，在将关系型数据库中的源数据传输给集群的数据仓库时，首先，数据主节点接收关系型数据库中的源数据，然后，数据主节点将源数据分配给各个数据节点。然而，数据仓库须通过主节点进行数据同步，主节点服务器性能将会影响数据同步效率，且主节点服务器的性能存在瓶颈，那么随着数据量的增加，同步数据的时间也呈指数增长。即数据仓库通过主节点进行数据传输的传统方法会存在数据同步效率底下的问题。
技术实现思路
基于此，有必要针对上述数据仓库通过主节点进行数据传输的传统方法会存在数据同步效率底下的技术问题，提供一种能够提高数据同步效率的加载数据的方法、装置、计算机设备和存储介质。一种加载数据的方法，所述方法包括：获取可执行文件的运行指令；根据所述可执行文件的运行指令，获取集群中数据节点的信息，所述数据节点的信息包括数据节点的数量；根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点。在其中一个实施例中，所述根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点，包括：根据所述集群中数据节点的数量，对所述待分配数据进行均分；将所述均分后的数据加载至相应的数据节点。在其中一个实施例中，所述数据节点的信息还包括所述可执行文件对应的当前数据节点的标识；所述根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点，包括：根据所述集群中数据节点的数量和所述当前数据节点的标识，将所述待分配数据加载至与所述当前数据节点的标识对应的数据节点。在其中一个实施例中，所述根据所述集群中数据节点的数量和所述当前数据节点的标识，将所述待分配数据加载至与所述当前数据节点的标识对应的数据节点，包括：根据所述集群中数据节点的数量，对所述待分配数据进行均分；根据所述当前数据节点的标识，将所述均分后的数据加载至与所述当前数据节点的标识对应的数据节点。在其中一个实施例中，所述方法还包括：获取待分配数据的数据标识；所述根据所述集群中数据节点的数量和所述当前数据节点的标识，将所述待分配数据加载至与所述当前数据节点的标识对应的数据节点，包括：根据所述集群中数据节点的数量和所述数据标识，对所述待分配数据进行分配，并加载至与所述当前数据节点的标识对应的数据节点。在其中一个实施例中，所述根据所述集群中数据节点的数量和所述数据标识，对所述待分配数据进行分配，并加载至与所述当前数据节点的标识对应的数据节点，包括：对所述数据标识和所述集群中数据节点的数量进行取模运算，获取余数；判断所述余数与所述当前数据节点的标识之间的对应关系；当所述余数与所述当前数据节点的标识满足预设条件时，将与所述数据标识对应的数据加载至所述当前数据节点。在其中一个实施例中，所述根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点，包括：根据所述集群中数据节点数量，将所述待分配数据分别加载至相应的数据节点上所述可执行文件对应的Web表内。一种加载数据的装置，所述装置包括：指令获取模块，用于获取可执行文件的运行指令；信息获取模块，用于根据所述可执行文件的运行指令，获取集群中数据节点的信息，所述数据节点的信息包括数据节点的数量；数据加载模块，用于根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各实施例中的方法步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各实施例中的方法步骤。获取可执行文件的运行指令；根据所述可执行文件的运行指令，获取集群中数据节点的信息，所述数据节点的信息包括数据节点的数量；根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点。上述加载数据的方法、装置、计算机设备和存储介质，通过获取可执行文件的运行指令，进而获取集群中数据节点的数量，从而根据集群中数据节点的数量，将待分配数据加载至相应的数据节点，实现了提升数据同步效率、缩短了数据同步时间的技术效果，规避了主节点服务器的性能瓶颈。附图说明图1为一个实施例中加载数据方法的应用环境图；图2为一个实施例中加载数据方法的流程示意图；图3为一个实施例中步骤230的流程示意图；图4为另一个实施例中步骤230的流程示意图；图5为另一个实施例中加载数据方法的流程示意图；图6为一个实施例中S540步骤的流程示意图；图7为一个具体实施例中加载数据方法的流程示意图；图8为一个具体实施例中加载数据方法的应用环境图；图9为一个具体实施例中加载数据的方法的时序图；图10为一个实施例中加载数据装置的结构框图；图11为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的数据加载方法，可以应用于如图1所示的应用环境中，其中包括数据库100和集群，集群包括数据节点120和主节点130，其中，数据库110是按照数据结构来组织、存储、管理并建立在计算机存储设备上的数据集合。集群包括一组数据节点120和主节点130，集群中的主节点130、数据节点120之间通过高速网络进行通信，各个数据节点之间相互协同工作。比如，数据库210可以是但不限于关系型数据库，数据节点120可以是但不限于独立的服务器。数据库110与集群中各个数据节点120的数据同步可以是但不限于表对表数据传输。在传统技术中，数据库100中的源数据需要经过主节点130的分配后才将数据同步至各个数据节点120上。而通过本申请的数据加载方法可以将源数据直接同步至集群中的各个数据节点120，从而规避了主节点130的性能瓶颈。在一个实施例中，如图2所示，提供了一种数据加载的方法，该方法包括以下步骤：步骤210，获取可执行文件的运行指令。其中，可执行文件指的是可以由操作系统进行加载执行的文件。运行指令指的是使可执行文件开始运行的指令。当接收到数据加载请求时，可执行文件则根据数据加载请求获取运行指令并开始运行。具体地，可执行文件可以部署在相应的数据节点上，当接收到数据加载请求时，该数据节点上的可执行文件被触发，进而开始运行。其中，数据节点指的是集群中的一个进行数据连接的物理节点。比如，数据节点可以是一台实体的独立服务器。步骤220，根据可执行文件的运行指令，获取集群中数据节点的信息，数据节点的信息包括数据节点的数量。其中，集群指的是一组协同工作的服务实体，用以提供具有可扩展性与高可用性的服务平台。集群的特征包括单一集群地址(也叫单一影像本文档来自技高网...

【技术保护点】
1.一种加载数据的方法，其特征在于，所述方法包括：获取可执行文件的运行指令；根据所述可执行文件的运行指令，获取集群中数据节点的信息，所述数据节点的信息包括数据节点的数量；根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点。

【技术特征摘要】
1.一种加载数据的方法，其特征在于，所述方法包括：获取可执行文件的运行指令；根据所述可执行文件的运行指令，获取集群中数据节点的信息，所述数据节点的信息包括数据节点的数量；根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点。2.根据权利要求1所述的加载数据的方法，其特征在于，所述根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点，包括：根据所述集群中数据节点的数量，对所述待分配数据进行均分；将所述均分后的数据加载至相应的数据节点。3.根据权利要求1所述的加载数据的方法，其特征在于，所述数据节点的信息还包括所述可执行文件对应的当前数据节点的标识；所述根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点，包括：根据所述集群中数据节点的数量和所述当前数据节点的标识，将所述待分配数据加载至与所述当前数据节点的标识对应的数据节点。4.根据权利要求3所述的加载数据的方法，其特征在于，所述根据所述集群中数据节点的数量和所述当前数据节点的标识，将所述待分配数据加载至与所述当前数据节点的标识对应的数据节点，包括：根据所述集群中数据节点的数量，对所述待分配数据进行均分；根据所述当前数据节点的标识，将所述均分后的数据加载至与所述当前数据节点的标识对应的数据节点。5.根据权利要求3所述的加载数据的方法，其特征在于，所述方法还包括：获取待分配数据的数据标识；所述根据所述集群中数据节点的数量和所述当前数据节点的标识，将所述待分配数据加载至与所述当前数据节点的标识对应的数据节点，包括：根据所述集群中...

【专利技术属性】
技术研发人员：何鑫，
申请(专利权)人：苏州朗动网络科技有限公司，
类型：发明
国别省市：江苏,32