数据更新方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请实施例提供一种数据更新方法、装置、设备及计算机可读存储介质，方法包括：获取待写入目标集群的更新数据；获取目标集群中各节点的状态信息；根据各节点的状态信息，从各节点中确定若干空闲节点；针对每一空闲节点，创建写入线程，并通过写入线程向空闲节点写入更新数据。本申请实施例提供的数据更新方法，以各节点的状态信息作为评价标准，使得更新时，所有具有更新任务的节点都是通过状态信息所识别出的处于相对空闲的状态的空闲节点，从而提升了数据更新的效率。而提升了数据更新的效率。而提升了数据更新的效率。

【技术实现步骤摘要】
数据更新方法、装置、设备及计算机可读存储介质


[0001]本申请实施例涉及数据更新
，具体涉及一种数据更新方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]现在很多的文档数据是存储在集群的节点上，需要定期执行更新脚本写入更新的数据。
[0003]目前集群数据的更新，通常都是根据经验人为判断出系统的高峰时段，然后设定好空闲时段，并在设定好的节点上进行数据上传，以降低对生产环境的压力，同时提高数据更新效率。然而，生产环境复杂多变，系统的高峰期并不是完全可以预测的，以时间段作为单一的评价标准，鲁棒性不够，更新时系统仍可能处于高峰期而导致数据更新效率低。

技术实现思路

[0004]本申请实施例提供一种数据更新方法、装置、设备及计算机可读存储介质，旨在解决现有数据更新时存在的更新效率低的问题。
[0005]一方面，本申请实施例提供一种数据更新方法，包括：
[0006]获取待写入目标集群的更新数据；
[0007]获取目标集群中各节点的状态信息；
[0008]根据各节点的状态信息，从各节点中确定若干空闲节点；
[0009]针对每一空闲节点，创建写入线程，并通过写入线程向空闲节点写入更新数据。
[0010]另一方面，本申请实施例还提供一种数据更新装置，包括：
[0011]第一获取模块，用于获取待写入目标集群的更新数据；
[0012]第二获取模块，用于获取目标集群中各节点的状态信息；
[0013]节点确定模块，用于根据各节点的状态信息，从各节点中确定若干空闲节点；
[0014]写入模块，用于针对每一空闲节点，创建写入线程，并通过写入线程向空闲节点写入更新数据获取待数据更新的目标集群中各节点的状态信息。
[0015]另一方面，本申请实施例还提供一种数据更新设备，数据更新设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的数据更新程序，处理器执行数据更新程序以实现上述的数据更新方法中的步骤。
[0016]另一方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有数据更新程序，数据更新程序被处理器执行以实现上述的数据更新方法中的步骤。
[0017]本申请实施例中，先获取目标集群中各节点的状态信息，然后根据各节点的状态信息确定出空闲节点，最后通过创建的写入线程向空闲节点写入待写入集群的更新数据。相比于现有技术是依赖于时间段作为单一的更新评价标准，本申请提供的数据更新方法是以各节点的状态信息作为评价标准，使得更新时，所有具有更新任务的节点都是通过状态
信息所识别出的处于相对空闲的状态的空闲节点，从而提升了数据更新的效率。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本申请实施例提供的数据更新方法的场景示意图；
[0020]图2是本申请实施例中提供的数据更新方法的第一实施例流程示意图；
[0021]图3是本申请实施例中提供的数据更新方法的第二实施例流程示意图；
[0022]图4是本申请实施例中提供的数据更新方法的第三实施例流程示意图；
[0023]图5是本申请实施例中提供的数据更新方法的第四实施例流程示意图；
[0024]图6是本申请实施例中提供的数据更新方法的第五实施例流程示意图
[0025]图7是本申请实施例中提供的数据更新方法中第六实施例流程示意图；
[0026]图8是本申请实施例中提供的数据更新方法中第七实施例流程示意图；
[0027]图9是本申请实施例中提供的数据更新装置的一个实施例结构示意图。
[0028]图10是本申请实施例中提供的数据更新设备的一个实施例结构示意图。
具体实施方式
[0029]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术包含的范围。
[0030]在本申请实施例中，“示例性”一词用来表示“用作例子、例证或说明”。本申请实施例中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本专利技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本专利技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本专利技术的描述变得晦涩。因此，本专利技术并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
[0031]本申请实施例中提供一种数据更新方法、装置、设备和计算机可读存储介质，以下分别进行详细说明。
[0032]如图1所示，图1为本申请实施例中数据更新方法的场景示意图，本专利技术实施例中数据更新场景中包括目标集群100以及数据更新装置200。其中目标集群可以理解为存储有数据的服务端，通常情况下，目标集群是由若干个节点101，也就是若干个单独的服务器组成。而数据更新装置200通常是指运行有脚本的终端装置，该终端装置可以对应理解为集群的客户端。
[0033]本专利技术实施例中数据更新装置200主要用于：获取待写入目标集群的更新数据；获取目标集群中各节点的状态信息；根据各节点的状态信息，从各节点中确定若干空闲节点；
针对每一空闲节点，创建写入线程，并通过写入线程向空闲节点写入更新数据。
[0034]基于上述数据更新方法的场景示意图，提出了数据更新方法的实施例。
[0035]如图2所示，图2为本申请实施例中提供的数据更新方法的第一实施例流程示意图，本实施例中数据更新方法包括步骤201
‑
204：
[0036]201，获取待写入目标集群的更新数据。
[0037]本申请实施例中，目标集群是指需要进行数据更新的集群，而更新数据是指需要更新写入该目标集群的数据。通常情况下，本申请对于集群和数据的具体形式不做限制，但便于说明，后续会以向ElasticSearch集群(一种搜索服务器)中写入索引数据为例进行说明。
[0038]具体的，将数据写入集群中是依赖于脚本所实现的，而脚本通常会运行在某终端装置上，也就是目标集群的客户端。
[0039]需要说明的是，当数据更新装置启动脚本以向对应的集群写入数据时，脚本会先将待更新的数据读入至内存，即获取待写入目标集群的更新数据。
[0040]作为本申请的可选方案，提供了一种数据更新装置开始获取待写入目标集群的更新数据以实现后续数据更新的方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据更新方法，其特征在于，包括：获取待写入目标集群的更新数据；获取所述目标集群中各节点的状态信息；根据各所述节点的状态信息，从各所述节点中确定若干空闲节点；针对每一空闲节点，创建写入线程，并通过所述写入线程向所述空闲节点写入所述更新数据。2.根据权利要求1所述的方法，其特征在于，所述状态信息至少包括请求连接数量、CPU占用率、内存占用率、活跃线程数量中的一种；所述创建写入线程，并通过所述写入线程向所述空闲节点写入所述更新数据，包括：根据所述空闲节点的状态信息确定所述空闲节点的可批量写入的数据量；以所述数据量作为写入线程的写入参数，创建与所述数据量对应的目标写入线程；通过所述目标写入线程向所述空闲节点批量写入所述更新数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述空闲节点的状态信息确定所述空闲节点的可批量写入的数据量，包括：针对每一状态信息，获取与所述状态信息对应的状态阈值；将所述状态信息和所述状态阈值的比值设定为所述状态信息对应的状态等级；根据各所述状态信息对应的状态等级，计算得到所述空闲节点对应的空闲等级；查询预设数据库，获取与所述空闲等级对应的目标数据量；将所述目标数据量设定为所述空闲节点的可批量写入的数据量。4.根据权利要求1所述的方法，其特征在于，所述通过所述写入线程向所述空闲节点写入所述更新数据，包括：获取所述空闲节点的存储空间使用率；根据所述空闲节点的存储空间使用率确定所述空闲节点的数据写入份额；根据所述空闲节点的数据写入份额，将所述更新数据进行划分，得到与所述空闲节点对应的节点更新数据；通过所述写入线程向所述空闲节点写入所述节点更新数据。5.根据权利要求4所述的方法，其特征在于，所述根据各所述节点的状态...

【专利技术属性】
技术研发人员：郑上，
申请(专利权)人：TCL科技集团股份有限公司，
类型：发明
国别省市：