一种数据更新方法及终端技术

本发明专利技术的一种数据更新方法及终端，接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；根据数据集对全量更新消息的发送方的对应数据进行回调，能够主动得到数据集的最新数据信息，提高业务上的数据查询效率；在将最新数据写入ES集群之前，查询ES集群的负载水平，若负载水平低于预设值，则通过ES接入服务接口将数据集的最新数据信息更新至ES集群，否则限制ES接入服务接口将数据集的最新数据信息更新至ES集群的数量或者速率；因此通过主动回调发送方的预设数量的回调数据，便于根据ES集群资源情况进行主动控制，并且根据ES集群的负载水平确定最新数据写入集群的数量或者速率，能够在保证自身业务的前提下，减少ES集群的压力。少ES集群的压力。少ES集群的压力。

【技术实现步骤摘要】
一种数据更新方法及终端


[0001]本专利技术涉及数据存储
，特别涉及一种数据更新方法及终端。

技术介绍

[0002]Elasticsearch(ES)是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
[0003]现在很多系统都使用ES来进行搜索数据的存储，其中很常见的方式为，创建一个ES的公共集群，很多的独立系统都向这个ES集群中写入数据。如果只是单独一条数据的更新ES数据，ES的负载情况还较低，但是还存在以下场景：比如某个系统中库表需要添加一个字段，同样的就需要把原先已经存储在ES中的所有这类型的数据都添加一个索引字段，然后，会有一个程序批量的不间断或者偶尔休眠一些时间，向统一的ES集群中更新这些数据。此时，可能会存在这样的问题：ES集群已经存在较高负载了，然后又进行这样的批量数据操作，会进一步加剧负载量，同时，自身的批量更新任务又无法完成，导致ES集群压力增加。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提供一种数据更新方法及终端，能够减少ES集群的压力。
[0005]为了解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种数据更新方法，包括步骤：
[0007]接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；
[0008]根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息；
[0009]判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。
[0010]为了解决上述技术问题，本专利技术采用的另一种技术方案为：
[0011]一种数据更新终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0012]接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；
[0013]根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息；
[0014]判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。
[0015]本专利技术的有益效果在于：接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；根据数据集对全量更新消息的发送方的对应数据进行回调，能够主动得到数据集的最新数据信息，提高业务上的数据查询效率；在将最新数据写入ES集群之前，查询ES集群的负载水平，若负载水平低于预设值，则通过ES接入服务接口将数据集的最新数据信息更新至ES集群，否则限制ES接入服务接口将数据集的最新数据信息更新至ES集群的数量或者速率；因此通过主动回调发送方的预设数量的回调数据，便于根据ES集群资源情况进行主动控制，并且根据ES集群的负载水平确定最新数据写入集群的数量或者速率，能够在保证自身业务的前提下，减少ES集群的压力。
附图说明
[0016]图1为本专利技术实施例的一种数据更新方法的流程图；
[0017]图2为本专利技术实施例的一种数据更新终端的示意图；
[0018]图3为现有技术的ES集群的架构示意图；
[0019]图4为本专利技术实施例的一种数据更新方法的ES集群的架构示意图。
具体实施方式
[0020]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0021]请参照图1，本专利技术实施例提供了一种数据更新方法，包括步骤：
[0022]接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；
[0023]根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息；
[0024]判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。
[0025]从上述描述可知，本专利技术的有益效果在于：接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；根据数据集对全量更新消息的发送方的对应数据进行回调，能够主动得到数据集的最新数据信息，提高业务上的数据查询效率；在将最新数据写入ES集群之前，查询ES集群的负载水平，若负载水平低于预设值，则通过ES接入服务接口将数据集的最新数据信息更新至ES集群，否则限制ES接入服务接口将数据集的最新数据信息更新至ES集群的数量或者速率；因此通过主动回调发送方的预设数量的回调数据，便于根据ES集群资源情况进行主动控制，并且根据ES集群的负载水平确定最新数据写入集群的数量或者速率，能够在保证自身业务的前提下，减少ES集群的压力。
[0026]进一步地，所述接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集包括：
[0027]接收全量更新消息，根据ES集群所包含的资源量确定每次进行数据更新的预设数量；
[0028]根据所述ES集群中的数据的唯一标识，依次从所述ES集群中查询预设数量的数据，得到对应的数据集。
[0029]由上述描述可知，接收全量更新消息后，根据ES集群的资源量确定每次进行数据更新的预设数据量，并根据ES集群中的数据唯一标识，依次从ES集群中查询预设数量的数据，能够由ES集群自身的资源情况，对进行数据同步处理，从而在避免对ES集群造成较大的查询压力的同时，提高业务数据的查询效率。
[0030]进一步地，根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息包括：
[0031]根据所述数据集中数据的唯一标识，从所述全量更新消息的发送方的回调接口回调对应的更新后的数据，得到数据集的最新数据信息。
[0032]由上述描述可知，根据数据集中数据的唯一标识，从全量更新消息的发送方的回调接口回调对应的更新后的数据，能够主动从发送方拉取更新数据，因此能够根据ES集群的自身资源情况进行主动控制，并且发送方只需要提供回调接口即可，不需要在每个发送方都编写一套主动同步数据的功能代码，减少工作量。
[0033]进一步地，所述限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率包括：
[0034]根据所述负载水平，减少ES接入服务接口将所述数据集的最新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据更新方法，其特征在于，包括步骤：接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息；判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。2.根据权利要求1所述的一种数据更新方法，其特征在于，所述接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集包括：接收全量更新消息，根据ES集群所包含的资源量确定每次进行数据更新的预设数量；根据所述ES集群中的数据的唯一标识，依次从所述ES集群中查询预设数量的数据，得到对应的数据集。3.根据权利要求2所述的一种数据更新方法，其特征在于，根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息包括：根据所述数据集中数据的唯一标识，从所述全量更新消息的发送方的回调接口回调对应的更新后的数据，得到数据集的最新数据信息。4.根据权利要求1所述的一种数据更新方法，其特征在于，所述限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率包括：根据所述负载水平，减少ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量；或者，在所述数据集的最新数据信息更新至所述ES集群之后，进入预设时长的休眠或者延迟。5.根据权利要求1至4中任一项所述的一种数据更新方法，其特征在于，所述接收全量更新消息之前包括：根据数据操作类型封装ES接入服务接口；接收发送方发送的数据操作指令，根据所述数据操作指令调用对应的所述ES接入服务接口对ES集群进行数据操作。6.一种数据更新终端，包括存储器、处理器以及存储在所述存储器上并可在...

【专利技术属性】
技术研发人员：刘德建，林伟，陈宏，
申请(专利权)人：福建天泉教育科技有限公司，
类型：发明
国别省市：