Elasticsearch双向策略订阅数据更新方法、装置及电子设备制造方法及图纸

技术编号:41453054 阅读:16 留言:0更新日期:2024-05-28 20:41
本发明专利技术实施例中提供了一种Elasticsearch双向策略订阅数据更新方法、装置及电子设备,属于数据处理技术领域,该方法包括:将数据分为数仓库和业务订阅库两部分;构建针对订阅数据的策略表;通过评估函数G对数据量评估值P1、更新频率评估值P2和命中率评估值P3进行计算,得到评估值G(P1,P2,P3),所述评估值G(P1,P2,P3)用于确定所述订阅数据更新采用推送和拉取两种双向数据更新策略中的一种进行数据更新;当采用推送数据更新策略时,在数仓库中建立一个temp库,将temp库中的数据分发给订阅库;当采用拉取数据更新策略时,定期对所述数仓库执行全量查询,获取所述数仓库中的最新数据,并将获取到的最新数据同步到订阅库中。本方案能够提高订阅数据更新的效率。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其涉及一种elasticsearch双向策略订阅数据更新方法、装置及电子设备。


技术介绍

1、随着大数据时代的到来,数据管理和同步成为了企业数据管理的重要环节。特别是对于基于elasticsearch的应用系统,如何实现数据的高效同步和更新成为了一个挑战,具体而言,现有技术存在如下缺陷:

2、1.单向更新限制:许多现有系统只支持单向数据更新,无法实现双向数据同步。这导致了在某些场景下,特别是需要实时更新和数据一致性的情况下,系统无法满足需求。

3、2.缺乏智能策略调整:大多数系统缺乏智能的策略调整机制,无法根据实际情况动态选择最优的更新策略。这导致了系统性能不佳或者资源浪费,无法达到最佳的数据同步效果。

4、3.数据量估算不准确:部分系统在进行数据同步时,缺乏对订阅库数据量的准确估算,导致选择更新策略时出现偏差。这可能导致系统选择不合适的更新方式,影响了数据同步的效率和性能。

5、4.实时性不足:部分系统在数据同步过程中,实时性不足,无法满足某些对数据更新要求实时性较高的场景,例如金本文档来自技高网...

【技术保护点】

1.一种Elasticsearch双向策略订阅数据更新方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将数据分为数仓库和业务订阅库两部分,包括:

3.根据权利要求2所述的方法,其特征在于,所述构建针对订阅数据的策略表,所述策略表对订阅库的数据量进行估算的得到数据量评估值P1,所述策略表对所述订阅库的更新频率进行计算,得到更新频率评估值P2,所述策略表对所述订阅库的数据命中率进行评估,得到命中率评估值P3,包括:

4.根据权利要求3所述的方法,其特征在于,所述构建针对订阅数据的策略表,所述策略表对订阅库的数据量进行估算的得到数据量...

【技术特征摘要】

1.一种elasticsearch双向策略订阅数据更新方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将数据分为数仓库和业务订阅库两部分,包括:

3.根据权利要求2所述的方法,其特征在于,所述构建针对订阅数据的策略表,所述策略表对订阅库的数据量进行估算的得到数据量评估值p1,所述策略表对所述订阅库的更新频率进行计算,得到更新频率评估值p2,所述策略表对所述订阅库的数据命中率进行评估,得到命中率评估值p3,包括:

4.根据权利要求3所述的方法,其特征在于,所述构建针对订阅数据的策略表,所述策略表对订阅库的数据量进行估算的得到数据量评估值p1,所述策略表对所述订阅库的更新频率进行计算,得到更新频率评估值p2,所述策略表对所述订阅库的数据命中率进行评估,得到命中率评估值p3,还包括:

5.根据权利要求4所述的方法,其特征在于,所述构建针对订阅数据的策略表,所述策略表对订阅库的数据量进...

【专利技术属性】
技术研发人员:张江华牛策策寇振芳苗宇
申请(专利权)人:一网互通北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1