数据同步方法及数据搜索系统技术方案

本发明专利技术公开了一种数据同步方法及数据搜索系统，属于互联网技术领域。方法包括：当第一数据搜索集群发生数据更新操作时，第一数据搜索集群生成针对数据更新操作的数据更新消息；第一数据搜索集群将数据更新消息发布至匹配的第一订阅消息服务器；第一订阅消息服务器将数据更新消息推送至第二数据搜索集群，以使第二数据搜索集群根据数据更新消息进行同步数据更新。本发明专利技术通过分别为每一个数据搜索集群部署一个订阅消息服务器，使得在每一个数据搜索集群上均可完成对数据的更新，且支持通过订阅消息服务器将对数据的更新同步至其他数据搜索集群。且，即便一个或几个数据搜索集群发生服务异常，依然可以保证搜索服务可用，大大提升了系统的容灾性能。

【技术实现步骤摘要】
数据同步方法及数据搜索系统
本专利技术涉及互联网
，特别涉及一种数据同步方法及数据搜索系统。
技术介绍
在进入互联网时代后数据量呈暴增趋势，这在为人们带来极大方便的同时，随之而来也给人们带来了数据筛选的困难，在这一环境下数据搜索引擎应运而生。例如，近年来随着分布式计算技术的不断成熟，出现了诸如Sphinx、Solr、Elasticsearch等数据搜索引擎。其中，上述数据搜索引擎之所以具备高速地搜索处理能力，是因为组建了至少一个搜索集群。比如，Elasticsearch作为新兴的分布式实时搜索引擎，可以支持上百搜索节点规模的不同集群来进行集群自组建。而在进行数据搜索时，为了保证数据搜索引擎可以为用户提供精准的搜索结果以及保证搜索服务的高容灾性，如何在不同搜索集群之间进行数据同步一直是本领域技术人员关注的一个焦点。以Elasticsearch搜索引擎为例，现有技术在进行数据同步时，主要采取下述方式实现：如图1所示，引入了第三方云服务并组建了一个主集群和至少一个副集群。其中，主集群更新的索引数据通过备份恢复功能上传到第三方云服务提供的云存储服务器上，而部署在其他地区的副集群则通过定本文档来自技高网...

【技术保护点】
一种数据同步方法，其特征在于，应用于数据搜索系统，所述数据搜索系统包括请求分发服务器、至少两个数据搜索集群以及与所述至少两个数据搜索集群数量匹配的订阅消息服务器，所述方法包括：当第一数据搜索集群发生数据更新操作时，所述第一数据搜索集群生成针对所述数据更新操作的数据更新消息；所述第一数据搜索集群将所述数据更新消息发布至匹配的第一订阅消息服务器；所述第一订阅消息服务器将所述数据更新消息推送至第二数据搜索集群，以使所述第二数据搜索集群根据所述数据更新消息进行同步数据更新；其中，所述第一数据搜索集群为所述至少两个数据搜索集群中的任一数据搜索集群，所述第二数据搜索集群为所述至少两个数据搜索集群中除了所述...

【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于数据搜索系统，所述数据搜索系统包括请求分发服务器、至少两个数据搜索集群以及与所述至少两个数据搜索集群数量匹配的订阅消息服务器，所述方法包括：当第一数据搜索集群发生数据更新操作时，所述第一数据搜索集群生成针对所述数据更新操作的数据更新消息；所述第一数据搜索集群将所述数据更新消息发布至匹配的第一订阅消息服务器；所述第一订阅消息服务器将所述数据更新消息推送至第二数据搜索集群，以使所述第二数据搜索集群根据所述数据更新消息进行同步数据更新；其中，所述第一数据搜索集群为所述至少两个数据搜索集群中的任一数据搜索集群，所述第二数据搜索集群为所述至少两个数据搜索集群中除了所述第一数据搜索集群之外的其他数据搜索集群。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述第一订阅消息服务器接收所述第二数据搜索集群发送的消息订阅请求，所述消息订阅请求中至少包括所述第二数据搜索集群的标识信息；所述第一订阅消息服务器根据所述第二数据搜索集群的标识信息，对进行消息订阅的所述第二数据搜索集群进行记录；所述第一订阅消息服务器将所述数据更新消息推送至第二数据搜索集群，包括：所述第一订阅消息服务器根据所述第二数据搜索集群的标识信息，将所述数据更新消息推送至所述第二数据搜索集群。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述请求分发服务器在接收到请求终端发送的数据搜索请求后，获取所述至少两个数据搜索集群中每一个数据搜索集群的网络状态；所述请求分发服务器根据所述每一个数据搜索集群的网络状态，在所述至少两个数据搜索集群中确定处理所述数据搜索请求的目标数据搜索集群；所述请求分发服务器将所述数据搜索请求转发至目标数据搜索集群；所述目标数据搜索集群在接收到所述数据搜索请求后，对所述数据搜索请求进行处理，并将得到的处理结果发送给所述请求分发服务器；所述请求分发服务器将所述处理结果转发至所述请求终端。4.根据权利要求3所述的方法，其特征在于，所述请求分发服务器根据所述每一个数据搜索集群的网络状态，在所述至少两个数据搜索集群中确定处理所述数据搜索请求的目标数据搜索集群，包括：所述请求分发服务器在所述至少两个数据搜索集群中确定往返时延最小的数据搜索集群；所述请求分发服务器将所述往返时延最小的数据搜索集群确定为所述目标数据搜索集群。5.根据权利要求3所述的方法，其特征在于，所述请求分发服务器根据所述每一个数据搜索集群的网络状态，在所述至少两个数据搜索集群中确定处理所述数据搜索请求的目标数据搜索集群，包括：所述请求分发服务器在所述至少两个数据搜索集群中确定往返时延最小的数据搜索集群；所述请求分发服务器判断所述往返时延最小的数据搜索集群是否存在服务异常；若所述往返时延最小的数据搜索集...

【专利技术属性】
技术研发人员：侯俊丞，徐子为，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44