【技术实现步骤摘要】
分布式搜索系统、索引分发方法及存储介质
本申请涉及计算机
，特别是涉及一种分布式搜索系统、索引分发方法及存储介质。
技术介绍
在分布式搜索服务中，索引构建平台构建好索引后，需要迅速分发索引到搜索集群中。在索引文件很大和搜索集群机器很多的情况下，如何迅速分发索引到搜索服务中，是分布式搜索服务必然面对的问题。目前主流的搜索服务有Solr和Elasticsearch，它们采用的索引分发方案都是将索引从主(Master)节点同步到从(Slave)节点，多个从节点从一个主节点下载索引文件。在索引文件很大且搜索集群较大的情况下，索引分发的速度严重受限于主节点的机器性能和网络带宽，无法随索引大小、搜索机器数量扩展，同时主节点压力过大，影响搜索服务的稳定性。
技术实现思路
本申请实施例提供一种分布式搜索系统、索引分发方法及存储介质，以提高索引分发速度，提高搜索服务的稳定性。为了解决上述问题，第一方面，本申请实施例提供了一种分布式搜索系统，包括：分布式索引构建平台，用于构建索引，将所述...
【技术保护点】
1.一种分布式搜索系统，其特征在于，所述系统包括：/n分布式索引构建平台，用于构建索引，将所述索引按照索引分片存储在索引存储集群，并将所述索引的资源描述信息写入到状态存储集群，所述索引分片包括多个文件块；/n索引存储集群，用于按照索引分片存储所述索引；/n状态存储集群，用于保存所述资源描述信息，对搜索节点的服务进行注册，并保存所述搜索节点的服务状态，接收主控集群发送的索引下载指令；/n主控集群，用于监听所述状态存储集群，若监听到所述资源描述信息，则发送索引下载指令到状态存储集群；/n搜索集群，包括多个搜索节点，所述多个搜索节点组成对等网络，若所述搜索节点从状态存储集群中监听...
【技术特征摘要】
1.一种分布式搜索系统，其特征在于，所述系统包括：
分布式索引构建平台，用于构建索引，将所述索引按照索引分片存储在索引存储集群，并将所述索引的资源描述信息写入到状态存储集群，所述索引分片包括多个文件块；
索引存储集群，用于按照索引分片存储所述索引；
状态存储集群，用于保存所述资源描述信息，对搜索节点的服务进行注册，并保存所述搜索节点的服务状态，接收主控集群发送的索引下载指令；
主控集群，用于监听所述状态存储集群，若监听到所述资源描述信息，则发送索引下载指令到状态存储集群；
搜索集群，包括多个搜索节点，所述多个搜索节点组成对等网络，若所述搜索节点从状态存储集群中监听到所述索引下载指令，则确定要下载的索引分片及所述索引分片中的文件块，若至少两个其他搜索节点有所述文件块，则所述搜索节点根据自身与所述至少两个其他搜索节点的距离和所述至少两个其他搜索节点的网络传输速度，确定所述至少两个其他搜索节点中的一个搜索节点为所述文件块的下载源，并从所述下载源下载所述文件块。
2.根据权利要求1所述的系统，其特征在于，所述主控集群还用于：
根据所述搜索节点的资源占用情况动态调整所述搜索节点的网络传输速度。
3.根据权利要求1所述的系统，其特征在于，所述主控集群还用于：
基于令牌桶算法定时产生令牌，并将所述令牌存储在令牌桶中；
所述下载源还用于：
消耗所述令牌桶中的令牌，并基于所述令牌对应的传输速度，向所述搜索节点传输所述文件块。
4.一种索引分发方法，其特征在于，包括：
分布式索引构建平台构建索引，将所述索引按照索引分片存储在索引存储集群，并将所述索引的资源描述信息写入到状态存储集群，所述索引分片包括多个文件块；
主控集群监听所述状态存储集群，若监听到所述资源描述信息，则发送索引下载指令到状态存储集群；
若搜索集群中的搜索节点从状态存储集群中监听到所述索引下载指令，则确定要下载的索引分片及所述索引分片中的文件块；
若所述搜索集群中至少两个其他搜索节点有所述文件块，则所述搜索节点根据自身与所述至少两个其他搜索节点的距离和所述至...
【专利技术属性】
技术研发人员：张桂贤，赵朝兴，项肖华，张俊浩，张弓，王仲远，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。