一种分布式搜索优化服务器集群架构制造技术

本实用新型专利技术创造提供了一种分布式搜索优化服务器集群架构，包括数据库集群、数据提取集群、搜索服务集群，所述数据库集群连接数据提取集群，所述数据提取集群连接搜索服务集群；所述数据库集群包括依次连接的优化磁盘阵列集群、数据库后端交换机集群、优化数据库集群、数据库前端交换机集群。本实用新型专利技术创造实现了集群的各个部分均可以在不影响业务服务的前提下快速的进行平滑升级扩容，满足业务高峰和后续业务发展需要；服务器与InfiniBand交换机均进行双卡4接口负载均衡冗余链接，可以提供160GB的峰值吞吐量，同时避免数据链路的单点故障；服务器集群与交换机集群均能实现负载均衡和故障转移的功能，避免了数据输出瓶颈。

A distributed search optimization server cluster framework

The utility model provides a distributed search optimization server cluster architecture, including database cluster, data extraction, cluster search service cluster, the cluster database connection data extraction cluster, the data extraction cluster connection search service cluster; the database cluster includes the optimization of disk array cluster, database back-end switch the optimization of database cluster, cluster, cluster database front-end switch. The utility model can realize each part of the cluster can be without affecting the business service under the fast smooth upgrading, meet the needs of the business peak and subsequent business development; the server and the InfiniBand switch are dual card 4 interface load balancing redundant link, can provide peak throughput of 160GB, at the same time to avoid single point fault data link; server cluster and cluster switch can achieve load balancing and fault transfer function, to avoid the bottleneck of data output.

【技术实现步骤摘要】
一种分布式搜索优化服务器集群架构
本专利技术创造属于集群服务器
，尤其是涉及一种分布式搜索优化服务器集群架构。
技术介绍
集群是由一些互相连接在一起的计算机构成的一个并行或分布式系统。这些计算机一起工作并运行一系列共同的应用程序，同时，为用户和应用程序提供单一的系统映射。从外部来看，它们仅仅是一个系统，对外提供统一的服务。集群内的计算机物理上通过电缆连接，程序上则通过集群软件连接。这些连接允许计算机使用故障应急与负载平衡功能，而故障应急与负载平衡功能在单机上是不可能实现的。服务器集群系统通俗地讲就是把多台服务器通过快速通信链路连接起来，从外部看来，这些服务器就像一台服务器在工作，而对内来说，外面来的负载通过一定的机制动态地分配到这些节点机中去，从而达到超级服务器才有的高性能、高可用。然而，随着搜索业务越来越多，需要集群的各个部分进行升级扩容优化来满足业务高峰的发展。
技术实现思路
有鉴于此，本专利技术创造旨在提出一种分布式搜索优化服务器集群架构，以满足高峰搜索业务的需求。为达到上述目的，本专利技术创造的技术方案是这样实现的：一种分布式搜索优化服务器集群架构，包括数据库集群、数据提取集群、搜索服务集群，所述数据库集群连接数据提取集群，所述数据提取集群连接搜索服务集群；所述数据库集群包括依次连接的优化磁盘阵列集群、数据库后端交换机集群、优化数据库集群、数据库前端交换机集群；所述数据库前端交换机集群通过数据交换机集群连接数据提取集群；所述数据交换机集群通过搜索交换机集群连接搜索服务集群，所述搜索服务集群还连接搜索汇聚交换机集群。进一步的，所述优化磁盘阵列集群、优化数据库集群都与所述数据库后端交换机集群进行双卡4接口负载均衡冗余链接。进一步的，所述优化数据库集群与所述数据库前端交换机集群进行双卡4接口负载均衡冗余链接。进一步的，所述数据提取集群与所述数据交换机集群进行双卡4接口负载均衡冗余链接。进一步的，所述搜索服务集群与所述搜索交换机集群、搜索汇聚交换机集群均进行双卡4接口负载均衡冗余链接。相对于现有技术，本专利技术创造所述的一种分布式搜索优化服务器集群架构具有以下优势：本专利技术创造实现了集群的各个部分均可以在不影响业务服务的前提下快速的进行平滑升级扩容，满足业务高峰和后续业务发展需要；服务器与InfiniBand交换机均进行双卡4接口负载均衡冗余链接，可以提供160GB的峰值吞吐量，同时避免数据链路的单点故障；服务器集群与交换机集群均能实现负载均衡和故障转移的功能，避免了数据输出瓶颈。附图说明构成本专利技术创造的一部分的附图用来提供对本专利技术创造的进一步理解，本专利技术创造的示意性实施例及其说明用于解释本专利技术创造，并不构成对本专利技术创造的不当限定。在附图中：图1为本专利技术创造实施例所述一种分布式搜索优化服务器集群架构的结构示意图。具体实施方式需要说明的是，在不冲突的情况下，本专利技术创造中的实施例及实施例中的特征可以相互组合。在本专利技术创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。在本专利技术创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本专利技术创造中的具体含义。下面将参考附图并结合实施例来详细说明本专利技术创造。如图1所示，一种分布式搜索优化服务器集群架构，包括数据库集群、数据提取集群、搜索服务集群，所述数据库集群连接数据提取集群，所述数据提取集群连接搜索服务集群；所述数据库集群包括依次连接的优化磁盘阵列集群、数据库后端交换机集群、优化数据库集群、数据库前端交换机集群；所述数据库前端交换机集群通过数据交换机集群连接数据提取集群；所述数据交换机集群通过搜索交换机集群连接搜索服务集群，所述搜索服务集群还连接搜索汇聚交换机集群。所述优化磁盘阵列集群、优化数据库集群都与所述数据库后端交换机集群进行双卡4接口负载均衡冗余链接。所述优化数据库集群与所述数据库前端交换机集群进行双卡4接口负载均衡冗余链接。所述数据提取集群与所述数据交换机集群进行双卡4接口负载均衡冗余链接。所述搜索服务集群与所述搜索交换机集群、搜索汇聚交换机集群均进行双卡4接口负载均衡冗余链接。为了更好的满足搜索业务需要，本专利技术创造提供了分布式搜索优化服务器集群架构，实现了以下实用新特性：全套搜索优化服务器集群由数据库集群、数据提取集群、搜索服务集群三部分构成，各部分全部参照全链路冗余的思想进行设计，从物理链路层到应用层均能完全避免单点故障；集群的各个部分均可以在不影响业务服务的前提下快速的进行平滑升级扩容，满足业务高峰和后续业务发展需要。服务器集群之间的数据链接和集群节点之间的数据链接使用InfiniBand架构，可以提供单链路峰值40GB的高吞吐量，这是特别针对内存数据库集群间高吞吐量需求做的优化。全部服务器与InfiniBand交换机均进行双卡4接口负载均衡冗余链接，可以提供160GB的峰值吞吐量，同时避免数据链路的单点故障；服务器集群与交换机集群均提供了负载均衡和故障转移的功能，实现了架构全链路冗余设计，避免了数据输出瓶颈。数据库集群特别针对数据库常用的随机读写和4kblock读写进行了I/O优化，数据库服务器集群和磁盘阵列间的数据链路使用了InfiniBand架构进行数据链路和心跳保障。数据提取集群由优化的分布式计算框架提供服务，通过数据交换机对数据库集群的数据进行提取，并通过搜索交换机传递数据到搜索服务集群进行缓存和索引；服务器特别对运算能力进行了优化，以满足搜索业务的需要。搜索服务集群通过搜索汇聚交换机对外提供服务，服务器经过针对性优化，加强了网络并发和吞吐稳定性，改善了寻址能力，以最大化实现分布式引擎的性能需求。以上所述仅为本专利技术创造的较佳实施例而已，并不用以限制本专利技术创造，凡在本专利技术创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术创造的保护范围之内。本文档来自技高网...

【技术保护点】
一种分布式搜索优化服务器集群架构，其特征在于：包括数据库集群、数据提取集群、搜索服务集群，所述数据库集群连接数据提取集群，所述数据提取集群连接搜索服务集群；所述数据库集群包括依次连接的优化磁盘阵列集群、数据库后端交换机集群、优化数据库集群、数据库前端交换机集群；所述数据库前端交换机集群通过数据交换机集群连接数据提取集群；所述数据交换机集群通过搜索交换机集群连接搜索服务集群，所述搜索服务集群还连接搜索汇聚交换机集群。

【技术特征摘要】
1.一种分布式搜索优化服务器集群架构，其特征在于：包括数据库集群、数据提取集群、搜索服务集群，所述数据库集群连接数据提取集群，所述数据提取集群连接搜索服务集群；所述数据库集群包括依次连接的优化磁盘阵列集群、数据库后端交换机集群、优化数据库集群、数据库前端交换机集群；所述数据库前端交换机集群通过数据交换机集群连接数据提取集群；所述数据交换机集群通过搜索交换机集群连接搜索服务集群，所述搜索服务集群还连接搜索汇聚交换机集群。2.根据权利要求1所述的一种分布式搜索优化服务器集群架构，其特征在于：所述优化磁盘阵列集群、优...

【专利技术属性】
技术研发人员：张振国，刘伟，万昆，于洪涛，邵思嘉，葛庆伟，
申请(专利权)人：天津易遨在线科技有限公司，
类型：新型
国别省市：天津,12