基于RBF神经网络的搜索集群优化方法及系统技术方案

本发明专利技术公开了一种基于RBF神经网络的搜索集群优化方法及系统，涉及大数据搜索领域。该系统包括数据节点、管理节点和RBF神经网络训练单元，RBF神经网络训练单元基于RBF神经网络进行搜索集群，将数据节点的索引数量、搜索反馈、搜索CPU消耗、搜索响应时长、节点负载压力等数据，作为输入向量集，定时进行训练与计算，设置自定义误差范围、迭代次数及权值，训练得到最适合自己的簇群及管理节点。当某个管理节点失效，系统自动取出其簇群下失效数据节点的训练结果数据，并找到适合该失效节点的管理节点，在失效数据节点与管理节点之间建立连接请求流程，自动申请加入簇群。

【技术实现步骤摘要】

本专利技术涉及大数据搜索领域，具体是涉及一种基于RBF神经网络的搜索集群优化方法及系统。
技术介绍
ElasticSearch是一个基于Lucene的搜索服务器。Lucene是apache软件基金会4jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎(英文与德文两种西方语言)。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。ElasticSearch提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。ElasticSearch采用Lucene作为其核心，来实现所有索引和搜索的功能。ElasticSearch通过简单的RESTful API，来隐藏Lucene的复杂性，从而让全文搜索变得简单。下面简单介绍一些ElasticSearch的相关术语。全文检索：不同于传统的模糊匹配，其先对搜索词按一定规则分词后，再将分词与源数据进行匹配，根据出现分词次数，分词邻近距离，权重等数据进行打分，获得检索结果。搜索节点：单个ElasticSearch服务器节点。管理节点：ElasticSearch的master节点，用于管理集群数据同步，消息分发等。数据节点：ElasticSearch的data节点，不做任何数据管理操作，仅用于存储集群数据。集群簇：由多个搜索节点组成，包含一个管理节点及多个数据节点。集群：由多个集群簇组成的完整ElasticSearch节点集合。径向基函数神经网络(RBF)：RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。样本集：RBF神经网络训练的样本数据。训练结果集：RBF神经网络通过样本集的训练得到的收敛结果数据。搜索反馈：搜索效果反馈，即用户输入搜索词进入搜索页面后，是否有点击页面链接亦或在多次翻页之后点击链接。ElasticSearch主要具备以下三个特点：(1)分布式的实时文件存储，每个字段都被索引并可被搜索；(2)分布式的实时分析搜索引擎；(3)可以扩展到上百台服务器，处理PB级结构化或非结构化
数据。因此，ElasticSearch可以轻松实现服务器节点的水平拓展，并且，ElasticSearch节点可专门设置master(管理节点)以及data(数据节点)的特性，为管理大数据搜索集群提供便利。然而，在大数据搜索集群中，由于数据量庞大，节点繁多，一但某个master(管理节点)挂掉，其下data(数据节点)如何有效自主地加入到其他管理节点的簇群是ElasticSearch搜索集群领域一个亟待解决的重要问题。
技术实现思路
本专利技术的目的是为了克服上述
技术介绍
的不足，提供一种基于RBF神经网络的搜索集群优化方法及系统，当某个管理节点失效，自动取出其簇群下失效数据节点的训练结果数据，并找到适合该失效节点的管理节点，在失效数据节点与管理节点之间建立连接请求流程，自动申请加入簇群。本专利技术提供一种基于RBF神经网络的搜索集群优化方法，包括以下步骤：S1、以数据节点的索引数量、搜索反馈、搜索CPU消耗、搜索响应时长、节点负载压力数据作为训练样本集，进行RBF神经网络训练，匹配最优的管理节点，得到失效的数据节点，向合适的管理节点发送申请加入簇群的请求；S2、判断管理节点在规定时长内是否有响应，若该管理节点在规定时长内无响应，则返回步骤S1，对失效的数据节点重新进行RBF神经网络训练；若该管理节点在规定时长内有响应，则转到步骤S3；S3、管理节点对当前簇群的数据节点数量进行分析，判断簇群的
数据节点数量是否达到上限，若达到上限，则返回步骤S1，对失效的数据节点重新进行RBF神经网络训练；若未达到上限，则转到步骤S4；S4、管理节点向申请加入的数据节点回复请求，与该数据节点建立连接，并通知整个搜索集群。在上述技术方案的基础上，步骤S1中进行RBF神经网络训练的过程中，基于RBF神经网络进行搜索集群，选择若干个径向基函数，每个径向基函数对应一个训练数据。在上述技术方案的基础上，所述径向基函数的插值函数的公式如下：其中，X是输入，输入的次数是m，m为正整数；P是径向基函数的数量，P为正整数，且P>m；输入X是个m维的向量，样本容量为P；Xp是第P次输入，是第P个径向基函数，Xp是径向基函数的中心；ωP是第P个权值向量，(||X-Xp||)表示差向量的模；y是输出的训练结果。在上述技术方案的基础上，步骤S1中进行RBF神经网络训练的过程中，将数据节点的索引数量、搜索反馈、搜索CPU消耗、搜索响应时长、节点负载压力数据，作为输入向量集，定时进行训练与计算，设置自定义误差范围、迭代次数及权值，训练得到最适合自己的簇群及管理节点。在上述技术方案的基础上，当某个管理节点失效，自动取出其簇群下失效数据节点的训练结果数据，并找到适合该失效节点的管理节点，在失效数据节点与管理节点之间建立连接请求流程，自动
申请加入簇群，簇群节点上限数为自定义。本专利技术还提供一种基于RBF神经网络的搜索集群优化系统，该系统包括数据节点、管理节点和RBF神经网络训练单元，其中：所述RBF神经网络训练单元以数据节点的索引数量、搜索反馈、搜索CPU消耗、搜索响应时长、节点负载压力数据作为训练样本集，进行RBF神经网络训练，匹配最优的管理节点，得到失效的数据节点，向合适的管理节点发送申请加入簇群的请求；判断管理节点在规定时长内是否有响应，若该管理节点在规定时长内无响应，所述RBF神经网络训练单元对失效的数据节点重新进行RBF神经网络训练；若该管理节点在规定时长内有响应，管理节点对当前簇群的数据节点数量进行分析，判断簇群的数据节点数量是否达到上限，若达到上限，所述RBF神经网络训练单元对失效的数据节点重新进行RBF神经网络训练；若未达到上限，管理节点向申请加入的数据节点回复请求，与该数据节点建立连接，并通知整个搜索集群。在上述技术方案的基础上，所述RBF神经网络训练单元进行RBF神经网络训练的过程中，基于RBF神经网络进行搜索集群，选择若干个径向基函数，每个径向基函数对应一个训练数据。在上述技术方案的基础上，所述径向基函数的插值函数的公式如下：其中，X是输入，输入的次数是m，m为正整数；P是径向基函数的数量，P为正整数，且P>m；输入X是个m维的向量，样本容量为P；Xp是第P次输入，是第P个径向基函数，Xp是径向基函
数的中心；ωP是第P个权值向量，(||X-Xp||)表示差向量的模；y是输出的训练结果。在上述技术方案的基础上，所述RBF神经网络训练单元进行RBF神经网络训练的过程中，将数据节点的本文档来自技高网...

【技术保护点】
一种基于RBF神经网络的搜索集群优化方法，其特征在于，包括以下步骤：S1、以数据节点的索引数量、搜索反馈、搜索CPU消耗、搜索响应时长、节点负载压力数据作为训练样本集，进行RBF神经网络训练，匹配最优的管理节点，得到失效的数据节点，向合适的管理节点发送申请加入簇群的请求；S2、判断管理节点在规定时长内是否有响应，若该管理节点在规定时长内无响应，则返回步骤S1，对失效的数据节点重新进行RBF神经网络训练；若该管理节点在规定时长内有响应，则转到步骤S3；S3、管理节点对当前簇群的数据节点数量进行分析，判断簇群的数据节点数量是否达到上限，若达到上限，则返回步骤S1，对失效的数据节点重新进行RBF神经网络训练；若未达到上限，则转到步骤S4；S4、管理节点向申请加入的数据节点回复请求，与该数据节点建立连接，并通知整个搜索集群。

【技术特征摘要】
1.一种基于RBF神经网络的搜索集群优化方法，其特征在于，包括以下步骤：S1、以数据节点的索引数量、搜索反馈、搜索CPU消耗、搜索响应时长、节点负载压力数据作为训练样本集，进行RBF神经网络训练，匹配最优的管理节点，得到失效的数据节点，向合适的管理节点发送申请加入簇群的请求；S2、判断管理节点在规定时长内是否有响应，若该管理节点在规定时长内无响应，则返回步骤S1，对失效的数据节点重新进行RBF神经网络训练；若该管理节点在规定时长内有响应，则转到步骤S3；S3、管理节点对当前簇群的数据节点数量进行分析，判断簇群的数据节点数量是否达到上限，若达到上限，则返回步骤S1，对失效的数据节点重新进行RBF神经网络训练；若未达到上限，则转到步骤S4；S4、管理节点向申请加入的数据节点回复请求，与该数据节点建立连接，并通知整个搜索集群。2.如权利要求1所述的基于RBF神经网络的搜索集群优化方法，其特征在于：步骤S1中进行RBF神经网络训练的过程中，基于RBF神经网络进行搜索集群，选择若干个径向基函数，每个径向基函数对应一个训练数据。3.如权利要求2所述的基于RBF神经网络的搜索集群优化方法，其特征在于：所述径向基函数的插值函数的公式如下：其中，X是输入，输入的次数是m，m为正整数；P是径向基函数的数量，P为正整数，且P>m；输入X是个m维的向量，样本容量为P；Xp是第P次输入，是第P个径向基函数，Xp是径向基函数的中心；ωP是第P个权值向量，(||X-Xp||)表示差向量的模；y是输出的训练结果。4.如权利要求3所述的基于RBF神经网络的搜索集群优化方法，其特征在于：步骤S1中进行RBF神经网络训练的过程中，将数据节点的索引数量、搜索反馈、搜索CPU消耗、搜索响应时长、节点负载压力数据，作为输入向量集，定时进行训练与计算，设置自定义误差范围、迭代次数及权值，训练得到最适合自己的簇群及管理节点。5.如权利要求4所述的基于RBF神经网络的搜索集群优化方法，其特征在于：当某个管理节点失效，自动取出其簇群下失效数据节点的训练结果数据，并找到适合该失效节点的管理节点，在失效数据节点与管理节点之间建立连接请求流程，自动申请加入簇群，簇群节点上限数为自定义。6.一种基于RBF神经网络的搜索集群优化系统，其...

【专利技术属性】
技术研发人员：白凡，
申请(专利权)人：武汉斗鱼网络科技有限公司，
类型：发明
国别省市：湖北;42