主页的识别处理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种主页的识别处理方法、装置、设备及存储介质，该方法包括：获取用户搜索请求对应的待预测特征数据，所述待预测特征数据包括关键词特征和URL标识特征；基于所述待预测特征数据，采用预先训练好的Xgboost模型和SVM模型，确定所述用户搜索请求对应的目标URL；基于所述目标URL响应所述用户搜索请求。通过基于所述待预测特征数据，采用预先训练好的Xgboost模型和SVM模型，确定所述用户搜索请求对应的目标URL，并基于所述目标URL响应所述用户搜索请求，可以为用户提供最有用的网页信息，提高用户搜索结果的准确性，从而提高用户体验。

Method, device, equipment and storage medium of home page identification

【技术实现步骤摘要】
主页的识别处理方法、装置、设备及存储介质
本申请涉及互联网
，尤其涉及一种主页的识别处理方法、装置、设备及存储介质。
技术介绍
随着互联网相关技术的成熟与发展，网络信息呈爆炸性增长。用户在信息检索的时候，发现大部分信息没有太大价值，属于垃圾信息。有价值的信息隐藏在大量垃圾信息当中，其呈现形式也多种多样，导致用户不能有效获取到有用的信息。因此如何使用户从互联网获取到最想要的信息成为亟需解决的技术问题。
技术实现思路
本申请提供一种主页的识别处理方法、装置、设备及存储介质，以解决现有技术用户搜索结果不准确等缺陷。本申请第一个方面提供一种主页的识别处理方法，包括：获取用户搜索请求对应的待预测特征数据，所述待预测特征数据包括关键词特征和URL标识特征；基于所述待预测特征数据，采用预先训练好的Xgboost模型和SVM模型，确定所述用户搜索请求对应的目标URL；基于所述目标URL响应所述用户搜索请求。本申请第二个方面提供一种主页的识别处理装置，包括：获取模块，用于获取用户搜索请求对应的待预测特征数据，所述待预测特征数据包括关键词特征和URL标识特征；确定模块，用于基于所述待预测特征数据，采用预先训练好的Xgboost模型和SVM模型，确定所述用户搜索请求对应的目标URL；处理模块，用于基于所述目标URL响应所述用户搜索请求。本申请第三个方面提供一种终端设备，包括：至少一个处理器和存储器；所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的方法。本申请第四个方面提供一种搜索服务器，包括：至少一个处理器和存储器；所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的方法。本申请第五个方面提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的方法。本申请提供的主页的识别处理方法、装置、设备及存储介质，通过基于待预测特征数据，采用预先训练好的Xgboost模型和SVM模型，确定用户搜索请求对应的目标URL，并基于目标URL响应用户搜索请求，可以为用户提供最有用的网页信息，提高用户搜索结果的准确性，从而提高用户体验。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例适用的搜索系统的结构示意图；图2为本申请一实施例提供的主页的识别处理方法的流程示意图；图3为本申请一实施例提供的HTML文本的示意图；图4为本申请一实施例提供的会议主页识别搜索结果列表示意图；图5为本申请一实施例提供的学校主页识别搜索结果列表示意图；图6为本申请一实施例提供的学者主页识别搜索结果列表示意图；图7为本申请一实施例提供的主页的识别处理装置的结构示意图；图8为本申请另一实施例提供的主页的识别处理装置的结构示意图；图9为本申请一实施例提供的终端设备的结构示意图；图10为本申请一实施例提供的搜索服务器的结构示意图。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。首先对本申请所涉及的名词进行解释：Xgboost：xgboost是GDBT(GradientboostingDecisionTree，梯度提升树)的扩展和改进，xgboost算法更快，准确率也相对高一些。GDBT是集成学习Boosting家族的成员，其迭代使用了前向分布算法，使用CART回归树模型。SVM：SupportVectorMachine，指的是支持向量机，是一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。URL：统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。本申请实施例提供的主页的识别处理方法，适用于以下的搜索系统，如图1所示，为本申请实施例适用的搜索系统的结构示意图。该搜索系统可以包括搜索服务器及至少一个终端设备，用户通过终端设备在搜索引擎输入搜索关键词，向搜索服务器发送搜索请求，搜索服务器根据用户的搜索关键词搜索到相关的网页结果URL，返回给终端设备，终端设备将搜索结果列表展示给用户，用户则可以点击查看各搜索结果。本申请实施例提供的主页的识别处理方法可以由搜索服务器执行也可以由终端设备执行，具体可以根据实际需求设置，本申请实施例不做限定。比如，若由搜索服务器执行，搜索服务器在根据用户的搜索关键词获取到相关网页结果URL后，采用本申请实施例的主页的识别处理方法，从结果URL中进一步获取到用户最想要的目标URL，返回给终端设备，终端设备将目标URL对应的相关信息展示给用户。若由终端设备执行，则搜索服务器将搜索到的相关的网页结果URL返回给终端设备后，由终端设备执行本申请实施例的主页的识别处理方法，进一步筛选出用户最想要的目标URL，并将该目标URL相关信息展示给用户。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本专利技术的实施例进行描述。实施例一本实施例提供一种主页的识别处理方法，用于获取用户最想要的网页地址。本实施例的执行主体为主页的识别处理装置，该装置可以设置在终端设备中，也可以设置在搜索服务器中。如图2所示，为本实施例提供的主页的识别处理方法的流程示意图，该方法包括：步骤101，获取用户搜索请求对应的待预测特征数据，待预测特征数据包括关键词特征和URL标识特征。具体的，当用户想要进行搜索时，可以通过终端设备在搜索引擎输入搜索关键词，比如“XX大学”、“nlpcc2018”等等。在用户点击搜索后，终端设备会本文档来自技高网...

【技术保护点】
1.一种主页的识别处理方法，其特征在于，包括：/n获取用户搜索请求对应的待预测特征数据，所述待预测特征数据包括关键词特征和URL标识特征；/n基于所述待预测特征数据，采用预先训练好的Xgboost模型和SVM模型，确定所述用户搜索请求对应的目标URL；/n基于所述目标URL响应所述用户搜索请求。/n

【技术特征摘要】
1.一种主页的识别处理方法，其特征在于，包括：
获取用户搜索请求对应的待预测特征数据，所述待预测特征数据包括关键词特征和URL标识特征；
基于所述待预测特征数据，采用预先训练好的Xgboost模型和SVM模型，确定所述用户搜索请求对应的目标URL；
基于所述目标URL响应所述用户搜索请求。


2.根据权利要求1所述的方法，其特征在于，所述获取用户搜索请求对应的待预测特征数据，包括：
获取用户搜索请求对应的搜索关键词，以及根据所述搜索关键词获取到的至少两个结果URL的标识和各标识对应的HTML文本；
根据所述搜索关键词及各标识对应的HTML文本，获取所述关键词特征，根据各标识获取URL标识特征。


3.根据权利要求2所述的方法，其特征在于，所述根据所述搜索关键词及各标识对应的HTML文本，获取所述关键词特征，包括：
获取所述搜索关键词包括的单词个数N；
针对每个所述结果URL，计算所述搜索关键词中每个单词在该结果URL中出现的次数n1及第一频率，每个单词在该结果URL对应的HTML文本中的title标签中出现的次数n2及第二频率，以及每个单词在该结果URL对应的HTML文本中的非title标签中出现的次数n3及第三频率，并计算每个单词的tfidf值；
所述关键词特征包括各结果URL对应的n1、n2、n3、所述第一频率、所述第二频率、所述第三频率及所述tfidf值。


4.根据权利要求1所述的方法，其特征在于，基于所述待预测特征数据，采用预先训练好的Xgboost模型和SVM模型，确定所述用户搜索请求对应的目标URL，包括：
将所述待预测特征数据分别输入到所述Xgboost模型和所述SVM模型进行预测；
若所述Xgboost模型和所述SVM模型预测的结果为同一个结果URL，则将该结果URL作为所述用户搜索请求对应的目标URL。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
获取训练特征数据，所述训练特征数据包括关键词训练特征、URL标识训练特征以及标注数据；
基于所述训练特征数据，对预先建立好的Xgboost网络及SVM网络进行训练，获得所述Xgboost模型和所述SVM模型。


6.一种主页的识别处理装置，其特征在于，包括：
获取模块，用于获取用户搜索请求对应的待预测特征数据，所述待预测特征数据包括关键词特征和URL标识特征；
确定模块，用于基于所述待预测特征数据，采用预先训练好的Xgboost模型和SV...

【专利技术属性】
技术研发人员：陈雪飞，谢海华，
申请(专利权)人：北大方正集团有限公司，北大方正信息产业集团有限公司，
类型：发明
国别省市：北京;11