System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及电商搜索,尤其涉及一种索引调度方法及其相应的装置、计算机设备、计算机可读存储介质。
技术介绍
1、在独立站电商搜索领域,所有建立在独立站上的线上店铺的商品信息都存储在同一个elasticsearch的索引中,通过设置合理的分片数量保持每个分片的搜索性能。但是随着数据量的增大,导致索引越来越大,分片数也越来越多,每个分片大小也越来越大,由于elasticsearch的分布式搜索特性,一次完整的对同一线上店铺的商品信息的搜索,会搜索索引中所有分片,随着整体的数据量增大,搜索性能会受到很大影响,搜索耗时长。
2、传统技术中,通常是增加索引的分片数以减少单分片的大小,保障单分片的搜索性能,但在整体数据量过大的时候,搜索性能仍然受到不小的影响,搜索耗时长,影响使用搜索服务的用户的体验。
3、鉴于传统技术的不足,本申请人长期从事相关领域的研究,为解决电商搜索
业内难题,故另辟蹊径。
技术实现思路
1、本申请的首要目的在于解决上述问题至少之一而提供一种索引调度方法及其相应的装置、计算机设备、计算机可读存储介质。
2、为满足本申请的各个目的,本申请采用如下技术方案:
3、适应本申请的目的之一而提供的一种索引调度方法,包括如下步骤:
4、获取任意店铺搜索服务推送的商品信息搜索请求,所述商品信息搜索请求携带店铺标识和主索引;
5、将所述商品信息搜索请求下发至搜索引擎,由搜索引擎中的索引调度器根据所述店铺标识调度所述
6、由所述搜索引擎根据所述商品信息搜索请求搜索所述目标从索引,返回请求结果;
7、将所述请求结果发送给所述店铺搜索服务,以应答所述商品信息搜索请求。
8、进一步的实施例中,获取任意店铺搜索服务推送的商品信息搜索请求之前,包括如下步骤:
9、在搜索引擎中构建主索引及其下多个从索引;
10、响应数据源同步事件,获取该事件所指定的店铺的商品信息下发至搜索引擎;
11、由搜索引擎中的索引调度器根据所述商品信息所属店铺的店铺标识确定出所述主索引下的从索引作为待写入从索引,将所述商品信息写入所述待写入从索引中。
12、进一步的实施例中,由所述搜索引擎根据所述商品信息搜索请求搜索所述目标从索引,返回请求结果,包括如下步骤:
13、由搜索引擎中的协调节点将所述商品信息搜索请求,转发给所述目标从索引的所有分片分别所在的数据节点;
14、由所有分片并行搜索出所述商品信息搜索请求所需的部分商品标识及其打分值,每个分片所在的数据节点将相应的部分商品标识及其打分值返回给协调节点;
15、由所述协调节点对所有的部分商品标识进行数据操作,产出商品标识集合;
16、由所述协调节点根据商品标识集合中的商品标识访问相应的数据节点读取相应的商品信息构成请求结果。
17、进一步的实施例中,在搜索引擎中构建主索引及其下多个从索引,包括如下步骤:
18、获取主索引配置信息,所述主索引配置信息包括主索引信息、从索引信息,所述主索引信息包括主索引名称和主索引所匹配的调度哈希算法及其算法指定参数,所述从索引信息包括从索引个数其相应的从索引名称。
19、调用搜索引擎的配置接口,将所述主索引配置信息传递给该配置接口,以驱动其根据所述主索引信息构建主索引,根据所述从索引信息构建相应的从索引。
20、进一步的实施例中,将所述请求结果发送给所述店铺搜索服务,包括如下步骤:
21、确定出所述请求结果所包含的每个商品信息中,所述店铺搜索服务为搜索场景下展示所需提供的文本信息;
22、采用曝光成效模型根据每个商品信息中的文本信息,确定出每个商品信息对应的综合评分;
23、根据所述综合评分对请求结果中的商品信息进行排序,将排序后的请求结果发送给店铺搜索服务。
24、进一步的实施例中,由搜索引擎中的索引调度器根据所述店铺标识调度所述主索引下的目标从索引,包括如下步骤:
25、由搜索引擎中的索引调度器读取预设的主索引配置信息,确定主索引配置信息中的算法指定参数为所述店铺标识;
26、调用所述主索引配置信息中的调度哈希算法根据所述算法指定参数,确定出目标从索引。
27、进一步的实施例中,将所述请求结果发送给所述店铺搜索服务,以应答所述商品信息搜索请求之后,包括如下步骤:
28、确定出所述搜索引擎在每个预设的时间周期内接收的请求数量;
29、当连续多个所述时间周期对应的请求数量均小于预设阈值时,停止下发商品信息搜索请求至所述搜索引擎;
30、响应从索引数量变更事件,获取业务所需的从索引数量,构建搜索引擎中的新主索引及其下对应该从索引数量的从索引;
31、将写入所述主索引的店铺的商品信息重定向至写入新主索引,并将主索引中的所有店铺的商品信息迁移到新主索引;
32、删除迁移完成后的所述主索引,创建新主索引的别名为所述主索引的主索引名称。
33、另一方面,适应本申请的目的之一而提供的一种索引调度装置,包括请求获取模块、从索引调度模块、结果返回模块以及结果发送模块,其中,请求获取模块,用于获取任意店铺搜索服务推送的商品信息搜索请求,所述商品信息搜索请求携带店铺标识和主索引;从索引调度模块,用于将所述商品信息搜索请求下发至搜索引擎,由搜索引擎中的索引调度器根据所述店铺标识调度所述主索引下的目标从索引;结果返回模块,用于由所述搜索引擎根据所述商品信息搜索请求搜索所述目标从索引,返回请求结果;结果发送模块,用于将所述请求结果发送给所述店铺搜索服务,以应答所述商品信息搜索请求。
34、进一步的实施例中,所述请求获取模块之前,包括:第一索引构建子模块,用于在搜索引擎中构建主索引及其下多个从索引;事件响应子模块,用于响应数据源同步事件,获取该事件所指定的店铺的商品信息下发至搜索引擎;索引写入子模块,用于由搜索引擎中的索引调度器根据所述商品信息所属店铺的店铺标识确定出所述主索引下的从索引作为待写入从索引,将所述商品信息写入所述待写入从索引中。
35、进一步的实施例中,所述结果返回模块,包括:请求转发子模块,用于由搜索引擎中的协调节点将所述商品信息搜索请求,转发给所述目标从索引的所有分片分别所在的数据节点;标识返回子模块,用于由所有分片并行搜索出所述商品信息搜索请求所需的部分商品标识及其打分值,每个分片所在的数据节点将相应的部分商品标识及其打分值返回给协调节点;集合产出子模块,用于由所述协调节点对所有的部分商品标识进行数据操作,产出商品标识集合;结果构成子模块,用于由所述协调节点根据商品标识集合中的商品标识访问相应的数据节点读取相应的商品信息构成请求结果。
36、进一步的实施例中,所述索引构建子模块,包括:信息获取子模块,用于获取主索引配置信本文档来自技高网...
【技术保护点】
1.一种索引调度方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的索引调度方法,其特征在于,获取任意店铺搜索服务推送的商品信息搜索请求之前,包括如下步骤:
3.根据权利要求1所述的索引调度方法,其特征在于,由所述搜索引擎根据所述商品信息搜索请求搜索所述目标从索引,返回请求结果,包括如下步骤:
4.根据权利要求2所述的索引调度方法,其特征在于,在搜索引擎中构建主索引及其下多个从索引,包括如下步骤:
5.根据权利要求1所述的索引调度方法,其特征在于,将所述请求结果发送给所述店铺搜索服务,包括如下步骤:
6.根据权利要求4所述的索引调度方法,其特征在于,由搜索引擎中的索引调度器根据所述店铺标识调度所述主索引下的目标从索引,包括如下步骤:
7.根据权利要求1所述的索引调度方法,其特征在于,将所述请求结果发送给所述店铺搜索服务,以应答所述商品信息搜索请求之后,包括如下步骤:
8.一种索引调度装置,其特征在于,包括:
9.一种计算机设备,包括中央处理器和存储器,其特征在于,所述中央处理器用
10.一种计算机可读存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。
...【技术特征摘要】
1.一种索引调度方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的索引调度方法,其特征在于,获取任意店铺搜索服务推送的商品信息搜索请求之前,包括如下步骤:
3.根据权利要求1所述的索引调度方法,其特征在于,由所述搜索引擎根据所述商品信息搜索请求搜索所述目标从索引,返回请求结果,包括如下步骤:
4.根据权利要求2所述的索引调度方法,其特征在于,在搜索引擎中构建主索引及其下多个从索引,包括如下步骤:
5.根据权利要求1所述的索引调度方法,其特征在于,将所述请求结果发送给所述店铺搜索服务,包括如下步骤:
6.根据权利要求4所述的索引调度方法,其特征在于,由搜索引擎中的索引调度...
【专利技术属性】
技术研发人员:庞晓磊,
申请(专利权)人:广州商研网络科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。