索引构建方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种索引构建方法、装置、计算机设备和存储介质，所述方法包括：接收索引构建请求；根据所述索引构建请求对应的目标客户获取所述目标客户用于构建索引的相关数据信息；对所述相关数据信息进行聚类分析，得到分类后的数据；配置构建环境，基于所述构建环境对所述分类后的数据按照预设维度进行拼接，生成宽表数据；将所述宽表数据进行索引格式化，并写入对应的索引库形成第一数据表，并以增量更新机制更新所述索引库中的宽表数据。本申请构建的索引机制保证了商品索引的可用性、容错性、健壮性，大大提高了构建效率，另外本申请构建的切换机制，在系统出现异常，可以无损平滑切换，提高了搜索数据构建的高效性，大幅提升了用户体验感。了用户体验感。了用户体验感。

【技术实现步骤摘要】
索引构建方法、装置、计算机设备和存储介质


[0001]本申请涉及数据搜索的
，特别是涉及一种索引构建方法、装置、计算机设备和存储介质。

技术介绍

[0002]目前经过调研，没有一套成熟和现成的评估方式方法，能够快速构建商品索引及完善的容灾体系，现有的ETL理论(Extract
‑
Transform
‑
Load，数据仓库技术)实现方案都比较简单，数据源比较单一，并没有深入到实际的电商业务；而搜索场景却要复杂很多，依赖的十几个系统，如：将pdc(商品系统)、sales(售卖系统)、pms(价格管理系统)、ptp(商品标签系统)、gos(运营管理系统)、category(品类管理系统)、大数据、abt(分流系统)、usp(人群系统)、vde(商品打标系统)、brandstore(品牌管理系统)等等和以后新接入的第三方系统，如要能快速构建索引，也依赖于这些系统的性能，而如此多的系统，却不能保证都有高效的性能。
[0003]另外，搜索是一个大的电商平台流量的主要入口，而构建商品数据(商品索引)是整个搜索的基石，每天面对的是上百万级用户，千万级的搜索词汇量，如果商品数据构建不及时，上新的商品用户不直接搜索到，用户就不能第一时间获取最热门的商品，可能会导致用户流失，直接造成销售额的损失。
[0004]因此，亟需提出一种高可用、高容错性、高内聚低耦合、高扩展性的索引构建方法、装置、计算机设备和存储介质。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种高可用、高容错性，高内聚低耦合、高扩展性的索引构建方法、装置、计算机设备和存储介质。
[0006]一方面，提供一种索引构建方法，所述方法包括：
[0007]步骤A：接收索引构建请求；
[0008]步骤B：根据所述索引构建请求对应的目标客户获取所述目标客户用于构建索引的相关数据信息；
[0009]步骤C：对所述相关数据信息进行聚类分析，得到分类后的数据；
[0010]步骤D：配置构建环境，基于所述构建环境对所述分类后的数据按照预设维度进行拼接，生成宽表数据；
[0011]步骤E：将所述宽表数据进行索引格式化，并写入对应的索引库形成第一数据表，并以增量更新机制更新所述索引库中的宽表数据。
[0012]在其中一个实施例中，还包括：所述方法还包括：清空原有第二数据表的所有数据；检测所述第一数据表是否符合预设同步标准；若符合所述预设同步标准，则将所述第一数据表中所有数据同步至所述第二数据表，形成新的第二数据表；基于预设切换机制对所述第一数据表和所述第二数据表进行连接，形成一一对应关系。
[0013]在其中一个实施例中，还包括：所述预设切换机制包括：获取后台服务器中所述第一数据表的目标数据，提取所述目标数据的索引参数；比较所述索引参数与预设阈值的大小：若所述索引参数高于/等于所述预设阈值，则将索引对应的所述第一数据表切换为所述第二数据表；若所述索引参数低于预设阈值，则不进行切换。
[0014]在其中一个实施例中，还包括：所述根据所述索引构建请求对应的目标客户获取所述目标客户用于构建索引的相关数据信息包括：所述索引构建请求为宽表制作参考表标识；基于所述参考表标识得到所述对应的目标客户；根据所述对应的目标客户获取用于构建索引的相关数据信息，所述相关数据信息为所述参考表标识相关联的字段。
[0015]在其中一个实施例中，还包括：所述对所述相关数据信息进行聚类分析所采用的聚类分析算法包括以下至少一项：基于划分的聚类算法、基于密度的空间聚类算法和高斯混合模型。
[0016]在其中一个实施例中，还包括：所述配置构建环境，基于所述构建环境对所述分类后的数据按照预设维度进行拼接，生成宽表数据包括：配置数据源，基于所述数据源及预设的配置内容建立宽表构建环境；基于所述宽表构建环境，利用异步编程机制将所述分类后的数据按照相同的预设维度进行拼接，将多条数据流合并为一条；对合并后的数据流进行二维表拼接，补全每条数据流的属性值，得到所述宽表数据。
[0017]在其中一个实施例中，还包括：所述将所述宽表数据进行索引格式化，并写入对应的索引库形成第一数据表，并以增量更新机制更新所述索引库中的宽表数据包括：获取所述宽表数据中的每条数据流的拼接时间，根据所述拼接时间对存储数据库进行分层，所述分层包括正在使用、正在构建和上一次构建；将所述拼接时间写入第三数据表中，并对所述拼接时间对应的数据流进行索引格式化；将所述索引格式化后的数据流写入所述对应的索引库形成第一数据表，若出现新的数据流，则以增量更新机制更新所述索引库中的第一数据表。
[0018]另一方面，提供了一种索引构建装置，所述装置包括：
[0019]数据接收模块，用于接收索引构建请求；
[0020]索引信息获取模块，用于根据所述索引构建请求对应的目标客户获取所述目标客户用于构建索引的相关数据信息；
[0021]分类模块，用于对所述相关数据信息进行聚类分析，得到分类后的数据；
[0022]宽表数据生成模块，用于配置构建环境，基于所述构建环境对所述分类后的数据按照预设维度进行拼接，生成宽表数据；
[0023]索引生成模块，用于将所述宽表数据进行索引格式化，并写入对应的索引库形成第一数据表，并以增量更新机制更新所述索引库中的宽表数据。
[0024]再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0025]步骤A：接收索引构建请求；
[0026]步骤B：根据所述索引构建请求对应的目标客户获取所述目标客户用于构建索引的相关数据信息；
[0027]步骤C：对所述相关数据信息进行聚类分析，得到分类后的数据；
[0028]步骤D：配置构建环境，基于所述构建环境对所述分类后的数据按照预设维度进行
拼接，生成宽表数据；
[0029]步骤E：将所述宽表数据进行索引格式化，并写入对应的索引库形成第一数据表，并以增量更新机制更新所述索引库中的宽表数据。
[0030]又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0031]步骤A：接收索引构建请求；
[0032]步骤B：根据所述索引构建请求对应的目标客户获取所述目标客户用于构建索引的相关数据信息；
[0033]步骤C：对所述相关数据信息进行聚类分析，得到分类后的数据；
[0034]步骤D：配置构建环境，基于所述构建环境对所述分类后的数据按照预设维度进行拼接，生成宽表数据；
[0035]步骤E：将所述宽表数据进行索引格式化，并写入对应的索引库形成第一数据表，并以增量更新机制更新所述索引库中的宽表数据。
[0036]上述索引构建方法、装置、计算机设备和存储介质，所述方法包括：接收索引构建请求；根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种索引构建方法，其特征在于，所述方法包括：接收索引构建请求；根据所述索引构建请求对应的目标客户获取所述目标客户用于构建索引的相关数据信息；对所述相关数据信息进行聚类分析，得到分类后的数据；配置构建环境，基于所述构建环境对所述分类后的数据按照预设维度进行拼接，生成宽表数据；将所述宽表数据进行索引格式化，并写入对应的索引库形成第一数据表，并以增量更新机制更新所述索引库中的宽表数据。2.根据权利要求1所述的索引构建方法，其特征在于，所述方法还包括：清空原有第二数据表的所有数据；检测所述第一数据表是否符合预设同步标准；若符合所述预设同步标准，则将所述第一数据表中所有数据同步至所述第二数据表，形成新的第二数据表；基于预设切换机制对所述第一数据表和所述第二数据表进行连接，形成一一对应关系。3.根据权利要求2所述的索引构建方法，其特征在于，所述预设切换机制包括：获取后台服务器中所述第一数据表的目标数据，提取所述目标数据的索引参数；比较所述索引参数与预设阈值的大小：若所述索引参数高于/等于所述预设阈值，则将索引对应的所述第一数据表切换为所述第二数据表；若所述索引参数低于预设阈值，则不进行切换。4.根据权利要求1所述的索引构建方法，其特征在于，所述根据所述索引构建请求对应的目标客户获取所述目标客户用于构建索引的相关数据信息包括：所述索引构建请求为宽表制作参考表标识；基于所述参考表标识得到所述对应的目标客户；根据所述对应的目标客户获取用于构建索引的相关数据信息，所述相关数据信息为所述参考表标识相关联的字段。5.根据权利要求1所述的索引构建方法，其特征在于，所述对所述相关数据信息进行聚类分析所采用的聚类分析算法包括以下至少一项：基于划分的聚类算法、基于密度的空间聚类算法和高斯混合模型。6.根据权利要求1所述的索引构建方法，其特征在于，所述配置构建环境，基于所述构建环境对所述分类后的...

【专利技术属性】
技术研发人员：周波，
申请(专利权)人：唯品会广州软件有限公司，
类型：发明
国别省市：