索引构建方法及装置、电子设备制造方法及图纸

本说明书实施例公开了一种索引构建方法及装置、电子设备。其中方法包括：根据ES集群划分的索引分片的数量n，将待构建索引的用户集合划分为n个用户子集，其中每一用户子集对应一个索引分片。获取与各用户子集对应的原始用户数据。通过多个索引构建子任务并行地对各用户子集对应的原始用户数据执行索引创建动作，获得与各用户子集对应的索引数据。将所述用户子集对应的索引数据分发到所述ES集群中与所述用户子集对应的索引分片。

【技术实现步骤摘要】
索引构建方法及装置、电子设备
本申请涉及数据库
，尤其涉及一种索引构建方法及装置、电子设备。
技术介绍
在各大网络平台(如网络支付平台、网约车平台等)上，随着业务的发展以及用户数的激增，产生了大量的用户数据，并且每一用户的用户数据可能包含上百个特征维度，这导致网络平台相关的用户数据的数据量极大。目前，网络平台产生的用户数据可以为线上服务提供数据支持，通常，用户数据以Hive表的形式保存在分布式文件系统(HadoopDistributedFileSystem,HDFS)上，然而，这种方式并不能确保用户数据可以被稳定而快速地检索到。为了提高数据检索速度，需要针对用户数据构建索引(index)，然而，对数据量庞大的用户数据构建索引的过程较为耗时，效率低下。
技术实现思路
有鉴于此，本申请提供一种索引构建方法及装置、电子设备。为实现上述目的，本申请提供的技术方案如下：根据本申请的第一方面，提出了一种索引构建方法，包括：根据ES集群划分的索引分片的数量n，将待构建索引的用户集合划分为n个用户子集，其中每一用户子集对应一个索引分片；获取与各用户子集对应的原始用户数据；通过多个索引构建子任务并行本文档来自技高网...

【技术保护点】
1.一种索引构建方法，其特征在于，所述方法包括：根据ES集群划分的索引分片的数量n，将待构建索引的用户集合划分为n个用户子集，其中每一用户子集对应一个索引分片；获取与各用户子集对应的原始用户数据；通过多个索引构建子任务并行地对各用户子集对应的原始用户数据执行索引创建动作，获得与各用户子集对应的索引数据；将所述用户子集对应的索引数据分发到所述ES集群中与所述用户子集对应的索引分片。

【技术特征摘要】
1.一种索引构建方法，其特征在于，所述方法包括：根据ES集群划分的索引分片的数量n，将待构建索引的用户集合划分为n个用户子集，其中每一用户子集对应一个索引分片；获取与各用户子集对应的原始用户数据；通过多个索引构建子任务并行地对各用户子集对应的原始用户数据执行索引创建动作，获得与各用户子集对应的索引数据；将所述用户子集对应的索引数据分发到所述ES集群中与所述用户子集对应的索引分片。2.根据权利要求1所述的方法，其特征在于，在将待构建索引的用户集合划分为n个用户子集之前，还包括：创建与ES集群划分的n个索引分片对应的索引目录并上传到分布式文件系统；所述将所述用户子集对应的索引数据分发到所述ES集群中与所述用户子集对应的索引分片，包括：将与各用户子集对应的索引数据上传到所述分布式文件系统上的与所述用户子集对应的索引目录；从所述分布式文件系统获取索引数据并存储到所述ES集群中与各索引分片对应的ES节点中。3.根据权利要求1所述的方法，其特征在于，所述通过多个索引构建子任务并行地对各用户子集对应的原始用户数据执行索引创建动作，包括：通过n个索引构建子任务并行地对各用户子集对应的原始用户数据执行索引创建动作，其中每个索引构建子任务用于对一个用户子集执行索引创建动作。4.根据权利要求2所述的方法，其特征在于，所述将与各用户子集对应的索引数据上传到所述分布式文件系统上的与所述用户子集对应的索引目录，包括：将与每一用户子集对应的索引数据通过非压缩方式处理为一个索引文件包；将获得的索引文件包上传到所述分布式文件系统上的与所述索引数据对应的索引目录。5.根据权利要求2所述的方法，其特征在于，所述从所述分布式文件系统获取索引数据并存储到所述ES集群中与各索引分片对应的ES节点中，包括：通过ES集群中的至少一个ES节点，从所述分布式文件系统获取索引文件包并对所述索引文件包进行拆解；将拆解获得的索引数据分发到ES集群中与各个索引分片对应的ES节点进行存储。6.一种索引构建装置，其特征在于，所述装置包括：切分单元，用于根据ES集群划分的索引分片的数量n，将待构建索引的用户集合划分为n个用户子集，其中每一用户子集对应一个索引分片；数据获取单元，用于获取与各用户子集对应的原始用户数据；任务执行单元，用于通过多个索引构建子任务并行地对各用户子集对应的原始用户数据执行索引创建动作，获得与各用户子集对...

【专利技术属性】
技术研发人员：凌宏博，李奘，曹利锋，杨文君，常智华，杨帆，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京,11