一种索引管理的方法技术

本发明专利技术公开了一种索引管理的方法，包括索引管理器，索引管理器包括服务端和客户端，本发明专利技术能够在数据入elasticsearch库时，其索引族由数据发布时间确定而不是数据入库时间确定，且业务检索时不再检索全部索引，而是根据检索的发布时间区间，确定待检索的部分索引族，能够降低业务检索中的消耗，提高检索性能，在海量数据中能够有快速且有针对性的获取目标信息的位置。标信息的位置。标信息的位置。

【技术实现步骤摘要】
一种索引管理的方法


[0001]本专利技术涉及海量数据管理
，具体为一种索引管理的方法。

技术介绍

[0002]在大数据业务中，数据一般可基于elasticsearch搜索服务器的索引方式存储和检索。
[0003]通常情况下，数据存储的索引是根据数据入elasticsearch库时确定的，即数据索引名称通常根据入库时间确定，但用户业务场景通常更关注的是数据的发布时间，即在业务数据检索时需要检索发布时间在一个区间内的数据。
[0004]由于业务数据存储按照入库时间顺序排序和业务检索索引根据发布时间检索之间的不一致性，为了达到业务检索发布时间在一个区间内数据的目的，通常需要在全数据存储索引中检索，导致检索消耗变高，检索性能变慢，为了解决上述问题，我们提出一种索引管理的方法。

技术实现思路

[0005]本专利技术的目的在于提供一种索引管理的方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种索引管理的方法，包括索引管理器，所述索引管理器包括服务端和客户端，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种索引管理的方法，其特征在于：包括索引管理器，所述索引管理器包括服务端和客户端，所述服务端包括postgres、zookeeper、yq数据处理、es入库程序，所述postgres为开源数据库、zookeeper为分布式协调服务、yq数据处理为获取索引信息并处理数据的外部服务、es入库程序为数据存入程序，所述索引管理器工作步骤如下：步骤1：数据入库过程1.1.根据入库数据的pt,channel,msgtype计算出index write alias，所述pt为时间标识、channel为媒体类型标识、msgtype为信息类型标识、index write alias为索引写别名；1.2.在postgres中核实index write alias是否已存在；1.3.如果不存在，创建index write alias的第一个索引，更新postgres中的记录，并通知zookeeper已有新索引族创建成功；1.4.如果当前索引数据数量达到上限,创建索引族内下一个索引并移动写别名,添加读别名。步骤2：数据入库结果经yq数据处理程序、es入库程序存储至客户端。步骤3：业务检索过程3.1.根据zookeeper状态通知,确定本地索引记录是否过期；3.2.如果过期,从postgres中刷新本地索引数据；3.3.根据pc,channel,msgtype计算出index read aliases，并剔除不存在的索引族。2.根据权利要求1所述的一种索引管理的方法，其特征在于：所述索引管理器索引算法中确定索引名称过程为：当t
pubTime
<＝t
sparseEnd
时，索引族写别名和读别名为配置项NameWriteAlias
Sparse
和NameReadAlias
Sparse
，所述t
pubTime
为稀疏数据区间变更时间、t
sparseEnd
为稀疏数据区间截止时间、NameWriteAlias
Sparse
为稀疏数据区间索引...

【专利技术属性】
技术研发人员：包士强，李龙慧，胡琼芳，黎强，余智华，
申请(专利权)人：中科天玑数据科技股份有限公司，
类型：发明
国别省市：