一种数据索引处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及数据处理技术领域，具体是一种数据索引处理方法、装置、设备及存储介质，所述方法包括：当存储第一数据索引时，获取与所述第一数据索引的关键字对应的主索引记录，判断所述主索引记录是否关联有子索引记录；当所述主索引记录未关联有子索引记录时，获取所述主索引记录中所有记录数据的总数据量，判断所述总数据量是否达到第一预设阈值；如果所述总数据量达到第一预设阈值，则创建与所述主索引记录关联的多个子索引记录；将所述主索引记录中的所有记录数据存储至所述多个子索引记录中，删除所述主索引记录中的所有记录数据。本发明专利技术的数据索引处理方法可以降低单个索引记录的记录数据量，提高索引记录的读写效率和访问性能。能。能。

【技术实现步骤摘要】
一种数据索引处理方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，特别涉及一种数据索引处理方法、装置、设备及存储介质。

技术介绍

[0002]随着信息技术的高速发展，数据海量存储对存储系统提出了新的需求和挑战，为了应对这种挑战，键值(Key
‑
Value，KV)存储系统应运而生。KV存储系统是采用键值对的形式组织、索引和存储数据的计算系统，能够满足对海量数据的高效率存储和访问的需求。KV存储系统非常适合不涉及过多数据关系和业务关系的业务数据，同时能有效减少读写磁盘的次数，比关系型数据库存储拥有更好的读写性能。
[0003]相关技术中，KV存储系统的典型存储方式是一个关键字(Key)对应一个记录数据(Value)，一个Key和一个Value组成一条索引记录，Value可以是任意不定长记录数据，通过Key可作简单查询和复杂查询(如列表查询、范围查询等)，KV存储系统定期进行更新数据和历史数据的合并(该合并操作可以包括添加、删除、修改等操作)以处理过期数据。
[0004]但是，当一条索引记录下的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据索引处理方法，其特征在于，包括：当存储第一数据索引时，获取与所述第一数据索引的关键字对应的主索引记录，判断所述主索引记录是否关联有子索引记录；当所述主索引记录未关联有子索引记录时，获取所述主索引记录中所有记录数据的总数据量，判断所述总数据量是否达到第一预设阈值；如果所述总数据量达到第一预设阈值，则创建与所述主索引记录关联的多个子索引记录；将所述主索引记录中的所有记录数据存储至所述多个子索引记录中，删除所述主索引记录中的所有记录数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述主索引记录关联有子索引记录时，根据所述第一数据索引的记录数据确定对应的第一子索引记录；获取所述第一子索引记录中所有记录数据的总数据量，判断所述总数据量是否达到第二预设阈值；如果所述总数据量达到第二预设阈值，则将所述第一子索引记录拆分为多个子索引记录；将所述第一子索引记录中的所有记录数据存储至拆分得到的多个子索引记录中。3.根据权利要求1或2所述的方法，其特征在于，所述主索引记录包括路由信息，所述路由信息包括所述主索引记录的记录数据的总数量、记录数据的总长度、号段区间数量以及各个号段区间的号段区间信息；所述判断所述主索引记录是否关联有子索引记录包括：获取所述路由信息中的号段区间数量；根据所述号段区间数量判断所述主索引记录是否关联有子索引记录。4.根据权利要求3所述的方法，其特征在于，所述子索引记录与所述号段区间一一对应；所述将所述主索引记录中的所有记录数据存储至所述多个子索引记录中包括：针对每个记录数据，确定所述记录数据对应的号段信息；将所述号段信息分别与每个号段区间信息进行匹配，得到所述记录数据对应的目标号段区间；根据所述目标号段区间确定所述记录数据对应的第二子索引记录，将所述记录数据存储至所述第二子索引记录中。5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：当删除第二数据索引时，获取所述第二数据索引的关键字对应的主索引记录，判断所述主索引记录是否关联有子索引记录；当所述主索引记录关联有子索引记录时，根据所述第二数据索引的记录数据确定对应的第三子索引记录；当删除所述第二数据...

【专利技术属性】
技术研发人员：杨绍鹏，张世维，刘鑫伟，余洋，洪利平，张良，李陆彪，杨俊峰，高绍涵，王亚辉，黄敏，王春丹，辜旻骏，张铭，庞子勇，程玲霞，王遵鹏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：