一种分布式存储及索引方法技术

技术编号:46579911 阅读:0 留言:0更新日期:2025-10-10 21:20
本发明专利技术涉及信息检索的技术领域,公开了一种分布式存储及索引方法,包括通过改进型一致性哈希算法对原始文件动态分片,生成多个带时间戳的数据块,为所述带时间戳的数据块构建包含时间戳、数据类型及内容特征的三维布隆过滤器索引矩阵,通过层级式索引结构将B+树本地索引与倒排全局索引关联,采用双通道同步机制建立索引更新优先级队列,对热点索引通过心跳机制实时增量同步,对冷数据层索引按冷数据同步周期批量同步,查询时通过分布式查询统计概率表预测数据分布概率,基于概率权重并行发起多路径查询,并依据节点组存储介质类型和节点间网络传输延迟动态优化查询路径,实现了分布式存储的快速分配调整和访问。

【技术实现步骤摘要】

本专利技术涉及信息检索的,公开了一种分布式存储及索引方法


技术介绍

1、各行业对数据存储和管理的需求急剧上升,传统的集中式存储系统在面对海量数据时,通常依赖于单一的存储设备或少数几个大型存储节点,这种架构在数据处理能力、可扩展性和容错性方面存在明显不足,随着数据量的不断增加,集中式存储系统的性能存在诸多不足,数据读写速度变慢,响应时间延长,严重影响了业务的正常运行。

2、在数据分片方面,缺乏对分片边界的动态调整能力,无法及时进行优化某些节点的负载过高或过低,导致系统资源利用率不均衡,在数据块分配过程中,没有充分考虑节点组存储介质的类型和性能差异,不能根据数据的特性进行智能分配,从而影响了数据的访问效率和存储成本,现有的索引方法无法满足复杂查询的需求,传统的索引结构在处理大规模数据时,查询效率低下,无法保证索引的实时性和一致性,导致查询结果不准确。


技术实现思路

1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些本文档来自技高网...

【技术保护点】

1.一种分布式存储及索引方法,其特征在于,包括:

2.根据权利要求1所述的一种分布式存储及索引方法,其特征在于:

3.根据权利要求2所述的一种分布式存储及索引方法,其特征在于:

4.根据权利要求3所述的一种分布式存储及索引方法,其特征在于:

5.根据权利要求3所述的一种分布式存储及索引方法,其特征在于:

6.根据权利要求1所述的一种分布式存储及索引方法,其特征在于:

7.根据权利要求1所述的一种分布式存储及索引方法,其特征在于:

8.根据权利要求1所述的一种分布式存储及索引方法,其特征在于:

...

【技术特征摘要】

1.一种分布式存储及索引方法,其特征在于,包括:

2.根据权利要求1所述的一种分布式存储及索引方法,其特征在于:

3.根据权利要求2所述的一种分布式存储及索引方法,其特征在于:

4.根据权利要求3所述的一种分布式存储及索引方法,其特征在于:

5.根据权利要求3所述的一种分布式存储及索引方法,其特征在于:

6...

【专利技术属性】
技术研发人员:王敏经春秋
申请(专利权)人:沈阳六坊信息科技有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1