一种分布式数据存储方法及装置制造方法及图纸

技术编号:42657266 阅读:29 留言:0更新日期:2024-09-10 12:16
本发明专利技术提供一种分布式数据存储方法及装置,涉及数据处理技术领域,可用于金融领域或其他技术领域。所述方法包括:接收在分片节点列表的生效时间之后通过应用服务发送的分片计算请求;若确定在分片节点对应关系列表中不存在所述分片键,则根据所述分片节点列表中的分片节点数量对所述分片键进行哈希计算,得到用于存储与所述分片键相对应数据的目标分片;将所述分片键与所述目标分片之间的对应关系记录在所述分片节点对应关系列表中,并返回所述目标分片至所述应用服务。所述装置执行上述方法。本发明专利技术实施例提供的方法及装置,能够实现平滑解决数据倾斜问题且不影响应用。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体涉及一种分布式数据存储方法及装置


技术介绍

1、随着互联网的快速发展,各类应用的数据量急速增长,传统的单一关系型数据库已无法满足应用数据增长的需求,分库分表中间件以及分布式数据库成为数据量较大的应用的转型首选。数据分片策略是进行分库分表和采用分布式数据库的一个关键设计,分片策略一般需要结合业务特征进行分析,选择适合的策略。常用的数据分片策略有范围分片、哈希取模分片、一致性哈希分片等。范围分片如同一个地区或同一年的数据放在同一个分片,这种分片可能会造成数据倾斜问题。哈希取模分片在数据量大的情况下基本可以保障数据平均分布,数据倾斜问题少。一致性哈希分片在哈希取模的基础上支持节点增加减少情况下做最少的数据迁移。这三种分片有各自的优缺点,应用选择分片策略时需要结合应用的业务特征分析进行选择,如选用范围分片就需要考虑数据倾斜问题,选用哈希策略就需要考虑分布式事务对应用功能的影响和对系统性能的影响。

2、在一些大部分功能均围绕某一类业务对象和关联该业务对象的一个核心业务信息展开的系统如企业银行账户管理系统涉及到企业基本信息和企本文档来自技高网...

【技术保护点】

1.一种分布式数据存储方法,其特征在于,包括:

2.根据权利要求1所述的分布式数据存储方法,其特征在于,根据定时计算的与每个分片分别对应的数据量动态更新所述分片队列信息,包括:

3.根据权利要求2所述的分布式数据存储方法,其特征在于,所述分布式数据存储方法还包括:

4.根据权利要求3所述的分布式数据存储方法,其特征在于,所述分布式数据存储方法还包括:

5.根据权利要求1至4任一所述的分布式数据存储方法,其特征在于,所述分布式数据存储方法还包括:

6.根据权利要求1至4任一所述的分布式数据存储方法,其特征在于,所述分布式数据存储方...

【技术特征摘要】

1.一种分布式数据存储方法,其特征在于,包括:

2.根据权利要求1所述的分布式数据存储方法,其特征在于,根据定时计算的与每个分片分别对应的数据量动态更新所述分片队列信息,包括:

3.根据权利要求2所述的分布式数据存储方法,其特征在于,所述分布式数据存储方法还包括:

4.根据权利要求3所述的分布式数据存储方法,其特征在于,所述分布式数据存储方法还包括:

5.根据权利要求1至4任一所述的分布式数据存储方法,其特征在于,所述分布式数据存储方法还包括:

6.根据权利要求1至4任一所述的分布式数据存储方法...

【专利技术属性】
技术研发人员:任冬艳康涛赵昕悦
申请(专利权)人:银清科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1