基于分布式数据库的数据存储方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种分布式数据库的数据存储方法、装置及电子设备，该方法包括：获取待存储至分布式数据库的目标数据文件，所述目标数据文件包括待存储数据和所述待存储数据对应的键值；基于所述键值和所述分布式数据库的物理存储节点的数量，生成所述待存储数据对应的节点编号；将所述待存储数据存储至所述节点编号对应的物理存储节点中。本发明专利技术实施例可以提高节点访问效率。节点访问效率。节点访问效率。

【技术实现步骤摘要】
基于分布式数据库的数据存储方法、装置及电子设备


[0001]本专利技术涉及数据处理
，尤其涉及一种基于分布式数据库的数据存储方法、装置及电子设备。

技术介绍

[0002]随着业务的拓展和管理精细化程度提升，数据量增长迅猛，在数据存储管理方面，分布式数据库如HBase得到了广泛的应用。
[0003]HBase在数据写入时通常是使用单调递增或者时序的键值将访问热度高的数据聚集在一个物理存储节点中，导致该物理存储节点的负载高，这样，数据分析统计和访问过程中会在并行访问某批数据如存储在该物理存储节点中的数据时出现问题，导致访问效率低。

技术实现思路

[0004]本专利技术实施例提供一种基于分布式数据库的数据存储方法、装置及电子设备，以解决现有技术中由于将访问热度高的数据聚集在一个物理存储节点中而导致的访问效率低的问题。
[0005]第一方面，本专利技术实施例提供了一种基于分布式数据库的数据存储方法，所述方法包括：
[0006]获取待存储至分布式数据库的目标数据文件，所述目标数据文件包括待存储数据和所述待存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式数据库的数据存储方法，其特征在于，所述方法包括：获取待存储至分布式数据库的目标数据文件，所述目标数据文件包括待存储数据和所述待存储数据对应的键值；基于所述键值和所述分布式数据库的物理存储节点的数量，生成所述待存储数据对应的节点编号；将所述待存储数据存储至所述节点编号对应的物理存储节点中。2.根据权利要求1所述的方法，其特征在于，所述基于所述键值和所述分布式数据库的物理存储节点的数量，生成所述待存储数据对应的节点编号，包括：生成所述键值对应的随机数；以所述分布式数据库的物理存储节点的数量为除数，对所述随机数进行取模，得到所述待存储数据对应的节点编号。3.根据权利要求2所述的方法，其特征在于，所述生成所述键值对应的随机数，包括：确定可均衡分布所述待存储数据的目标分布字段，所述目标分布字段关联的各个取值区间关联的所述待存储数据的数据量大于第一预设值，且小于第二预设值，所述第一预设值小于所述第二预设值；获取所述键值中与所述目标分布字段关联的目标值；基于所述目标值生成所述键值对应的随机数。4.根据权利要求3所述的方法，其特征在于，所述基于所述键值和所述分布式数据库的物理存储节点的数量，生成所述待存储数据对应的节点编号之前，所述方法还包括：统计所述目标数据文件中所述目标分布字段对应的待存储数据的数据量；基于所述数据量，确定所述分布式数据库的物理存储节点的数量。5.根据权利要求1所述的方法，其特征在于，所述获取待存储至分布式数据库的目标数据文件，包括：获取待存储至分布式数据库的数据文件；对所述数据文件进行格式规范化处理，得到目标存储格式的所述...

【专利技术属性】
技术研发人员：程赓，刘建波，李明佳，
申请(专利权)人：中国铁塔股份有限公司，
类型：发明
国别省市：