一种数据存储方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种数据存储方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：每隔一个预设时间间隔获取第一数据存储节点的主机的各目标采集指标的实时数值；每隔一个预设时间间隔，根据各实时数值获取第一数据存储节点的健康指标参数；对于每一文件，根据各第一数据存储节点的健康指标参数获取第二数据存储节点，根据文件的标识从第二数据存储节点中获取第三数据存储节点，并将文件数据存储至第三数据存储节点中。通过计算每个数据存储节点的健康指标参数，并为每个文件从健康度较高的数据存储节点中选取最优数据存储节点。保证了获取到的数据存储节点能存入所有文件数据，不易造成文件数据的丢失。不易造成文件数据的丢失。不易造成文件数据的丢失。

【技术实现步骤摘要】
一种数据存储方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，具体而言，本申请涉及一种数据存储方法、装置、电子设备及存储介质。

技术介绍

[0002]大数据存储是大数据领域的一个关键技术，近些年随着大数据技术的持续走热，如何更好的优化分布式数据存储成为了热门话题。如何在保证数据可用性、容错机制和读写性能的前提下实现分布式数据存储的负载均衡是大数据工程师需要着重考虑的问题。
[0003]现有技术的方案中，分布式文件系统客户端先通过管理节点获取到各数据存储节点的存储负载信息，然后根据所有数据存储节点的存储负载信息获取可用的数据存储节点，最后将需要存储的文件数据根据针对分布式数据存储的算法(如Round
‑
Robin(循环算法)、Hash(哈希算法)、一致性Hash算法等等)存储至各可用的数据存储节点中。
[0004]但是，在上述的存储过程中，获取可用的数据存储节点时仅考虑了数据存储节点的存储负载信息(即存储的文件数据多少)，因此现有技术方案获取到的可用数据存储节点中，有可能存在有读写压力较大或存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：对于每一第一数据存储节点，每隔一个第一预设时间间隔获取所述第一数据存储节点对应的主机的各目标采集指标的实时数值；其中，所述目标采集指标表征所述第一数据存储节点对应的主机的当前性能；每隔一个第二预设时间间隔，根据各属于当前时刻前第一预设时间段内的实时数值获取所述第一数据存储节点的健康指标参数；其中，所述第二预设时间间隔不小于所述第一预设时间间隔；当接收到文件数据存储请求时，对于所述文件数据存储请求中的任一文件，根据各第一数据存储节点属于当前时刻前第二预设时间段内的健康指标参数获取至少一个第二数据存储节点，根据所述任一文件的标识从各第二数据存储节点中获取第三数据存储节点，并将所述任一文件的数据存储至所述第三数据存储节点中。2.根据权利要求1中所述的方法，其特征在于，所述根据各属于当前时刻前第一预设时间段内的实时数值获取所述第一数据存储节点的健康指标参数，包括：对于每一目标采集指标，若所述目标采集指标为硬件类型的指标，则将各属于所述第一预设时间段内的实时数值的平均值作为第一参考值，若所述目标采集指标为非硬件类型的指标，则将各属于所述第一预设时间段内的实时数值的中位数作为所述第一参考值；根据各第一参考值获取所述第一数据存储节点的健康指标参数。3.根据权利要求2中所述的方法，其特征在于，所述硬件类型的指标，包括：中央处理器CPU空闲时间与总时间之比、内存使用占比、磁盘使用占比、磁盘读写请求响应时间、磁盘读写总数；所述非硬件类型的指标，包括：收发数据量、网络延迟。4.根据权利要求3中所述的方法，其特征在于，所述根据各第一参考值获取所述第一数据存储节点的健康指标参数，包括：对于每一目标采集指标，根据所述第一参考值获取所述目标采集指标的健康度，并根据所述健康度计算所述目标采集指标的健康指标参数；将各目标采集指标中所述健康指标参数的最小值作为所述第一数据存储节点的健康指标参数。5.根据权利要求4中所述的方法，其特征在于，所述方法还包括：若所述磁盘读写请求响应时间对应的健康指标参数不小于第一预设阈值，则不获取所述CPU空闲时间与总时间之比对应的健康指标参数；其中，所述第一预设阈值表征所述CPU空...

【专利技术属性】
技术研发人员：张振野，席超敏，郭思曼，
申请(专利权)人：广州亚信技术有限公司，
类型：发明
国别省市：